Al in de 14de eeuw was de pastorie een aanzienlijk gebouw, één van de voornaamste van West-Brabant. Ze werd waarschijnlijk door toedoen van de abdij zo uitgebouwd om er de nodige 'luister' aan te geven. 

Rond 1440 beschikte de pastoor over een ' priesteragie met huis, stalling, duyfhuys, backhuys ende landt of bogaert', groot 3 dw 33 r of bijna 1 bunder'.  In het begin van de 17de eeuw is er nog sprake van 'een buitengewoon mooie pastorie omwald door water' maar op het einde van die eeuw was het gebouw, waarvan de muren nog uit klei waren opgetrokken, ' soo caducq ende vervallen  … dat het qualijk can blijven staen.'

Pastoor Van de Nest liet toen op eigen kosten een grote woning bouwen met muren van kareelsteen en een leien dak. Er volgden nog meerdere verbouwingen. Het pastoriedomein maakt in feite deel uit van het Fosselbos. De oude bomen rond de vijver getuigen hiervan. De 'Fosselstraat' leunt achter aan het domein en de naam zou afkomstig zijn van 'vossenhol' of 'fossel'.

Het is nu nog een prachtdomein en het park is een uitgelezen plek om van de natuur en de stilte te genieten.  De twee oorspronkelijke vijvers in de tuin werden herleid tot één grote vijver waar de sportvissers hun hartje en visje kunnen ophalen.

Tekst: Toerisme Affligem