Waar nu het gemeentehuis staat, stond vroeger het uit de 15de eeuw daterende kasteel van de heerlijkheid Terheide. Dit landgoed werd door de baron Jozef de Man d'Hobruge (burgemeester van Hoeilaart van 1823 tot 1846 en van 1848 tot 1854) aangekocht in 1820.
 
Zijn zoon, baron Jean de Man d'Attenrode (burgemeester van Hoeilaart van 1854 tot 1878) liet in het begin van de jaren 1850 het kasteel van de heerlijkheid Terheide afbreken en vervangen door het huidige kasteel, een typisch gebouw uit de periode van de romantiek, waarin natuurelementen en neo-stijlen vermengd zitten. Het werd ontworpen door architect Jozef Claes uit Antwerpen. Deze architect ontwierp eveneens de kapel van het Arenbergkasteel te Heverlee. De eerste steen van het nieuwe kasteel werd gelegd in 1858.
 
Na de oorlog van 1914-1918, namelijk op 1 december 1919, werd het kasteel door Maxime de Laage de la Rocheterie aan het gemeentebestuur verkocht. De onderhoudskosten werden immers te zwaar. Het kasteel werd hervormd tot gemeentehuis. Het oude gemeentehuis, rechtover de kerk (waar zich nu het GC Felix Sohie bevindt), werd omgevormd tot klaslokalen.
 
De renovatie van het kasteel, zowel aan de binnenkant als aan de buitenkant, werd in de loop van 1995 afgerond met een grondige opfrissing van de administratieve verdieping. Bij deze renovatiewerken (voor een groot deel uitgevoerd door het gemeentepersoneel zelf) werd getracht de eisen van een moderne openbare administratie te verzoenen met de eigen sfeer en het historische kader van dit oude kasteel.
 
Bij het kasteel horen ook de kasteelhoeve en de Onze-Lieve-Vrouwkapel. De kasteelhoeve is een overblijfsel van het domein van de heerlijkheid Terheide. In haar huidige vorm gaat ze terug tot de 17de eeuw. Een bepaald gedeelte is zelfs ouder maar de hoeve zelf werd in de 19de eeuw aangepast. De hoeve werd in twee fasen gerestaureerd. In 1994 werd de zuidvleugel onder handen genomen. Hier zijn nu de sociale dienst van het OCMW en de dienst Omgeving gevestigd. Eind 2008 werden de gerestaureerde westelijke en noordelijke vleugel door de dienst Burgerzaken en de technische dienst in gebruik genomen. In mei 2009 werd het Sociaal Huis geopend in de vroegere 'orangerie' van de hoeve.
 
Het oude middeleeuwse kasteel was met de kapel verbonden door een gang. Deze gang werd bij het begin van de jaren 1850 samen met het oude kasteel afgebroken en de kapel werd van een nieuwe gevel voorzien.

Het kasteel-gemeentehuis werd in 2019 als monument beschermd.