Het oudste gedeelte van de Onze-Lieve-Vrouwkerk is ongetwijfeld de romaanse vierkante toren, gebouwd in zandsteen in de tweede helft van de 12 de eeuw. In tijden van gevaar diende hij als schuiloord voor de toen nog beperkte bevolking (let op de smalle venstertjes van de onderste verdiepingen, die meer aan schietgaten doen denken). De torenspits is van veel latere datum.

Het gotisch koor en de kruisbeuken werden pas in de volgende eeuw opgetrokken in verschillende bouwcampagnes.

In 1578 brandde het romaanse middenschip van de kerk volledig uit. Wegens de troebele tijden en geldgebrek kon de wederopbouw pas in 1626-1629 plaatsvinden. Heel die tijd stond het kerkschip ongedekt en hadden de diensten plaats in het koor.

De kerk bezit een merkwaardig Robustelly-orgel uit 1770. Naar aanleiding van de grote restauratie van de kerk rond 1900 werd het orgel uit de kerk verwijderd omdat het het uitzicht op de Romaanse rondboogvenstertjes tussen toren en kerkschip belemmerde. Het orgel werd naar de torenkamer verbannen. Om dat mogelijk te maken moesten de orgelkast en het pijpwerk met meer dan een meter ingekort worden ! Het oude doksaal werd afgebroken en vervangen door een neo-romaanse wenteltrap met ballustrade. In 1996 werd het orgel door orgelbouwer Jean-Pierre Draps uit Erps-Kwerps volledig in zijn oorspronkelijke vorm hersteld. Dat kon alleen maar als het orgel opnieuw werd opgesteld in de kerk en daartoe moest dan weer een nieuw doksaal worden gebouwd, dat bovendien de rondboogvenstertjes vrijliet en de wenteltrap met ballustrade ontzag.