De geschiedenis van de kapel begint in 1832, wanneer de Confrérie van de Heilige Rozenkrans geschokt is bij het zien van de verwaarloosde graven van de gesneuvelden uit 1831. Zij plaatst een houten kruis bij de graven om de soldaten van het 2de regiment Jagers te Voet en Luitenant Van Diepenbeek te herdenken.

In 1836 wordt er een bakstenen kapel opgericht op een terrein dat dan nog eigendom is van de stad Mechelen. Mechelen had de steenweg aangelegd en was er oorspronkelijk ook eigenaar van. Dat blijft zo tot in 1871, wanneer Leuven het stukje grond koopt voor 100 fr.

Op 4 september 1904 plaatst de ‘Ligue Patriotique des Anciens Militaires de Louvain et Environs’ een arduinen obelisk op de site. Het houten kruis wordt in 1929 vervangen door een nieuw, ook in hout. Bij het bezoek van prins Leopold, de latere koning Leopold III, op 10 augustus 1930 wordt een bronzen gedenkplaat op het monument aangebracht.

De 2 de wereldoorlog heeft ook zijn gevolgen voor de Roeselbergkapel gehad: een slecht gericht bombardement van de geallieerde luchtmacht beschadigt de kapel en het monument zo erg dat een nieuwe kapel moet worden gebouwd. Maar dat gebeurt pas in 1962. Inmiddels heeft Leuven wel een stenen kruis geplaatst achter de kapel.

Het zal nog duren tot 1996 eer heel de site voor een symbolische frank overgedragen wordt aan Herent. Bij die gelegenheid wordt het geheel door de gemeente en door het buurtcomité gerenoveerd.