Il convento fu costruito tra il 1615 e il 1616, accanto alla chiesa. Tuttavia già dal 1611, presso la casa eretta sul lato meridionale del presbiterio, trovavano alloggio i frati cui era affidata la cura del santuario, gli Eremiti di San Girolamo della congregazione di Pietro da Pisa, detti anche girolamini o gerolamini. Il loro ordine era insediato a Sant’Onofrio al Gianicolo a Roma, dove i cardinali Madruzzo avevano eretto la propria cappella sepolcrale, sontuosamente rinnovata da Carlo Gaudenzio tra 1602 e 1605. La congregazione ricevette in donazione il convento dell’Inviolata. La sede divenne riferimento per l’ordine e primo noviziato della sua provincia settentrionale. Il convento fu dotato di una preziosa biblioteca e nel coro si curavano la musica e il canto sacro. I frati contribuirono ad abbellire progressivamente la chiesa e il convento, dove rimasero fino al primo decennio del XIX secolo, quando furono soppressi. In seguito, nel 1817 il convento fu occupato dai Conventuali di San Francesco che lo tennero fino al 1849, mentre nel 1870 fu acquistato dal Comune che lo adatterà a sede delle scuole, con interventi che incidono pesantemente sull’assetto originario. Sette anni dopo il convento è ceduto in usufrutto alle Figlie del Sacro Cuore, che ne curano le scuole e l’educandato femminile nell’attiguo edificio. Le monache rimangono nel convento fino al 1964, e con l’educandato e il ricreatorio sono per un secolo riferimento per l’educazione femminile di Riva. Il sisma del 1976 ne decreta un progressivo declino nelle funzioni.