V piaristickom kláštore bolo v roku 1720 zriadené kolégium piaristov katolíckej rehole, ktorá sa zameriavala na výchovu a vzdelávanie mládeže. Až do uzatvorenia strednej školy ju navštevovali žiaci z územia Hontianskej, Zvolenskej a Novohradskej stolice. Pod vedením profesorov študenti realizovali divadelné hry antických autorov. Gymnázium navštevovali nielen katolícki, ale aj evanjelickí študenti – napríklad Karol Braxatoris alebo Andrej Braxatoris, neskôr známy ako Sládkovič.