Kostolík Povýšenia Svätého kríža, pôvodne nazývaný Kaplnka svätého hrobu, bol dokončený v roku 1713 ako prejav vďačnosti za záchranu počas morovej epidémie v roku 1710. Stavba barokového kostola má pôdorys v tvare kríža s apsidami na oboch náprotivných stranách. Portál kedysi zdobili reliéfy, ktoré sa však nezachovali; dnes ho zdobia dve postavy anjelov s erbami mesta a Banskobystrickej diecézy.
Rovnako ako kalvária, aj kostol bol počas obdobia komunistického režimu vážne poškodený. Po dlhých rokoch chátrania sa v roku 2008 podarilo zrekonštruovať banskobystrickú Kalváriu, aby mohla opäť slúžiť obyvateľom mesta. Historický komplex tvorí osem kaplniek krížovej cesty, samotný kostolík – pôvodná Kaplnka Božieho hrobu, od 28. septembra 2008 Kostol Povýšenia Svätého kríža – a lipová aleja, známa ako „Urpínska aleja“.