V 18. století přitom Skoky lákaly desítky tisíc poutníků ročně. Mariánský kult tu vznikl vlastně nechtěně. "Nejprve tu stála malá kaplička, která vznikla na popud žlutického faráře. Stěžoval si, že je-li cesta zavátá, místní sedláci nedorazí na nedělní bohoslužby. Vyzval je tedy k tomu, aby se složili a vlastnoručně postavili kapli. Když si všiml, že na vsi nic nestojí, urgoval je znovu a takhle stále dokola, dokud ji jeden ze statkářů nepostavil," vysvětluje správce kostela.