Známé úsloví „panenko skákavá“ se odvozuje právě od poutního místa ve Skocích.
To se datuje už do roku 1717, kdy tady místní farmář postavil malou kapli. O několik zázraků a vyléčených nemocí později vyrostl na jejím místě jednolodní barokní kostel Navštívení Panny Marie, k němuž se začaly pořádat poutní cesty, udržované i za obou světových válek a socialismu. Kostel samotný v průběhu let zchátral a zachráněné cennosti se dnes uchovávají v klášteře v Teplé. Na své původní místo se vracejí pouze během poutí.
