Návrší s poutním kostelíkem svatého Petra a Pavla lze řadit k nejstarším památkám na Podzvičinsku. Nejstarší známá zmínka o vsi Byšice pochází z roku 1267. Z druhotně použitých materiálů ve zdivu současného kostela lze usuzovat, že měl staršího předchůdce. V současnosti je nejstarší částí stavby loď kostela pocházející z doby kolem poloviny 14. století, na níž původně navazoval úzký presbytář, který byl v 1. polovině 16. století nahrazen novým, širším, s polygonálním závěrem a čtyřmi opěráky. V 1. polovině 18. století prošel kostel barokní proměnou. Byla nahrazena původní gotická okna a na místě východních opěráku vystavěna půlkruhová sakristie, ještě do nedávna nesprávně pokládaná za románskou apsidu. Svou typickou siluetu získal kostelík v roce 1850 dostavbou věže v jeho západním průčelí. Byla tak nahrazena zchátralá dřevěná zvonice nacházející se v jihovýchodním rohu hřbitova, ze které byl do věže přenesen zvon z roku 1624 – je zde do současnosti. Druhý zvon odlitý v roce 1851 byl náhradou za starý památný gotický, který byl odcizen a zničen v roce 1840. Tento však nepřečkal první světovou válku. U bočního vchodu do kostela je nápadný velký kámen s dvěma důlky jakoby vytlačenými stálým klečením. Podle pověsti jsou dolíky v kameni otisky kolen sv. Petra, spolupatrona kostela, který na něm vkleče prosil o smilování nad vesničkou a kostelíkem. Vesnička měla být potrestána za to, že vesničané vedli nezřízený život. Petr kostelík zachránil, ale vesnička se i s obyvateli propadla. Na hřbitově při kostelíku jsou pochováni hudební skladatel Karel Moor a spisovatelka Leontina Mašínová. Milovníci díla básníka Karla Jaromíra Erbena, rodáka z nedalekého Miletína, si s romantickým prostředím byšičského kostelíka ztotožnili místo děje jeho balady Svatební košile.