Lítill hóll er við norðurbrún gamla vegarins frá Setbergi upp að Urriðakotsvatni. Friðþjófur Einarsson á Setbergi sagði hólinn heita Galdraprestshóll. Í honum væri grafinn nafngreindur prestur, Einar, og væri til þjóðsaga um hann. Sá hefði komið undir eftir að sýn birtist föður hans, sem jafnframt var prestur úti á landi, í draumi og gat hann í framhaldi af því barn með ungri konu á altari kirkjunnar. Hertrukki var ekið utan í hólinn á stríðsárunum og valt hann við það sama. Ekki er getið um kirkju þarna, en gamall grafreitur er norðan við hólinn. Það hafi komið í ljós þegar verið var að slétta túnið snemma á 20. öldinni. Einar þessi mun hafa verið rammgöldróttur. Í örnefnalýsingu Gísla Sigurðssonar segir um hól þennan: „Frá vesturbæjarhorni lágu Setbergstraðir austur um túnið. Þar sem það var hæst, var farið framhjá Galdraprestsþúfu, en þúfa sú mun vera kapella, sem eitt sinn var hér á Setbergi. Eru ströng fyrirmæli um að hrófla ekki við þúfu þessari.“

Til eru sögur um bænahús eða kapellu við Setbergsbæinn og á hún að hafa staðið þar sem nú er „Galdraprestaþúfa“ skammt frá bæjarrústinni. Þar réð meðal annars ríkjum sr. Þorsteinn Björnsson, en eftir hann liggur kvæðasafnið „Noctes Setbergenes“ eða Setbergsnætur sem varðveitt er í Árnasafninu. Kvæðasafn þetta orti hann meðal annars til að „stytta sér hið leiða líf“ eins og hann orðaði það sjálfur.

Í örnefnaskráningu Svans Pálssonar fyrir Setbergsland segir m.a.: „Í gegnum túnið á bak við bæinn lá Urriðakotsvegur, sem lá upp að Urriðakoti. Fast sunnan við Urriðakotsveginn í túninu er mjög stór þúfa, Galdraprestsþúfa, sem ekki má hreyfa. Þar á samkvæmt þjóðtrúnni að vera grafinn séra Þorsteinn Björnsson, sem dvaldist síðustu æviár sín á Setbergi og lést 1675. Um hann má lesa í bókinni Frásagnir eftir Árna Óla útgefandi Menningarsjóður 1955 bls. 100-117.“