Kúastígur liggur frá Kaldárseli, inn á Undirhlíðaleið vestan Undirhlíða og inn í Kúadal þar sem beit var fyrir kýr. Slíkir staðir eru fáir í nágrenni við selið. Reyndar voru kýrnar fáar og einungis í stuttan tíma, þ.e. á meðan búið var í selinu undir það síðasta.

Vitað er að séra Markús Magnússon á Görðum lét byggja selstöðuna í Kaldárseli upp auk þess sem hann lét hlaða fyrir nálæg fjárskjól, hlaða fjárborgir o.fl. árið 1800 með það fyrir augum að viðhafa þar fjárhald allt árið um kring.

Það eina, sem nú er vitað með vissu um selfarir í Kaldárseli er að hjónin Jón Hjartarson og Þórunn Sigurðardóttir á Hvaleyri höfðu þar í seli. Jón keypti Hvaleyrina 1842. Hann mun hafa verið ríkasti bóndi, sem nokkru sinni hefur setið Hvaleyri. Jón flutti síðan með fjölskyldu sína að Ási. Við brottförina lagðist búskapur niður í Kaldárseli í nokkur ár.

Árið 1867 er manntal tekið í Kaldárseli, og er það sennilega fyrsta árið, sem það er í byggð eftir brottför Jóns. Sá, sem þá er orðinn ábúandi, er Þorsteinn Þorsteinsson, upprunninn í Ölfusi. Þetta ár telur húsvitjunarbókin þar þrjár manneskjur í heimili, bóndann, ráðskonu og tökubarn. Árið eftir, 1877, eru þar fjórir í heimili og hefur þá bæst við vinnukona. Árið 1883 er Þorsteinn orðinn einn í Kaldárseli. Hann dó þar þremur árum seinna.

Þegar Þorsteinn fellur frá eru í Kaldárseli nokkrar byggingar og önnur mannvirki. Hús öll í Kaldárseli keypti Jón Guðmundsson bóndi að Setbergi svo og flestar kindurnar. Bæjarhús voru lítil en snoturlega byggð, og voru baðstofa, búr, eldhús og bæjardyr. Allar voru tætturnar vel hlaðnar úr sléttum, en nokkuð þykkum brunahellum og hvergi mold né torf á milli, svo sem venja var til um flestar byggingar þess tíma.

Árin 1906 til 1908 var enn gerð tilraun til búsetu í Kaldárseli. Kristmundur Þorláksson frá Stakkavík í Selvogi fékk það til afnota og hélt hann þar afskekktri útigangshjörð sinni til haga og gjafar. Beitahúsavegur Kristmundar var langur þar sem hann var búsettur í Hafnarfirði og árferði óvenjuslæmt. Hann ætlaði að hlaða hús norðvestan við Kaldársel, en mýs lögðust á féð um veturinn svo fjárhaldi þar varð sjálfhætt.

Jón Guðmundsson, bóndi á Setbergi, keypti síðan Kaldársel með það fyrir augum að hafa þarf athvarf fyrir smala og aðstöðu fyrir ferðamenn á ferðum þeirra um upplandið, en húsunum var lítt við haldið svo þau grotnuðu smám saman niður.

Hafnarfjarðarbær keypti Kaldársel 1912 og árið 1925 byggði K.F.U.M. hús í Kaldárseli, nánast ofan í seltóftunum.