Swifti teati kui üht parimat kaevandajat piirkonnas. Inimesed kirjeldavad, et ta justkui tundis kulla lõhna. Ja nii leidis ta seda väga palju. Kolm meest tegid talvel ja kevadel tööd ja teenisid igaüks 100 000 dollarit.

1875. aasta ajaleheartikkel ütleb aga, et Swift suutis kokku koguda poole miljoni eest kulda, mille ta lasi väikesteks tükkideks sulatada, mis maksid 50 dollarit. Just nende tõttu on mees tuntud ka tänapäeval. Ta hakkas neid peitma üle linna. Süsteem ei oleks ehk halb olnud, kuid mehel oli lausa legendaarselt halb mälu. Ta unustas kõik peidukohad. 1875. aastal ta suri.

Järgmise 40 aasta jooksul leiti mõned Swifti peidukohad ja kullakogused. Suurim neist tuli välja 1914. aastal. Üks farmer oli unistanud, et ta võiks oma krundilt kulda leida ning juhtuski, et ta kaevas oma keldri alt välja 42 600 dollari eest kuldmünte. Arvati, et see oli üks osa Swifti varandusest.

Kuid suurem osa Swifti maetud varandusest on jäänud peidetuks. Arvatakse, et selle väärtus võib olla 100 000 dollarit või enam. Varanduse jahtijail on vaid üks juhtnööd, kuhu see varandus või osa sellest võiks maetud olla. Swift jättis nimelt ühe imeliku teate, mida tõlkida on võimatu: „1 tin box & 1 Little Bottle Boath in the saim hoal." Kui keegi suudab selle dešifreerida, siis on ta kindalsti seda kulda ka väärt.