Na de oorlog vond hij het moeilijk om zich aan te passen aan het leven in vredestijd. Zoals het lied zegt:'Hij kon er niet tegen om in de buurt van mensen te zijn, dus verhuisde hij alleen naar Kentucky. Hij bracht bijna elk wakker uur door in een kleine boot op een meer. In de zomer viste hij de hele nacht als hij zijn eigen aas kon zien. "
Uiteindelijk, na jarenlang van staat tot staat te hebben rondgezworven, spoorde Wilsons zoon hem op en bracht hem naar huis in Alabama.