Nach dem Krieg fiel es ihm schwer, sich an das Leben in Friedenszeiten zu gewöhnen. Wie es in dem Lied heißt:„Er konnte es nicht ertragen, in der Nähe von Menschen zu sein, also zog er allein nach Kentucky. Er verbrachte fast jede wache Stunde in einem kleinen Boot auf einem See. Im Sommer fischte er die ganze Nacht, wenn er seinen eigenen Köder sehen konnte.“ "
Nachdem er jahrelang von Staat zu Staat gewandert war, machte Wilsons Sohn ihn schließlich ausfindig und brachte ihn nach Hause nach Alabama.