Dit is wat we weten:
* Geen bewijs van sport: Er zijn geen historische gegevens over Madison die deelneemt aan georganiseerde sport- of fysieke activiteiten.
* Beperkte vrijetijdsactiviteiten: Madison's leven werd grotendeels verteerd door politiek en intellectuele bezigheden. Hij was een vraatzuchtige lezer, een scherp waarnemer van de overheid en een toegewijd student geschiedenis en filosofie.
* Paardrijden: Hoewel het geen sport was, stond Madison erom bekend dat hij van paardrijden hield, waarschijnlijk voor transport en recreatie.
* Gardening: Madison had ook een grote interesse in landbouw en tuinieren, waarbij hij vaak zijn eigen landgoed beheerde.
Kortom, het leven van James Madison was gericht op intellectuele bezigheden en openbare dienstverlening, met beperkt bewijs van enige belangrijke atletische of recreatieve hobby's.