De tekst van het lied schetst een levendig beeld van het leven van de man. Hij wordt beschreven als een "schaduw van een man" en een "geest van een man", en hij is voortdurend op zoek naar voedsel en onderdak. Hij wordt ook achtervolgd door de herinneringen aan zijn verleden, en hij kan niet ontsnappen aan het gevoel van eenzaamheid en isolatie dat gepaard gaat met dakloos zijn.
De titel van het nummer, "Brown Arms in Houston", is veelbetekenend omdat het de huidskleur van de man benadrukt. In een stad met een grote Latijns-Amerikaanse bevolking herinneren de bruine armen van de man aan zijn status als buitenstaander en de discriminatie waarmee hij wordt geconfronteerd.
Uiteindelijk is het nummer "Brown Arms in Houston" een krachtige en ontroerende weergave van de strijd waarmee daklozen in de Verenigde Staten worden geconfronteerd. Het lied werpt licht op een kwestie die vaak over het hoofd wordt gezien, en moedigt luisteraars aan om na te denken over de menselijkheid en waardigheid van degenen die minder fortuinlijk zijn.