De titel en openingszin van het nummer, "Like a rolling stone", is een vergelijking die het onderwerp vergelijkt met een rollende steen. Dit impliceert constante beweging, wortelloosheid, en onvermogen om neer te komen – het vastleggen van de thema's van ontwroting en verloren privilèges.