The Beatles namen "Not Fade Away" nooit op. Het werd oorspronkelijk opgenomen door Buddy Holly and the Crickets (1957) (B-side van "Oh, Boy!").
The Beatles *wel* coverden Holly's "Words of Love" (1964, Beatles for Sale) en werden diep beïnvloed door hem – maar "Not Fade Away" behoort tot de Stones' vroege canon.