Het eerste audioboek kan worden teruggevolgd tot januari 1952, toen dichter Dylan Thomas zijn poëzie vertelde voor de som van $500. Thomas nam uiteindelijk "Do Not Go Gently Into the Night" op op één kant van een vinylplaat.
Het was pas in de jaren '70 dat boeken op cassette verschenen, voornamelijk voor blinden en slechtzienden. De uitvinding van de CD in 1982 gaf de markt voor audioboeken een enorme impuls, wat aantrekkelijk was voor mensen met lange reistijden of drukke levensstijlen en weinig tijd om te lezen.
Sinds midden jaren '80 hebben audioboeken nog een transitie doorgemaakt - het downloadbare formaat. Het downloaden van films en muziek is wijdverspreid populair geworden, en hetzelfde geldt voor audioboeken. Een van de grootste uitgeversreuzens, Simon & Schuster, rapporteerde een stijging van 300 procent in downloadbare boeken van 2005 tot 2006. Vanaf 2010 vormen audioboeken 5 tot 10 procent van de publicatiemarkt. Het aantal groeit door, wat audioboeken een miljard dollar industrie maakt.
Met de groei van de audioboekmarkt hebben grote uitgevers de rechten aan deze "sprekende boeken" teruggekocht.
Zowel Amerikaanse copyrightwetten als auteurs hebben gratis audioboeken voor blinden beschikbaar gesteld; echter, de miljard-dollar markt betekent dat uitgevers het publiceren en markten van audioboeken fier beschermen. De copyrightbeschermingen bewaken de royalties van uitgevers en schrijvers. In het traditionele formaat, zoals audioboeken op cassette en CD, kunnen uitgevers een percentage van de verkopen als royalty toekennen (rekening houdend met productie- en distributiekosten). Met de verkopen van downloadbare formaten zoals MP3's, hebben uitgevers echter moeten worden meer insistierend op hun juridische beschermingen om hun royalties te waarborgen.
Downloaden heeft veel van de productie- en distributiekosten die geassocieerd zijn met audioboeken, uitgeplast, wat toevoegt aan het gemak voor bibliotheken en consumenten omdat ze via de computer of MP3-speler genoten kunnen worden. Ook, met de meer toegankelijke audioboekformaten die via Apple en Amazon worden aangeboden, zijn de verkopen van downloadbare audioboeks enigszins makkelijk te reguleren omdat digital rights management, wat uitgevers het recht geeft om gebruik te beperken, de meeste downloadbare audioboeken beschermt.
De gemiddelde prijs van audioboeken of royalties voor audioboeken varieert, afhankelijk van productie- en distributiekosten, die verschillen per formaat.