Een kleine groep Babylonische joden bleef na de Perzische verovering in Babylon, en zij speelden later een belangrijke rol in de ontwikkeling van de joodse cultuur en religie tijdens de Tweede Tempelperiode. De Babylonische Talmoed, een van de belangrijkste teksten van de Joodse wet, werd in deze tijd in Babylon samengesteld.
In de 7e eeuw na Christus werd Babylon veroverd door de Arabische moslims en werd het een deel van de islamitische wereld. De stad bleef in verval en tegen de 10e eeuw was ze grotendeels verlaten. Tegenwoordig liggen de ruïnes van Babylon vlakbij de stad Hillah in het hedendaagse Irak.