Eine kleine Gruppe babylonischer Juden blieb nach der persischen Eroberung in Babylon und spielte später eine wichtige Rolle bei der Entwicklung der jüdischen Kultur und Religion während der Zeit des Zweiten Tempels. Der babylonische Talmud, einer der wichtigsten Texte des jüdischen Rechts, wurde in dieser Zeit in Babylon zusammengestellt.
Im 7. Jahrhundert n. Chr. wurde Babylon von den arabischen Muslimen erobert und wurde Teil der islamischen Welt. Die Stadt verfiel weiter und im 10. Jahrhundert war sie weitgehend verlassen. Heute liegen die Ruinen Babylons in der Nähe der Stadt Hillah im heutigen Irak.