In de vierde eeuw introduceerde St. Ambrosius, bisschop van Milaan, antifonale zang, waarbij het koor afwisselende verzen van een psalm of hymne zingt. In de vijfde eeuw standaardiseerde St. Gregorius de Grote, paus van Rome, de liturgie en stelde een systeem van acht muzikale modi in. Dit systeem, bekend als het gregoriaans, werd eeuwenlang de belangrijkste muziekvorm in de katholieke kerk.
Tijdens de middeleeuwen begonnen zich verschillende andere vormen van kerkmuziek te ontwikkelen, zoals liturgische drama's, polyfonie en orgelmuziek. Polyfonie, waarbij twee of meer muzieklijnen tegelijkertijd worden gezongen, werd belangrijk in de 12e eeuw.
In de 16e eeuw zette Maarten Luther de protestantse Reformatie in gang. Dit leidde tot de ontwikkeling van verschillende stijlen van kerkmuziek, zoals lutherse koralen en anglicaanse gezangen. Deze genres blijven vandaag de dag een belangrijk onderdeel van de christelijke eredienst.
In de 19e en 20e eeuw was er een hernieuwde belangstelling voor de studie en uitvoering van vroege kerkmuziek, zoals het gregoriaans en de werken van Palestrina. Er is ook een stroom van nieuwe heilige muziek gecomponeerd in verschillende stijlen.