Im vierten Jahrhundert führte der heilige Ambrosius, Bischof von Mailand, den Wechselgesang ein, bei dem der Chor abwechselnde Verse eines Psalms oder einer Hymne singt. Im fünften Jahrhundert standardisierte der heilige Gregor der Große, Papst von Rom, die Liturgie und führte ein System von acht Musikmodi ein. Dieses System, bekannt als Gregorianischer Gesang, wurde jahrhundertelang zur primären Musikform in der katholischen Kirche.
Im Mittelalter begannen sich verschiedene andere Formen der Kirchenmusik zu entwickeln, etwa liturgische Dramen, Polyphonie und Orgelmusik. Die Polyphonie, bei der zwei oder mehr Musiklinien gleichzeitig gesungen werden, erlangte im 12. Jahrhundert Bedeutung.
Im 16. Jahrhundert leitete Martin Luther die protestantische Reformation ein. Dies führte zur Entwicklung verschiedener Stilrichtungen der Kirchenmusik, wie zum Beispiel lutherische Chöre und anglikanische Gesänge. Diese Genres sind auch heute noch wichtige Bestandteile des christlichen Gottesdienstes.
Im 19. und 20. Jahrhundert erwachte das Interesse am Studium und der Aufführung alter Kirchenmusik, etwa des gregorianischen Chorals und der Werke Palestrinas. Es gab auch eine Flut neuer geistlicher Musik, die in verschiedenen Stilrichtungen komponiert wurde.