Costello wurde in Paterson, New Jersey, als Sohn italienischer Einwanderer geboren. Er begann seine Karriere im Showbusiness als Teenager und trat im Varieté und Burlesque auf. 1936 lernte er Bud Abbott kennen und die beiden gründeten ein Comedy-Team. Sie wurden schnell zu einem der beliebtesten Comedy-Acts der Welt und traten in Nachtclubs, im Radio und in Filmen auf.
Die Komödie von Abbott und Costello zeichnete sich durch ihre Slapstick-Routinen sowie Costellos hohe Stimme und übertriebene Mimik aus. Sie traten in insgesamt 36 Filmen zusammen auf, darunter „Eine Nacht in den Tropen“ (1940), „Buck Privates“ (1941) und „Abbott und Costello treffen Frankenstein“ (1948).
Costellos Gesundheitszustand begann sich in den frühen 1950er Jahren zu verschlechtern und er unterzog sich mehreren Herzoperationen. Er starb 1959 im Alter von 52 Jahren an einem Herzinfarkt.
Trotz seines frühen Todes gilt Costello als einer der einflussreichsten Komiker des 20. Jahrhunderts. Seine Arbeit mit Bud Abbott trug dazu bei, das Comedy-Genre zu definieren und inspirierte unzählige andere Komiker.