Castagne begann seine Karriere bei Virton, wo er 1995 sein Profidebüt gab. 1997 wechselte er nach Anderlecht, wo er drei belgische Pro-League-Titel und zwei belgische Pokale gewann. 2004 wechselte er zu Mailand, wo er 2004 den Titel in der Serie A und 2007 die UEFA Champions League gewann.
Castagne gab 1999 sein Länderspieldebüt für Belgien. Anschließend bestritt er 54 Spiele für sein Land und erzielte dabei vier Tore. Er vertrat Belgien bei der FIFA-Weltmeisterschaft 2002 und der UEFA-Europameisterschaft 2000.
Nach seinem Rücktritt vom Fußball im Jahr 2008 arbeitete Castagne als Experte für das belgische Fernsehen und Radio. Er ist auch ein erfolgreicher Geschäftsmann und hat mehrere Unternehmen gegründet.
Im Jahr 2021 wurde Castagne in die Hall of Fame des belgischen Fußballs aufgenommen.