En 1980, il reçoit un appel de Ritchie Blackmore (ex-Deep Purple), qui, après le départ de Graham Bonnet, est à la recherche d'un nouveau chanteur pour son groupe Rainbow. Joe enregistre 3 albums studio avec Rainbow de 1981 à 1983, desquels sont issus les hits : Stone Cold, I Surrender, Spotlight Kid et Street Of Dreams.
En 1984, Ritchie Blackmore fait partie de la reformation du Mk2 de Deep Purple, laissant libre cours à Joe pour entamer une carrière solo dont le premier album est Rescue You 1985.
En 1987, Joe devient le chanteur du Rising......
