Ha iniziato la carriera nel 1950, interpretando alla radio la commedia Don Ciccillo si gode il sole, in teatro L'Anfiparnaso, diretto da Mario Soldati e al cinema il film I cadetti di Guascogna. Ha vinto il David di Donatello, nel 1989, per la sua interpretazione nel film 'O re.
Negli anni cinquanta e sessanta ha interpretato molti film con alcuni dei più grandi comici italiani, tra cui 47 morto che parla, Miseria e nobiltà, Totò lascia o raddoppia? e Signori si nasce con Totò, Ragazze da marito con Eduardo De Fi...visualizza tuttoilippo, Non è vero... ma ci credo con Peppino De Filippo. In totale ha interpretato 118 film, tra cui vanno ricordati Ieri, oggi, domani di Vittorio De Sica, Una Rolls-Royce gialla con Ingrid Bergman, Casotto di Sergio Citti, 'O re di Luigi Magni (David di Donatello e Ciak d'Oro come migliore attore non protagonista nel 1988), Camerieri di Leone Pompucci, Tre uomini e una gamba con Aldo, Giovanni e Giacomo e il controverso Li chiamarono... briganti! di Pasquale Squitieri, film incentrato sul brigante Carmine Crocco, ritirato subito dalle sale cinematografiche.
Nel 1971 ha scritto e diretto i film western Una pistola per cento croci e Black Killer, firmandoli con lo pseudonimo Lucky Moore.
Carlo Croccolo ha lavorato moltissimo anche come doppiatore, prestando, tra gli altri, la sua voce ad Oliver Hardy (succedendo in questo ruolo ad Alberto Sordi), prima negli anni cinquanta con Fiorenzo Fiorentini e poi negli anni sessanta con Franco Latini. In alcuni casi ha perfino doppiato entrambi i personaggi di Stanlio & Ollio, come ad esempio ne L'eredità o Tempo di pic-nic.
Dal 1957 inoltre ha doppiato Totò in scene realizzate in esterno in cui non era possibile girare in presa diretta e che Totò non poteva doppiare a causa dei suoi problemi di vista. Croccolo è stato l'unico doppiatore di Totò autorizzato dall'attore stesso (insieme al quale, nel 1964, scrisse la sceneggiatura per un film, Fidanzamento all'italiana, che non fu mai realizzato). Tra i doppiaggi di Croccolo nei film con Totò si ricordano la voce della baronessa in Totò diabolicus e quello nel film I due marescialli: nella scena finale, girata in una stazione, presta la voce a Vittorio De Sica.
