De Sabata nacque a Trieste. Suo padre Amedeo de Sabata, altoatesino di religione cattolica, era un cantante professionista e un insegnante di canto corale: sua madre Rosita Tedeschi, una musicista di talento ma non professionista, era di religione ebraica.

Dopo aver studiato al Conservatorio di Milano, nel 1917 diresse la première nel Teatro alla Scala di Milano di "Il macigno", opera di sua composizione su libretto di Colantuoni. Dal 1918 al 1929 fu direttore dell'Opera di Montecarlo e successivamente della Cincinnati Symphony Orchestra.

Dal 1929 al 1957 occupò poi la carica di direttore dell'Orchestra del Teatro alla Scala di Milano, teatro del quale fu in seguito nominato direttore artistico.

Predilesse la direzione di musiche di Richard Wagner (in particolare Tristano e Isotta) e di Giuseppe Verdi; come compositore produsse alcuni lavori sinfonici e operistici di tendenza tardo-romantica, tra cui, come già ricordato, l'opera Il Macigno, oltre al poema sinfonico Juventus nel 1919. Fu anche interprete di rilievo di Giacomo Puccini, Gioachino Rossini ed Ermanno Wolf-Ferrari.

Fu legato sentimentalmente all'attrice Valentina Cortese quando questa era all'inizio della sua carriera di attrice, e al suo nome è stata intitolata la sala del ridotto del Teatro Verdi di Trieste.

De Sabata è morto di malattia di cuore a Santa Margherita Ligure nel 1967 e fu sepolto in un cimitero vicino alla SS. Trinità di Gavarno Vescovado.