Filho do casal de imigrantes portugueses Antônio Augusto Sardinha e Adosinda dos Anjos Sardinha, foi o primeiro a nascer no Brasil. O pai tocava guitarra portuguesa e violão. Desde muito cedo interessou-se pela música, iniciando seus experimentos em uma viola improvisada de pau e corda. Desde os 11 anos de idade, começou a trabalhar para auxiliar no sustento da casa, empregando-se como ajudante numa loja de instrumentos situada no bairro do Brás. Seu primeiro instrumento, um banjo, lhe foi dado por seu irmão Batista, que além de dedilhar o instrumento, era violonista e cantor. Ao longo de sua carreira, estudou música com Atílio Bernardini e composição com João Sepe, cursando matérias afins com Radamés Gnatali, de quem foi grande amigo.