Nasceu em Joaquim Egídio (Campinas)-SP no dia 4 de maio de 1913. Foi bispo diocesano de Barra do Piraí-RJ de 1956 a 1962.
Dom Agnelo foi nomeado pelo Papa João XXIII aos 15 de setembro de 1962. Ele tomou posse como 2° Arcebispo de Ribeirão Preto, no dia 30 de setembro do mesmo ano. Criou várias Paróquias e deu início à Casa Dom Luís, em Brodowski, para treinamento dos leigos, em homenagem ao seu antecessor, que sempre desejou construir uma Casa de Formação para os Leigos, ao lado do Seminário, em Brodowski. Esta construção foi continuada e concluída por Dom Frei Felício e Dom Miele em 1972.
Por nomeação do Papa Paulo VI Dom Agnelo Rossi tomou posse como Arcebispo de São Paulo, no dia 20 de dezembro de 1964. Aos 25 de janeiro de 1965 foi nomeado Cardeal. Depois, em Roma, realizou importantes trabalhos para a Igreja, principalmente como Presidente da Congregação para a Propagação da fé no mundo inteiro.