Embora grande parte da atenção do mercado acionário tenha se voltado para um mercado mais amplo de inferência de IA, no qual os sistemas de IA lidam com perguntas de usuários, o número de chips necessários para treinar esses sistemas ainda é uma questão competitiva importante. A chinesa DeepSeek afirma ter criado um chatbot competitivo usando muito menos chips do que os rivais norte-americanos.
Os resultados foram os primeiros divulgados pela MLCommons sobre o desempenho dos chips no treinamento de sistemas de IA como o Llama 3.1 405B, modelo de IA de código aberto lançado pela Meta.
A Nvidia e seus parceiros foram os únicos participantes que enviaram dados sobre o treinamento desse grande modelo, e os dados mostraram que os novos chips Blackwell da Nvidia são, em uma base por chip, mais de duas vezes mais velozes que a geração anterior de chips Hopper.
Nos resultados mais rápidos dos novos chips da Nvidia, 2.496 chips Blackwell concluíram o teste de treinamento em 27 minutos. Foram necessários cerca de três vezes mais chips da geração anterior da Nvidia para conseguir um tempo mais rápido, segundo os dados.
Em coletiva de imprensa, Chetan Kapoor, diretor de produtos da CoreWeave, que colaborou com a Nvidia na produção de alguns dos resultados, disse que tem observado uma tendência no setor de IA de reunir grupos menores de chips em subsistemas para tarefas separadas de treinamento de IA, em vez de criar grupos homogêneos de 100 mil chips ou mais.
“Usando uma metodologia como essa, eles podem continuar a acelerar ou reduzir o tempo de treinamento de alguns desses modelos malucos de vários trilhões de parâmetros”, disse Kapoor.