Tour esclusivo del laboratorio Trainium di Amazon: il chip che conquista Anthropic, OpenAI e Apple.
Trainium vs Nvidia: Una Nuova Era per l’Inferenza AI
Oltre a offrire un’alternativa alle GPU di Nvidia, spesso difficili da ottenere, Amazon afferma che i suoi nuovi chip in esecuzione su Trn3 UltraServers costano fino al 50% in meno rispetto ai classici server cloud per prestazioni comparabili.
Oltre al chip Trainium3, rilasciato a dicembre, il team di AWS ha anche sviluppato nuovi switch Neuron, un accoppiamento che Carroll descrive come trasformativo. Secondo lui, questo permette a ogni chip Trainium3 di comunicare con ogni altro chip in una configurazione a rete, riducendo la latenza. “Ecco perché il Trainium3 sta battendo ogni record,” ha affermato, aggiungendo che ciò è particolarmente rilevante in termini di “costo per potenza”.
Considerando che si trattano di trilioni di token al giorno, tali miglioramenti possono avere un impatto significativo. Nel 2024, il team chip di Amazon è stato lodato pubblicamente da Apple, che ha sfruttato i chip Graviton e Inferentia, dimostrando così il valore e la competenza del team.
About The Author
