Tour esclusivo del laboratorio Trainium di Amazon: il chip che conquista Anthropic, OpenAI e Apple.
Attualmente ci sono 1,4 milioni di chip Trainium distribuiti tra tutte e tre le generazioni, e Anthropic ha dichiarato che il suo modello Claude gira su oltre 1 milione di chip Trainium2.
È interessante notare che, mentre Trainium era inizialmente progettato per una formazione più veloce ed economica dei modelli, è ora anche ottimizzato per l’inferenza. L’inferenza, infatti, è il processo di esecuzione di un modello AI per generare risposte ed è attualmente il più grande collo di bottiglia in termini di prestazioni del settore.
Un esempio chiave: il chip Trainium2 gestisce la maggior parte del traffico d’inferenza sul servizio Bedrock di Amazon, che supporta la creazione di applicazioni AI per i numerosi clienti aziendali di Amazon, consentendo loro di utilizzare più modelli contemporaneamente.
About The Author
