Nuovo modello AI e imbracatura migliorata per ridurre i costi dei token.
Le Novità delle Funzionalità di Writer
Il nuovo approccio adottato da Writer si concentra in particolare sulle attività complesse e multi-step, eseguite più velocemente e utilizzando meno token. L’ottimizzazione dell’harness viene vista come una leva cruciale per raggiungere questo obiettivo. Recenti ricerche condotte dal team di Writer confermano questa strategia, mostrando che piccoli cambiamenti nell’efficienza dell’harness possono avere un impatto notevole sui costi operativi.
Lo studio ha rivelato che, in molti casi, le modifiche all’harness risultavano essere un modo più affidabile per ridurre i costi rispetto alla scelta del modello. Attraverso test su diversi modelli, è emerso che i costi sono diminuiti in media del 40%. Come scritto dai ricercatori, “l’harness è l’unico componente la cui efficienza si moltiplica per ogni modello che un’organizzazione utilizza, presente e futuro”.
Per i clienti di Writer, l’esperienza rimane agnostica rispetto ai modelli: Palmyra X6 sarà affiancato ad altri modelli di Writer o a modelli esterni importati tramite servizi come Azure o Amazon Bedrock. Tuttavia, Habib ha notato una crescente sfiducia verso i principali laboratori di AI, che potrebbero avere incentivi finanziari a incrementare l’uso dei token.
