In Breve
- Cosa è Jalapeño?
- Jalapeño è un chip sviluppato da OpenAI per ottimizzare le prestazioni nell'inferenza.
- Quali sono i vantaggi di Jalapeño?
- Offre un numero maggiore di token per utente e una maggiore throughput per kilowatt rispetto ai chip attuali.
- Quando sarà disponibile Jalapeño?
- Il primo dispiegamento è previsto entro la fine del 2026, con una distribuzione più ampia nel 2027.
Durante la recente conferenza Hot Chips, OpenAI ha presentato Jalapeño, un innovativo chip progettato per migliorare le prestazioni nell’inferenza. I risultati dei benchmark condotti su InferenceX di Semianalysis hanno mostrato che Jalapeño offre un numero maggiore di token per utente e una maggiore throughput per kilowatt rispetto ai processori di inferenza attualmente considerati all’avanguardia, come il sistema Nvidia Blackwell.
OpenAI ha sviluppato Jalapeño in collaborazione con Broadcom, integrando i propri modelli nel processo di progettazione. L’azienda prevede che questa piattaforma diventi multigenerazionale, capace di coordinare chip, memoria e modelli in modo efficiente.
L’architettura di Jalapeño è stata progettata per ridurre i ritardi nelle fasi di prefill e comunicazione, che rappresentano colli di bottiglia durante l’inferenza. Come sottolineato nel comunicato aziendale, l’obiettivo è minimizzare lo spostamento dei dati e i ritardi di comunicazione. In particolare, lo stato del modello, compresa la KV cache utilizzata durante la generazione delle risposte, può essere allocato e mantenuto localmente, attivando la combinazione adeguata di calcolo, memoria e rete per ogni fase di inferenza.
Richard Ho, responsabile hardware di OpenAI, ha dichiarato: “I risultati mostrano un avanzamento significativo delle prestazioni rispetto allo stato attuale. Jalapeño può gestire più lavoro di intelligenza artificiale per unità di potenza, restituendo risposte più rapidamente. È molto efficiente nel servire un gran numero di clienti, mantenendo anche una bassa latenza.”
OpenAI prevede un primo dispiegamento di Jalapeño in volumi ridotti entro la fine del 2026, con una distribuzione più significativa programmata per il 2027. Questo sviluppo potrebbe rivoluzionare il settore dell’inferenza, rendendo le applicazioni di intelligenza artificiale più accessibili e performanti.
