intelligenza artificiale Featured

"Il modello non è ciò che conta di più": la lezione di Zhilin Yang (Kimi CEO)

Luigi

• 3 min read
Share
"Il modello non è ciò che conta di più": la lezione di Zhilin Yang (Kimi CEO)

"Ogni laboratorio di AI, come Claude, pensa che il modello sia la cosa più importante. Ma si sbagliano. E' come organizzi le persone che lo costruiscono che fa vincere."

Con queste parole Zhilin Yang, CEO di Kimi, introduce una delle riflessioni più controintuitive del panorama AI attuale. In 15 minuti di discorso, Yang traccia un parallelo affascinante tra l'evoluzione dei microprocessori Intel negli anni '70 e lo stato dell'intelligenza artificiale oggi.

Il contesto: l'intuizione di Bill Gates e Paul Allen

Yang parte da lontano. Siamo nei primi anni '70. Intel rilascia il suo primo microprocessore commerciale. All'epoca era praticamente inutile. Non c'erano applicazioni. Non c'era valore commerciale.

Ma Bill Gates e Paul Allen notarono qualcosa di profondo. Osservarono la legge di Moore e capirono che, anche se quel chip non era utile allora, lo sarebbe diventato nel giro di pochi decenni.

"Ogni singola famiglia in tutto il paese avrebbe potuto eventualmente avere il proprio personal computer."

Quella visione divenne realtà. Allo stesso modo, guardando all'AI dal 2019, Yang vide un'analogia potente. I modelli crescevano, ma non avevano ancora raggiunto uno stato davvero utilizzabile per tutti.

Le tre condizioni che hanno reso possibile il momento AI

Yang identifica tre fattori che si sono allineati creando il punto di svolta del 2022, l'era GPT-4.

Primo: l'infrastruttura di Internet. Oltre 20 anni di sviluppo del web hanno creato miliardi di token di alta qualità disponibili per l'addestramento.

Secondo: l'architettura Transformer. Per la prima volta, una struttura di rete poteva essere scalata in modo efficiente.

Terzo: lo sviluppo dei semiconduttori. L'intero ecosistema software e hardware ha permesso di addestrare modelli con operazioni nell'ordine di 10²⁵ FLOP.

"Se fosse stato qualche anno prima o dopo, forse non sarebbe stato il momento giusto."

Lo Scaling Law e i suoi tre strati

Yang distingue tre livelli nella legge di scaling.

Primo strato: il principio fondamentale. Il cuore dell'AI generativa è predire il prossimo token. Lo scaling law riguarda il raggiungimento di una migliore compressione lossless dei dati. E' la legge di Moore dell'era dei computer, applicata all'AI.

Secondo strato: il problema dei dati. Il testo potrebbe aver già raggiunto un certo plateau. La vera sfida ora è usare dati generati per superare i limiti dei dati esistenti, incorporando sempre più dati nell'addestramento.

Terzo strato: efficienza computazionale. Non basta aumentare la potenza di calcolo. L'efficienza con cui converti computazione in intelligenza è altrettanto cruciale. Architecture più efficienti e metodi di active learning possono fare la differenza.

Long Context: la RAM dell'era AI

Il contributo più specifico che Yang rivendica è nel long context window. Lo paragona direttamente all'evoluzione della memoria nei computer.

"Nell'era dei computer, la memoria ha attraversato decenni di sviluppo: da 128K negli anni '70 ai diversi gigabyte di oggi. La finestra di contesto lungo è la versione AI della RAM."

Kimi supporta già 2 milioni di caratteri di input. Yang descrive questa capacità come un processo di "ammortizzazione della complessità". I problemi molto complessi vengono estesi in sequenze più lunghe, dove ogni passo diventa un problema più semplice.

Applicazioni pratiche del long context:

  • Elaborare 100 paper accademici in un'unica sessione
  • Analizzare 20 report finanziari contemporaneamente
  • Screening simultaneo di migliaia di CV
  • Generazione di video di 1-2 ore con coerenza temporale
  • Personalizzazione profonda basata sull'intera storia di interazione

L'organizzazione come vantaggio competitivo

Yang torna al punto centrale, citando il consiglio del Dr. Lou.

"Il tuo vantaggio più grande, e forse il tuo unico vantaggio, è la tua organizzazione."

Quando emerge una nuova tecnologia, il modo di produzione deve cambiare. Costruire una nuova organizzazione da zero, adattata al paradigma dei grandi modelli, può dare un vantaggio significativo rispetto agli incumbent.

La differenza fondamentale? Lo sviluppo dei grandi modelli è emergente per natura. Non sai quali nuove capacità emergano fino a quando non raggiungi un certo punto nell'addestramento. A differenza dello sviluppo pianificato dell'era Internet, qui bisogna ottimizzare caso per caso, categoria per categoria.

"I grandi modelli sono fondamentalmente emergenti per natura."

Conclusione: salire le scale, non guardare il panorama

Yang conclude con un invito all'equilibrio. C'è una tensione tra "salire le scale" (spingere i confini tecnologici) e "godersi il panorama" (commercializzare). Come startup, l'obiettivo è dedicare più sforzi a scalare. Siamo solo all'inizio, probabilmente a 2¹⁵ o 2¹⁶ FLOP, con margini enormi fino a 2²⁹.

"Grazie a tutti. Con questo si conclude la nostra presentazione di oggi."