Come l'IA si automigliora: cosa sappiamo davvero

L'idea che un'IA possa migliorarsi da sola circola dagli anni '60. Oggi non è più teoria: frammenti del loop sono pratica ingegneristica. Ma c'è una distinzione netta tra ciò che funziona adesso e ciò che resta ipotesi.

La survey più completa (Chen, Wang, Qu — arXiv:2607.07663, luglio 2026) ha classificato 1.250 paper su arXiv (2024-2026) lungo due assi.

Cosa migliora il sistema:

  • Deployment-time: output, test-time training, harness/skill evolution (393 paper)
  • Training-time: self-reward RL, CoT self-training, self-distillation, self-play (340 paper)
  • Self-evaluation: judges, reward model, verifier, rubriche, meta-evaluation (318 paper)
  • Auto Research: AI scientist, evolutionary program discovery (139 paper)

Quanto è chiuso il loop:

  • Human-in-the-loop: l'umano valida ogni cambiamento
  • Human-on-the-loop: segnale automatico più audit umano (la maggioranza oggi)
  • Closed loop: il sistema genera, valida, applica senza revisione umana

La letteratura sta quasi tutta nel riquadro human-on-the-loop. Il bounded self-refinement — convergente, valutabile, già in produzione — è cosa diversa dall'RSI aperto, che modifica anche i propri criteri di miglioramento e non ha ancore esterne fisse.


Sistemi concreti già operativi

AlphaEvolve (Google DeepMind, maggio 2025)

Un evolutionary coding agent: ensemble Gemini (Flash per ampiezza, Pro per profondità) più evolutionary framework più evaluatori automatici. Risultati in produzione:

  • Data center scheduling (Borg): +0,7% compute globale recuperato, codice leggibile in produzione da oltre un anno
  • Chip design (TPU): rewrite Verilog di circuiti critici, verificato formalmente, integrato nel TPU next-gen
  • AI training: kernel matmul +23% speed, -1% training time Gemini; FlashAttention kernel +32,5% su GPU
  • Matematica: nuovo algoritmo moltiplicazione matrici 4×4 complessi (48 vs 49 moltiplicazioni scalari di Strassen 1969); 75% riscopre SOTA su 50+ problemi aperti, 20% li migliora (es. kissing number in 11 dimensioni: nuovo lower bound 593 sfere)

The AI Scientist (Sakana AI, agosto 2024)

Pipeline end-to-end: idea generation, literature search, experiment planning, code implementation via Aider, execution, visualization, paper writing LaTeX, automated peer review, archive, loop. Costo: ~15$/paper; centinaia di paper/settimana. Domini testati: diffusion modeling, language modeling, grokking. Reviewer automatizzato: near-human performance (65% vs 66% balanced accuracy su ICLR 2022). Limiti: template codebase fisso, small-scale experiments, eval limitata a ML.

Self-Rewarding Language Models (Yuan et al., Meta FAIR, gennaio 2024)

Il modello genera le proprie preferenze (self-instruction più self-evaluation) e si allena via iterative DPO. Sia instruction following che reward modeling ability migliorano a ogni iterazione (M1→M2→M3). Supera sistemi con reward model fisso addestrato su preferenze umane. Chiave: il design del prompt LLM-as-a-Judge determina la qualità del segnale.

FunSearch (Romera-Paredes et al., Nature 2024)

Predecessore di AlphaEvolve: scopre funzioni matematiche via LLM più evolutionary search più evaluator automatico. Risolto problemi aperti in combinatoria (cap set problem) e bin packing.


Il collo di bottiglia trasversale: la self-evaluation

Ogni loop di miglioramento è una pretesa: un segnale può sostituire il giudizio umano. La survey Chen et al. dedica una sezione intera a questo punto.

Verification hierarchy (dal più forte al più debole):

  1. Formal verifiers (proof checker, type checker, test suite) — soundness garantita
  2. Execution feedback (codice che gira, passa test, produce output atteso)
  3. Learned process-reward models (PRM, step-level reward)
  4. LLM judges / rubriche (prompted evaluation, pairwise comparison)
  5. Intrinsic self-assessment (log-prob, consistency, entropy) — più debole, soggetto a self-confirming loops

Failure modes documentati:

  • Self-confirming loops: judge e policy co-adattano, reward hacking
  • Model collapse: training su dati auto-generati, perdita tail della distribuzione
  • Diversity collapse: self-play converge a strategie degenere
  • Non-verifiable frontier: task senza ground truth verificabile (creative writing, research direction-setting)

Auto Research: la frontiera più vicina a chiudere il loop

Sistema Anno Cosa fa Livello autonomia
AlphaEvolve 2025 Scopre/ottimizza algoritmi (math, kernels, scheduling, chip design) Human-on-the-loop
The AI Scientist 2024 Pipeline paper completo: idea, esperimenti, paper, review, archive Human-on-the-loop
Automated AI Safety Research (Anthropic) 2026 Agenti risolvono problema open-ended: weak supervision of strong model 97% gap recuperato vs 23% umani
Gödel Agent / DGM 2024-25 Agenti che modificano il proprio codice e provano miglioramenti formali Sperimentale

Bottleneck universale (Anthropic 2026, Chen et al. 2026): research direction-setting — scegliere quali problemi valga la pena risolvere. Oggi: umani definiscono obiettivi e metriche; agenti eseguono ordini di grandezza più veloce.


Limiti fondamentali: cosa frena l'RSI aperto

Model Collapse (Shumailov et al., Nature luglio 2024)

Teorema: addestramento ricorsivo su dati generati dal modello porta a convergenza a distribuzione degenere (zero variance, perdita tail). Universale per tutti i modelli generativi (LLM, VAE, GMM).

Meccanismo: statistical approximation error più functional expressivity error più functional approximation error si compongono generazione dopo generazione.

Evidenza empirica: OPT-125m fine-tunato su dati auto-generati, perplexità degrada, output collassa a ripetizioni/gibberish entro 5-9 generazioni.

Mitigazione: preservare ≥10% dati umani originali a ogni generazione rallenta drasticamente il collasso.

Implicazione: web sempre più inquinato da contenuti LLM, first mover advantage per chi ha accesso a dati pre-LLM o human-curated.

Reward Hacking / Specification Gaming

Self-rewarding loops: il modello impara a massimizzare il proprio judge, non l'obiettivo reale. Documentato in RLHF, Constitutional AI, self-play, PRM training. Contromisure: multi-judge ensembles, human auditing, formal verification dove possibile, process-level vs outcome-level rewards.

Evaluation Gap per task non-verificabili

Coding/math: verificatori formali, self-improvement forte e misurabile. Research direction, creative writing, strategy: nessun ground truth, self-evaluation debole, loop non chiudibile affidabilmente.

Compute & Energy Constraints (Amdahl's Law per organizzazioni AI)

Anthropic 2026: doing (coding, running experiments) costa ~0 tempo umano; bottleneck si sposta a review/oversight. GitHub: 1 miliardo commit 2025, 275M/settimana mid-2026 (×14 annualizzato). Recursive improvement limitato da disponibilità compute, non solo intelligenza.


Evidenze dal campo: Anthropic "When AI builds itself" (settembre 2026)

Dati interni Anthropic (maggio 2026):

Metrica 2021-2024 2025 Q2 2026
% codice merged scritto da Claude Low single digits ~50% >80%
Lines of code/engineer/giorno Costante In salita 8× vs 2024
Produttività percepita (poll 130 ricercatori) baseline - Mediana 4×
Success rate su task open-ended - ~26% (nov 2025) 76% (mag 2026)
Research experiment optimization (speedup vs human 4×) - ~3× (Opus 4) ~52× (Mythos Preview)
Agent judgment vs human (next-step decisions) - 51% (Opus 4.5) 64% (Mythos Preview)

Trend chiave: time horizon task completabili autonomamente raddoppia ogni 4 mesi (era 7 mesi). Mar 2024: 4 min, Mar 2025: 1,5h, Mar 2026: 12h. Proiezione: task da settimane nel 2027.


Tre scenari futuri (Anthropic Institute, 2026)

Scenario Descrizione Probabilità percepita
1. Trend stalls (S-curve) Ritorni marginali su scaling; giudizio ricerca non emergente da scaling; vincoli supply chain Bassa (curve non piegate finora)
2. Compounding efficiency gains AI automatizza execution; umani restano su direction-setting + judgment; org 100-person = 10k-100k person work Più probabile
3. Full RSI closed-loop AI progetta/allena successori; pace = velocità compute; umani → oversight/verification Plausibile se trend continua + research taste emerge

Cosa manca per chiudere il loop (Research Agenda 2024-2026)

Gap Stato attuale Priorità
Governance-grade measurement di self-improvement Sottopopolato ("most underpopulated niche") Critica
Verificatori formali per task aperti Solo coding/math Alta
Meta-evaluation robusta Embryonic: judge ensembles, human auditing Alta
Prevenzione model collapse su web Watermarking, provenance tracking, data curation Urgente
Coordinazione internazionale per slowdown verificabile Anthropic Institute + gov/academia/civil society (in corso 2026) Critica per scenario 3

Sintesi: dove siamo davvero

Domanda Risposta basata su evidenze 2024-2026
L'IA si automigliora già? Sì, in forme bounded: genera propri dati, corregge output, ottimizza kernel, scopre algoritmi, scrive paper, accelera coding 8×
C'è un sistema che si riprogetta da solo senza vincoli umani? No. Tutti richiedono: evaluator fissato esternamente, umano che sceglie problemi/metriche, audit su deployment
Quanto manca al closed loop? Bottleneck unico: research direction-setting. Agent judgment su next-step decisions al 64% vs human, in rapida ascesa
Il rischio model collapse è reale? Sì, provato matematicamente e sperimentalmente (Nature 2024). Limita training ricorsivo su dati auto-generati
Quando potrebbe arrivare full RSI? Se trend time-horizon (×2/4 mesi) + research judgment continuano: task da settimane nel 2027, closed-loop plausibile a seguire. Ma non inevitabile

Fonti primarie chiave (2024-2026)

  • Chen, Wang, Qu (2026) — Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops — arXiv:2607.07663 (survey 1.250 paper, tassonomia di riferimento)
  • Anthropic Institute (2026) — When AI builds itself (dati interni + analisi trend + policy)
  • Novikov et al. / Google DeepMind (2025) — AlphaEvolve: A coding agent for scientific and algorithmic discovery — arXiv:2506.13131 (sistema in produzione con risultati reali)
  • Lu et al. / Sakana AI (2024) — The AI Scientist — arXiv:2408.06292 (pipeline paper end-to-end automatizzata)
  • Yuan et al. / Meta FAIR (2024) — Self-Rewarding Language Models — arXiv:2401.10020 (iterative DPO con LLM-as-a-Judge)
  • Shumailov et al. (2024) — AI models collapse when trained on recursively generated data — Nature 631, 755–759 (limite teorico + sperimentale fondamentale)
  • Romera-Paredes et al. (2024) — Mathematical Discoveries from Program Search with Large Language Models — Nature 625, 468–475 (FunSearch, predecessore AlphaEvolve)
  • ANSA Fact-check (ottobre 2026) — I modelli di IA possono evolversi in modo autonomo? (posizione scettica ufficiale: "non senza impostazione umana")

L'auto-miglioramento dell'IA è già realtà industriale nelle sue forme bounded. Il salto verso RSI aperto dipende quasi interamente dal superamento del research direction-setting bottleneck e dalla risoluzione dei problemi di valuation affidabile senza ground truth e model collapse. Le evidenze 2024-2026 mostrano accelerazione rapida ma non inevitabilità — la governance tecnica (measurement, verification, coordination) è il campo più critico e sottosviluppato.