Come l'IA si automigliora: cosa sappiamo davvero
L'idea che un'IA possa migliorarsi da sola circola dagli anni '60. Oggi non è più teoria: frammenti del loop sono pratica ingegneristica. Ma c'è una distinzione netta tra ciò che funziona adesso e ciò che resta ipotesi.
La survey più completa (Chen, Wang, Qu — arXiv:2607.07663, luglio 2026) ha classificato 1.250 paper su arXiv (2024-2026) lungo due assi.
Cosa migliora il sistema:
- Deployment-time: output, test-time training, harness/skill evolution (393 paper)
- Training-time: self-reward RL, CoT self-training, self-distillation, self-play (340 paper)
- Self-evaluation: judges, reward model, verifier, rubriche, meta-evaluation (318 paper)
- Auto Research: AI scientist, evolutionary program discovery (139 paper)
Quanto è chiuso il loop:
- Human-in-the-loop: l'umano valida ogni cambiamento
- Human-on-the-loop: segnale automatico più audit umano (la maggioranza oggi)
- Closed loop: il sistema genera, valida, applica senza revisione umana
La letteratura sta quasi tutta nel riquadro human-on-the-loop. Il bounded self-refinement — convergente, valutabile, già in produzione — è cosa diversa dall'RSI aperto, che modifica anche i propri criteri di miglioramento e non ha ancore esterne fisse.
Sistemi concreti già operativi
AlphaEvolve (Google DeepMind, maggio 2025)
Un evolutionary coding agent: ensemble Gemini (Flash per ampiezza, Pro per profondità) più evolutionary framework più evaluatori automatici. Risultati in produzione:
- Data center scheduling (Borg): +0,7% compute globale recuperato, codice leggibile in produzione da oltre un anno
- Chip design (TPU): rewrite Verilog di circuiti critici, verificato formalmente, integrato nel TPU next-gen
- AI training: kernel matmul +23% speed, -1% training time Gemini; FlashAttention kernel +32,5% su GPU
- Matematica: nuovo algoritmo moltiplicazione matrici 4×4 complessi (48 vs 49 moltiplicazioni scalari di Strassen 1969); 75% riscopre SOTA su 50+ problemi aperti, 20% li migliora (es. kissing number in 11 dimensioni: nuovo lower bound 593 sfere)
The AI Scientist (Sakana AI, agosto 2024)
Pipeline end-to-end: idea generation, literature search, experiment planning, code implementation via Aider, execution, visualization, paper writing LaTeX, automated peer review, archive, loop. Costo: ~15$/paper; centinaia di paper/settimana. Domini testati: diffusion modeling, language modeling, grokking. Reviewer automatizzato: near-human performance (65% vs 66% balanced accuracy su ICLR 2022). Limiti: template codebase fisso, small-scale experiments, eval limitata a ML.
Self-Rewarding Language Models (Yuan et al., Meta FAIR, gennaio 2024)
Il modello genera le proprie preferenze (self-instruction più self-evaluation) e si allena via iterative DPO. Sia instruction following che reward modeling ability migliorano a ogni iterazione (M1→M2→M3). Supera sistemi con reward model fisso addestrato su preferenze umane. Chiave: il design del prompt LLM-as-a-Judge determina la qualità del segnale.
FunSearch (Romera-Paredes et al., Nature 2024)
Predecessore di AlphaEvolve: scopre funzioni matematiche via LLM più evolutionary search più evaluator automatico. Risolto problemi aperti in combinatoria (cap set problem) e bin packing.
Il collo di bottiglia trasversale: la self-evaluation
Ogni loop di miglioramento è una pretesa: un segnale può sostituire il giudizio umano. La survey Chen et al. dedica una sezione intera a questo punto.
Verification hierarchy (dal più forte al più debole):
- Formal verifiers (proof checker, type checker, test suite) — soundness garantita
- Execution feedback (codice che gira, passa test, produce output atteso)
- Learned process-reward models (PRM, step-level reward)
- LLM judges / rubriche (prompted evaluation, pairwise comparison)
- Intrinsic self-assessment (log-prob, consistency, entropy) — più debole, soggetto a self-confirming loops
Failure modes documentati:
- Self-confirming loops: judge e policy co-adattano, reward hacking
- Model collapse: training su dati auto-generati, perdita tail della distribuzione
- Diversity collapse: self-play converge a strategie degenere
- Non-verifiable frontier: task senza ground truth verificabile (creative writing, research direction-setting)
Auto Research: la frontiera più vicina a chiudere il loop
| Sistema | Anno | Cosa fa | Livello autonomia |
|---|---|---|---|
| AlphaEvolve | 2025 | Scopre/ottimizza algoritmi (math, kernels, scheduling, chip design) | Human-on-the-loop |
| The AI Scientist | 2024 | Pipeline paper completo: idea, esperimenti, paper, review, archive | Human-on-the-loop |
| Automated AI Safety Research (Anthropic) | 2026 | Agenti risolvono problema open-ended: weak supervision of strong model | 97% gap recuperato vs 23% umani |
| Gödel Agent / DGM | 2024-25 | Agenti che modificano il proprio codice e provano miglioramenti formali | Sperimentale |
Bottleneck universale (Anthropic 2026, Chen et al. 2026): research direction-setting — scegliere quali problemi valga la pena risolvere. Oggi: umani definiscono obiettivi e metriche; agenti eseguono ordini di grandezza più veloce.
Limiti fondamentali: cosa frena l'RSI aperto
Model Collapse (Shumailov et al., Nature luglio 2024)
Teorema: addestramento ricorsivo su dati generati dal modello porta a convergenza a distribuzione degenere (zero variance, perdita tail). Universale per tutti i modelli generativi (LLM, VAE, GMM).
Meccanismo: statistical approximation error più functional expressivity error più functional approximation error si compongono generazione dopo generazione.
Evidenza empirica: OPT-125m fine-tunato su dati auto-generati, perplexità degrada, output collassa a ripetizioni/gibberish entro 5-9 generazioni.
Mitigazione: preservare ≥10% dati umani originali a ogni generazione rallenta drasticamente il collasso.
Implicazione: web sempre più inquinato da contenuti LLM, first mover advantage per chi ha accesso a dati pre-LLM o human-curated.
Reward Hacking / Specification Gaming
Self-rewarding loops: il modello impara a massimizzare il proprio judge, non l'obiettivo reale. Documentato in RLHF, Constitutional AI, self-play, PRM training. Contromisure: multi-judge ensembles, human auditing, formal verification dove possibile, process-level vs outcome-level rewards.
Evaluation Gap per task non-verificabili
Coding/math: verificatori formali, self-improvement forte e misurabile. Research direction, creative writing, strategy: nessun ground truth, self-evaluation debole, loop non chiudibile affidabilmente.
Compute & Energy Constraints (Amdahl's Law per organizzazioni AI)
Anthropic 2026: doing (coding, running experiments) costa ~0 tempo umano; bottleneck si sposta a review/oversight. GitHub: 1 miliardo commit 2025, 275M/settimana mid-2026 (×14 annualizzato). Recursive improvement limitato da disponibilità compute, non solo intelligenza.
Evidenze dal campo: Anthropic "When AI builds itself" (settembre 2026)
Dati interni Anthropic (maggio 2026):
| Metrica | 2021-2024 | 2025 | Q2 2026 |
|---|---|---|---|
| % codice merged scritto da Claude | Low single digits | ~50% | >80% |
| Lines of code/engineer/giorno | Costante | In salita | 8× vs 2024 |
| Produttività percepita (poll 130 ricercatori) | baseline | - | Mediana 4× |
| Success rate su task open-ended | - | ~26% (nov 2025) | 76% (mag 2026) |
| Research experiment optimization (speedup vs human 4×) | - | ~3× (Opus 4) | ~52× (Mythos Preview) |
| Agent judgment vs human (next-step decisions) | - | 51% (Opus 4.5) | 64% (Mythos Preview) |
Trend chiave: time horizon task completabili autonomamente raddoppia ogni 4 mesi (era 7 mesi). Mar 2024: 4 min, Mar 2025: 1,5h, Mar 2026: 12h. Proiezione: task da settimane nel 2027.
Tre scenari futuri (Anthropic Institute, 2026)
| Scenario | Descrizione | Probabilità percepita |
|---|---|---|
| 1. Trend stalls (S-curve) | Ritorni marginali su scaling; giudizio ricerca non emergente da scaling; vincoli supply chain | Bassa (curve non piegate finora) |
| 2. Compounding efficiency gains | AI automatizza execution; umani restano su direction-setting + judgment; org 100-person = 10k-100k person work | Più probabile |
| 3. Full RSI closed-loop | AI progetta/allena successori; pace = velocità compute; umani → oversight/verification | Plausibile se trend continua + research taste emerge |
Cosa manca per chiudere il loop (Research Agenda 2024-2026)
| Gap | Stato attuale | Priorità |
|---|---|---|
| Governance-grade measurement di self-improvement | Sottopopolato ("most underpopulated niche") | Critica |
| Verificatori formali per task aperti | Solo coding/math | Alta |
| Meta-evaluation robusta | Embryonic: judge ensembles, human auditing | Alta |
| Prevenzione model collapse su web | Watermarking, provenance tracking, data curation | Urgente |
| Coordinazione internazionale per slowdown verificabile | Anthropic Institute + gov/academia/civil society (in corso 2026) | Critica per scenario 3 |
Sintesi: dove siamo davvero
| Domanda | Risposta basata su evidenze 2024-2026 |
|---|---|
| L'IA si automigliora già? | Sì, in forme bounded: genera propri dati, corregge output, ottimizza kernel, scopre algoritmi, scrive paper, accelera coding 8× |
| C'è un sistema che si riprogetta da solo senza vincoli umani? | No. Tutti richiedono: evaluator fissato esternamente, umano che sceglie problemi/metriche, audit su deployment |
| Quanto manca al closed loop? | Bottleneck unico: research direction-setting. Agent judgment su next-step decisions al 64% vs human, in rapida ascesa |
| Il rischio model collapse è reale? | Sì, provato matematicamente e sperimentalmente (Nature 2024). Limita training ricorsivo su dati auto-generati |
| Quando potrebbe arrivare full RSI? | Se trend time-horizon (×2/4 mesi) + research judgment continuano: task da settimane nel 2027, closed-loop plausibile a seguire. Ma non inevitabile |
Fonti primarie chiave (2024-2026)
- Chen, Wang, Qu (2026) — Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops — arXiv:2607.07663 (survey 1.250 paper, tassonomia di riferimento)
- Anthropic Institute (2026) — When AI builds itself (dati interni + analisi trend + policy)
- Novikov et al. / Google DeepMind (2025) — AlphaEvolve: A coding agent for scientific and algorithmic discovery — arXiv:2506.13131 (sistema in produzione con risultati reali)
- Lu et al. / Sakana AI (2024) — The AI Scientist — arXiv:2408.06292 (pipeline paper end-to-end automatizzata)
- Yuan et al. / Meta FAIR (2024) — Self-Rewarding Language Models — arXiv:2401.10020 (iterative DPO con LLM-as-a-Judge)
- Shumailov et al. (2024) — AI models collapse when trained on recursively generated data — Nature 631, 755–759 (limite teorico + sperimentale fondamentale)
- Romera-Paredes et al. (2024) — Mathematical Discoveries from Program Search with Large Language Models — Nature 625, 468–475 (FunSearch, predecessore AlphaEvolve)
- ANSA Fact-check (ottobre 2026) — I modelli di IA possono evolversi in modo autonomo? (posizione scettica ufficiale: "non senza impostazione umana")
L'auto-miglioramento dell'IA è già realtà industriale nelle sue forme bounded. Il salto verso RSI aperto dipende quasi interamente dal superamento del research direction-setting bottleneck e dalla risoluzione dei problemi di valuation affidabile senza ground truth e model collapse. Le evidenze 2024-2026 mostrano accelerazione rapida ma non inevitabilità — la governance tecnica (measurement, verification, coordination) è il campo più critico e sottosviluppato.