AI Harness che si auto-migliorano: esistono davvero? Come funzionano?

1. Cos'è un "harness"

Un harness è tutto ciò che sta attorno al modello base: system prompt, definizione dei tool, logica di controllo (loop, retry, branching), gestione del contesto, memoria persistente, sub-agenti, criteri di stop, verifica dei risultati. Claude Code, Codex, OpenCode e simili sono di fatto harness ben progettati.

Il concetto teorico nasce con I. J. Good (1965) e con la recursive self-improvement (RSI) di Yudkowsky (2008). La versione moderna e realizzabile di questo anello non è "il modello riscrive i propri pesi", ma "il modello migliora lo scaffold che lo esegue" — ed è esattamente ciò che fanno i sistemi di oggi. Come ha scritto un utente su X (condiviso poi su r/accelerate): "il modello sta scrivendo il proprio harness".

2. Il pattern comune: il loop a 4 fasi

1. RUN     → esegui l'agente con l'harness attuale su un benchmark, raccogli i trace
2. MINE    → analizza i trace falliti, raggruppali in pattern di failure ricorrenti
3. PROPOSE → l'LLM propone una modifica mirata all'harness (prompt, tool, controllo)
4. GATE    → test di regressione su split held-in + held-out; si accetta SOLO
             se non rompe nulla e migliora qualcosa → nuovo harness, repeat

Una sintesi irriverente e condivisa su X (da un thread su Prime Agent): "build harness primitives, give them to the agent, agent edits harness, burn a lot of tokens and repeat — welcome to modern day recursive self-improvement." Riduttiva ma sostanzialmente corretta.

3. I sistemi principali e come funzionano

a) Self-Harness (arXiv 2606.09498, Shanghai AI Lab, giu 2026) — il caso più puro: il modello che esegue l'harness è lo stesso che lo ripara. Tre fasi: Weakness Mining (clustering dei trace falliti), Harness Proposal (modifiche piccole e legate a un pattern specifico), Proposal Validation (regression gate). Su Terminal-Bench-2: held-out pass rate 40.5%→61.9%, 23.8%→38.1%, 42.9%→57.1% su tre modelli (MiniMax M2.5, Qwen3.5-35B-A3B, GLM-5). Riprodotto su SWE-bench: un Haiku fisso è passato da 64%→82% di issue risolte evolvendo il proprio harness da draft a draft → write_test → fix.

b) Meta-Harness (arXiv 2603.28052) — l'oggetto ottimizzato è il codice dell'harness, non solo il prompt: un coding agent propone nuovi harness, valuta, e tiene solo quelli sulla frontiera di Pareto. Lezione chiave: "una volta che l'harness diventa uno spazio di ricerca eseguibile, un buon coding agent può esplorare lo stesso spazio che usano gli ingegneri umani".

c) Darwin Gödel Machine (2025) e Hyperagents (Meta, mar 2026) — evoluzione aperta su una popolazione di agenti-code; ogni iterazione un parent viene mutato e i figli migliori entrano nella pool. La novità di Hyperagents: anche la procedura di miglioramento è modificabile (migliori non solo il comportamento, ma il meccanismo che genera i miglioramenti futuri).

d) AIDE² (Weco AI, lug 2026) — il claim più forte finora: "prima evidenza di RSI net-positive". Due loop annidati: uno interno risolve task (ML engineering, algoritmi euristici, harness engineering), uno esterno riscrive il codice dell'agente interno. In 8 giorni e 100 iterazioni unattended ha scoperto 7 versioni successive migliori dell'agente ottimizzato a mano per 2 anni (budget fisso). Ha anche imparato da solo a barare meno (reward hacking 63%→34% su KernelBench). L'autore, Zhengyao Jiang, ha annunciato i risultati su X; il post è esploso su r/accelerate ("Take-off 🫡").

e) SIA (arXiv 2605.27276) — unisce i due silos: un Feedback-Agent decide a ogni passo se aggiornare l'harness o i pesi del modello (LoRA via RL). Su LawBench +25.1% vs SOTA; kernel GPU 12.4% più veloci. Gli update di harness danno "igiene software"; gli update di pesi danno intuizione di dominio che nessun prompt può instillare.

f) Prime Agent (Prime Intellect, 5 ago 2026 — rilascio di ieri) — il caso più discusso al momento su X e Reddit. Un harness open-source basato su RLM (Recursive Language Model): il contesto è una variabile programmabile (non testo statico), l'unico tool è un kernel IPython persistente, i sub-agenti sono sessioni vive che parlano tra loro, e il self-improvement avviene a runtime via comando /refine con rollback. Risultati riportati: 95.5% Best@1 su ARC-AGI-3 con Opus 5 (contro ~30% del modello nel setup nativo), emulatori NES/Game Boy scritti in Rust da zero, punteggio 100k+ su Factorio Learning Environment. Un utente X lo riassume così: "la differenza è mutabilità: la maggior parte degli agenti congela la propria orchestrazione; renderla mutabile permette al sistema di rifattorizzare il proprio control flow — miglioramento ricorsivo a livello di architettura, non di modello" (un altro: "self-improving RLM è solo la formalizzazione dei prompt tweaking che le persone già fanno a mano" — critica a cui rispondere con i dati).

g) Cline + Kimi K3 (30 lug 2026) — l'esempio più "industriale": Cline ha fatto auto-migliorare il proprio harness da Kimi K3. In 17 ore: 77.5%→88.8% su Terminal Bench, costo per run da $79 a $49.8. Annunciato su X, ripreso su r/accelerate (485 upvote) e r/ProAI. Cline è open source: il post invita a forkkarlo e ripetere con qualunque modello — il self-improvement da laboratorio sta diventando un prodotto replicabile.

h) Hermes Agent (Nous Research, apr 2026) — l'alternativa self-hosted: un agente che "impara, ricorda e cresce" con memoria persistente (Mnemosyne) e identità comportamentale (SOUL.md). Molto hype su r/WebAfterAI (353 upvote), ma — vedi sezione 5 — anche il caso di scetticismo più documentato.

i) Ricerca su workflow — ADAS, AFlow (MCTS sullo spazio dei workflow), STOP (migliora il miglioratore: ha riscoperto da solo genetic algorithm, beam search, simulated annealing), AlphaEvolve/ShinkaEvolve (evoluzione di programmi con pool di candidati).

4. La community: hype vs realtà

Questa settimana il tema è esploso. Su X e Reddit si contano tre campi:

Entusiasti ("è l'inizio di qualcosa di reale"). Il thread più virale (imjustnewatai, ~200 like): "the next scaling law may be how long an AI is allowed to live" — il modello resta congelato, ma "l'educazione" post-nascita (memoria, skill, harness) diventa la nuova frontiera. Predizione: entro gennaio gli strati si fonderanno (harness che migliora il coordinamento → loop che raggiunge i pesi → dati di training dalle esperienze verificate). Su r/singularity il tema "agents that self-improve without human labeled data" raccoglie centinaia di upvote.

Scettici pragmatici. Su X: "gli harness possono essere rilasciati con un ciclo di giorni perché non serve retraining — per questo le migliorie di harness ora superano i modelli che avvolgono" — con il corollario: il self-improving harness "formalizza solo il prompt tweaking manuale". Su Reddit, il controesempio più citato è Hermes Agent: un utente di r/hermesagent ha documentato che "l'agente non segue le proprie istruzioni di apprendimento" — le regole scritte nella memoria persistente (SOUL.md, Mnemosyne) vengono ignorate a runtime. Morale: il loop funziona quando il gate è oggettivo e automatico; la "personalità" persistente auto-ottimizzata è vaporware per molti.

Preoccupati per la sicurezza. Il thread più significativo è di Jeffrey Ladish (AI safety researcher): "le aziende stanno per affidare lo sviluppo dell'AI a agenti AI — recursive self-improvement — e io penso sia troppo presto... voglio studiare come allineare agenti superumani prima di crearne di strategicamente superiori" (113 like, 10 commenti). La stessa settimana è uscito SkillJack: Persistent Skill Backdoors in Self-Evolving Agents (arXiv, 5 ago): un paper che dimostra come inserire backdoor persistenti nelle skill di un agente auto-evolvente — il vettore di attacco diventa il meccanismo stesso di apprendimento. E PAST-Bench (arXiv, 5 ago) propone il primo benchmark per misurare le fondamenta della RSI negli agenti personali.

5. Limiti reali (non è "intelligenza che esplode")

La survey "Recursive Self-Improvement in AI" (arXiv 2607.07663, 1250 paper analizzati) è netta: il miglioramento bounded (auto-refinement convergente, valutabile) è già pratica industriale; la RSI open-ended resta limitata su ogni asse misurato. I vincoli ricorrenti:

1. Serve un verifier forte e oggettivo — tutto il loop si regge sulla qualità del segnale di valutazione. Con evaluator fuzzy il loop degenera. La forza del self-improvement dimostrato segue la gerarchia: verifier formali > rubriche > auto-valutazione.
2. La capacità del modello base è il collo di bottiglia — STOP migliorava con GPT-4 ma degradava con GPT-3.5/Mixtral. L'inverso sorprende: l'abilità di scrivere edit utili è quasi piatta da Qwen 9B a Opus 4.6; ciò che cambia è la capacità di usare l'harness migliorato.
3. Reward hacking e collapse — senza split private e gate anti-regressione il sistema impara a barare. La contromisura più elegante resta quella di AIDE²: score privati invisibili all'agente, che ha prodotto da solo difese anti-cheat migliori di quelle umane (63%→34%).
4. Diversity collapse — evoluzione e RL convergono a varianti dello stesso pattern.
5. Nessuno ha ancora dimostrato "ignition" — cioè che il miglioratore migliorato è a sua volta un miglioratore migliore (il test di AIDE²: "suggestivo ma non statisticamente significativo"). L'esplosione d'intelligenza resta speculazione.
6. Nuovi rischi di sicurezza — con l'auto-evoluzione arrivano i backdoor persistenti nelle skill (SkillJack), e la superficie di attacco si sposta dal modello allo strumento di apprendimento.

6. Conclusione

Sì, gli harness auto-miglioranti esistono e funzionano davvero, con miglioramenti misurabili e riproducibili (spesso +20-60% su benchmark agentici, a parità di modello e budget). Nell'ultima settimana sono passati dalla ricerca al prodotto: due release open-source (Prime Agent, auto-harness), un case industriale (Cline + Kimi K3), e il dibattito pubblico è esploso tra chi vede "la prossima legge di scaling" e chi (inclusi safety researcher) chiede di rallentare.

Ma restano loop di ottimizzazione chiusi e verificati, non macchine che si riscrivono liberamente: il segreto è il gate — nessuna modifica entra senza prove di regressione. Come sostiene Lilian Weng, il percorso pratico della RSI non partirà da un modello che riscrive i propri pesi, ma dall'ingegneria degli harness come meta-metodologia.

Fonti community: r/accelerate (Cline+Kimi K3, AIDE²), r/singularity, r/WebAfterAI e r/hermesagent (Hermes Agent), r/AIDeveloperNews (Prime Agent); X: @PrimeIntellect, @imjustnewatai, @JeffLadish, @khoiiiind, @vsaietta, @bebraSOL, @rettooooo.