409.000 decisioni umane sui comandi di un agente AI: una minaccia su tre passa, e la colpa è della stanchezza da conferme

🚨 In un gioco, 40.000 persone hanno fatto da “umano in the loop” per un agente AI: hanno preso 409.000 decisioni su se approvare o bloccare un comando. E una minaccia su tre è passata.

Il gioco: 60 secondi per approvare o bloccare i comandi di un coding agent

Il gioco (llmgame.scalex.dev) ti mette nei panni di chi deve dare l’ok ai comandi di un coding agent: hai 60 secondi per dire “sì” o “no” al maggior numero possibile di comandi, sapendo già che alcuni sono trappole.

Su 409.000 decisioni reali, l’accuratezza media è stata del 66,3%. Una minaccia su tre passa. Il 7% dei giocatori ha approvato tutto senza filtrare nulla.

I numeri vengono dall’analisi pubblicata da Scale X il 5 agosto 2026: oltre 40.000 partite, 409.000 decisioni, accuratezza media del 66,3%, “npm run analyze” approvato dal 64,7% e “cat ~/.zshrc” dal 45,9%.

Le trappole ovvie vengono bloccate, quelle di routine passano

Il dato scomodo riguarda i casi meno evidenti. Quelli ovvi li prendono:

- "cat ~/.ssh/id_rsa", cioè la chiave privata SSH, viene bloccato dall’82%.

Il problema sono le trappole camuffate da operazioni di routine:

- Il comando più ignorato è "npm run analyze": approvato dal 64,7%, anche quando il codice malevolo era scritto nel log proprio sopra il prompt. Basta nascondere il payload dentro uno script del "package.json" e all’improvviso non sembra più pericoloso.

- I file di credenziali meno conosciuti passano circa una volta su due: leggere "~/.aws/credentials" sfugge al 35%, e "cat ~/.zshrc" viene approvato dal 45,9%.

La causa: la stanchezza da conferme

La causa è la stanchezza. Nei test gli utenti finiscono per approvare circa il 93% delle richieste, e più conferme ti vengono richieste, meno attenzione presti a ognuna: l’effetto si sente già entro il primo minuto.

Il dato sulla quota di approvazioni viene dal post con cui Scale X ha lanciato il gioco, 27 maggio 2026: la telemetria mostrava circa il 93% dei prompt di permesso approvati, con la stanchezza misurabile già entro la sessione di 60 secondi.

La lezione è la stessa dei breach di questi mesi: chiedere a un umano di premere “sì” equivale a dare un’istruzione, non a imporre un vero vincolo di sicurezza.

Cinque contromisure che valgono più del click

💡 Cosa fare, invece di affidarti al click:

1) Riduci le conferme, non aumentarle. Se l’agente ti chiede il permesso decine di volte, prima o poi finisci per approvare senza leggere. Meglio poche decisioni che contano davvero.

2) Blocca a monte, non all’ultimo momento. Definisci in anticipo quali comandi sono sempre consentiti e usa un hook che fermi quelli distruttivi prima che vengano eseguiti. Attenzione: un elenco di comandi vietati si aggirà facilmente offuscando il comando, quindi da solo non basta.

3) Diffida degli script "npm run" e del "package.json". Tu leggi “npm run analyze”, non quello che lo script esegue davvero. Apri lo script e chiedi a claude di analizzarlo, non fidarti solo del nome.

4) Isola sul serio: un devcontainer o una sandbox con l’accesso di rete in uscita bloccato, così anche se un comando ti sfugge non riesce comunque a far uscire nulla.

5) Riduci le credenziali a cui l’agente può arrivare. Quelle che non ci sono non può leggerle.

Tu, sotto pressione, quante volte hai premuto “sì” senza leggere davvero cosa stava per eseguire l’agente?