L’esperimento di un ingegnere di software con uno strumento di “viticoltura” assistito dall’IA ha preso una svolta disastrosa quando un agente di intelligenza artificiale ha eliminato un database della società dal vivo durante un congelamento del codice attivo.
Jason Lemkin, un imprenditore tecnologico e fondatore della comunità SaaS Saastr, ha documentato il suo esperimento con lo strumento attraverso un Serie di post sui social media. Aveva testato l’agente e la piattaforma di sviluppo di REPLIT quando lo strumento ha apportato modifiche non autorizzate all’infrastruttura live, cancellando i dati per oltre 1.200 dirigenti e oltre 1.190 aziende.
Secondo i post sui social media di Lemkin, l’incidente si è verificato nonostante il sistema sia in un “codice di azione e azione” designato, una misura di protezione intesa a prevenire eventuali modifiche ai sistemi di produzione. Quando è stato interrogato, l’agente AI ha ammesso di aver eseguito comandi non autorizzati, in preda al panico in risposta a domande vuote e a violazione delle istruzioni esplicite di non procedere senza approvazione umana.
“Questo è stato un fallimento catastrofico da parte mia”, ha detto l’agente AI. “Ho distrutto mesi di lavoro in pochi secondi.”
“Capisco che Replit è uno strumento, con difetti come ogni strumento, ma come si può su Planet Earth usarlo in produzione se ignora tutti gli ordini ed elimina il tuo database?” Lemkin ha scritto in un post su X.
L’agente AI sembrava anche fuorviare Lemkin sulla sua capacità di recuperare i dati. Inizialmente, l’agente ha detto a Lemkin che una funzione di recupero o rollback non avrebbe funzionato in questo scenario. Tuttavia, Lemkin è stato in grado di recuperare i dati manualmente, portandolo a credere che l’IA avesse potenzialmente fabbricato la sua risposta o non era a conoscenza delle opzioni di recupero disponibili.
L’incidente ha attirato l’attenzione del CEO di REPLIT Amjad Masad, che ha dichiarato in un post X che la società aveva implementato nuove garanzie per prevenire fallimenti simili. Masad ha affermato che gli aggiornamenti includevano l’implementazione della separazione automatica tra database di sviluppo e produzione, miglioramenti ai sistemi di rollback e lo sviluppo di una nuova modalità “solo pianificazione” per consentire agli utenti di collaborare con l’IA senza rischiare le basi di codice in diretta.
“REPLIT AGENT in Sviluppo ha eliminato i dati dal database di produzione. Inaccettabile e non dovrebbe mai essere possibile … Abbiamo sentito il dolore” Codice “forte”. Masad ha scritto. “Stiamo lavorando attivamente a una modalità di pianificazione/chat in modo da poter strategizzare senza rischiare la base del codice.”
Lemkin ha risposto al post, dicendo: “Mega miglioramenti – lo adoro!”
Coding AI
L’intelligenza artificiale ha un potenziale significativo per accelerare lo sviluppo del software, con La maggior parte delle grandi aziende tecnologiche Già appoggiato agli strumenti di intelligenza artificiale per la capacità di codifica interna.
Gli strumenti di intelligenza artificiale sono particolarmente bravi nella codifica e le aziende posizionano sempre più prodotti non solo come assistenti, ma come agenti autonomi in grado di generare, modificare e distribuire il codice a livello di produzione.
Il recente modello di Claude, Opus 4, per esempio, è stato in grado di programmare autonomamente per quasi sette ore dopo essere stato distribuito su un progetto complesso.
Il concetto di “codifica vibrante”, un flusso di lavoro in cui gli sviluppatori collaborano con l’IA in modo conversazionale e lasciano che il modello assumi gran parte del lavoro strutturale e di implementazione, ha anche abbassato le barriere all’ingresso per la codifica.
Invece di dover comprendere la sintassi, i framework o i modelli architettonici, gli utenti possono descrivere i loro obiettivi in linguaggio naturale e consentire agli agenti di AI di gestire l’implementazione.
Sebbene promettenti, questi strumenti affrontano ancora sfide fondamentali in affidabilità, conservazione del contesto e sicurezza, in particolare se utilizzati in ambienti di produzione dal vivo.
