L’intelligenza artificiale guadagna ogni giorno nuove abilità, ma davvero è sempre consigliabile usarla? La risposta, forse scontata, è che dipende dall’ambito di utilizzo, dal processo, dai volumi di dati, dagli obiettivi. E anche dal livello di esperienza dell'utente. Mentre l’AI basata su Large Language Model conquista nuovi spazi, come la cucina di un ristorante di Dubai dove ha assunto il ruolo di chef, i vendor di tecnologie e servizi propongono quasi sempre un’immagine esaltante e le poche voci critiche sono quelle di studi indipendenti, non sponsorizzati. Ne è esempio il recente studio di profondità di Metr, un’organizzazione di ricerca no-profit, secondo cui l’uso di assistenti virtuali basati su GenAI potrebbe rallentare il lavoro degli sviluppatori di codice.
Lo studio controllato randomizzato ha preso in esame Cursor, un popolare strumento di assistenza alla scrittura di codice, e il lavoro di 16 sviluppatori esperti, impegnati su repository open-source. Le aspettative erano elevate: dalle loro opinioni, raccolte prima di iniziare a utilizzare Cursor, emergeva l’attesa di risparmiare (in media) il 24% del tempo necessario per completare un task. E gli stessi autori dello studio, Joel Becker and Nate Rush, si aspettavano addirittura un dimezzamento dei tempi per alcune attività.
Dopo aver lavorato con Cursor, gli sviluppatori hanno avuto la percezione soggettiva di un aver lavorato più velocemente, risparmiando il 20% del tempo. Ma non è stato così: in realtà, i tempi di completamento dei task si erano allungati del 19%.
Il fattore esperienza
Un fallimento, una bocciatura dell’intelligenza artificiale a supporto del coding? Non esattamente. Gli autori dello studio mettono le mani avanti, spiegando che non è possibile generalizzare i risultati dell’esperimento per una serie di ragioni tecniche e di metodo d’indagine (il campione che non ha rilevanza statistica, i rapidi progressi della tecnologia e altri fattori).
Ciononostante, è possibile tracciare delle ipotesi sul perché Cursor, in questo studio, non sia stato un acceleratore del lavoro. Innanzitutto c’è stato, forse, un eccesso di ottimismo iniziale. Ma soprattutto, gli sviluppatori lavoravano su repository di codice su cui avevano esperienza e competenza, muovendosi quindi con una dimestichezza e una "consapevolezza" superiore a quella di un Large Language Model.
Questi professionisti hanno accettato meno del 44% dei suggerimenti del chatbot, intervenendo spesso per correggere, modificare o “ripulire” il codice generato dall’AI, un'attività che ha contribuito all’allungamento dei tempi. Attraverso le riprese video dell’esperimento, gli autori dello studio hanno appurato che i suggerimenti dell’AI erano spesso corretti, ma a volte non centravano esattamente l’obiettivo e la necessità degli sviluppatori in un dato momento. Come sottolineato dallo stesso studio, nel coding l’intelligenza artificiale può essere un prezioso strumento soprattutto per gli sviluppatori meno esperti, i profili junior o persone che lavorano su un repository su cui non hanno familiarità.