Con l’ultima novità annunciata da OpenAI, l’intelligenza artificiale generativa diventerà non solo sempre più abile nei ragionamenti complessi, ma anche sempre più specializzata. Il Reinforcement Fine-Tuning (Raf) è una nuova tecnica di raffinamento per algoritmi pre-addestrati che permette di ottenere “modelli su misura per compiti complessi e domain-specific”, ha spiegato l’azienda di San Francisco.
Il tradizionale fine-tuning supervisionato addestra i modelli a imitare le risposte desiderate, mentre l’Rft potenzia le capacità di ragionamento di un modello attraverso il miglioramento iterativo, cioè ripetuto e progressivo. Il risultato è domain-specific perché durante il Raf vengono forniti dati e un classificatore tesi a consentire al modello di svolgere, poi, dei compiti specifici.
A detta di OpenAI, questa novità per la prima volta consente a sviluppatori e ingegneri del machine learning di creare dei modelli "esperti", ottimizzati per eccellere in compiti specifici di un particolare dominio. La GenAI raggiungerà nuovi livelli di ragionamento e capacità di risoluzione dei problemi in campi specializzati come il coding, la ricerca medica o scientifica e le analisi finanziarie. Durante i test di questa nuova tecnica OpenAI ha già collaborato con un ricercatore informatico del Berkeley Lab, Justin Reese, che sta usando l’Rft per attività di ricerca sulle malattie generiche rare. Thomson Reuters, invece, ha utilizzato il reinforcement fine-tuning per affinare il modello o1-mini che fa funzionare un chatbot assistente per i professionisti legali.
Il Reinforcement Fine-Tuning è una delle tecniche già usate internamente dall’azienda di San Francisco per creare i suoi modelli più evoluti, come Gpt-4o e OpenAI-o1, e ora viene reso disponibile agli sviluppatori esterni. Più precisamente, è già da ora disponibile per selezionati ricercatori, università e aziende iscritti al programma di accesso anticipato alla versione alfa, mentre il rilascio ufficiale è previsto per l’inizio del 2025. Gil sviluppatori devono fornire un set di dati e un classificatore per il compito specifico che il modello dovrà svolgere, mentre la piattaforma di OpenAI gestisce le attività di addestramento e apprendimento.
La scorsa settimana è stato anche annunciato il debutto della versione ufficiale di OpenAI o1 in anteprima in ChatGpt, accessibile per gli abbonati ai piani Plus, Team, Enterprise ed Edu. Ripetto alla versione preview, il modello è stato migliorato negli aspetti di ragionamento logico (velocità, potenza, accuratezza, sintesi nelle risposte) e matematico, nonché nelle capacità di coding. Tra le altre cose, OpenAI o1 ha la capacità di comprendere le immagini caricate come input.
In base ai test condotti da OpenAI, o1 supera o1-preview in accuratezza, riducendo del 34% gli errori principali su “domande difficili del mondo reale”. Le abilità di OpenAI o1, purtroppo, hanno anche dei risvolti negativi: un recente studio di Apollo Research ha evidenziato che, rispetto a modelli stato dell’arte concorrenti, quello di OpenAI è più predisposto alla menzogna e alla manipolazione, specie per giustificarsi quando interrogato dall’utente sulle sue precedenti risposte.