A giugno, OpenAI ha pubblicato un documento che descrive in dettaglio GPT-3, un modello di apprendimento automatico che produce buoni risultati su una serie di parametri di riferimento del linguaggio naturale.
Con 175 miliardi di parametri – la parte del modello che ha imparato dai dati storici di formazione – è uno dei più grandi del suo genere.
È anche tra i più sofisticati, con la capacità di fare analogie primitive, di scrivere nello stile di Chaucer e persino di completare il codice di base. A differenza dei predecessori di GPT-3, GPT-2 e GPT-1, OpenAI ha scelto di non aprire il modello o il set di dati di formazione, optando invece per rendere disponibile il primo attraverso un’API commerciale.

L’azienda ha ulteriormente limitato l’accesso scegliendo di concedere in esclusiva la licenza GPT-3 a Microsoft, con la quale OpenAI ha un rapporto commerciale. Microsoft ha investito 1 miliardo di dollari in OpenAI e ha costruito un supercomputer Azure-hosted, progettato per favorire la ricerca di OpenAI.

Sono emersi diversi sforzi per ricreare GPT-3 in open source, ma forse il più lontano è GPT-Neo, un progetto guidato da EleutherAI.
EleutherAI e i suoi membri fondatori – Connor Leahy, Leo Gao e Sid Black – hanno l’obiettivo di fornire il codice e i parametri necessari per eseguire un modello simile, anche se non identico, a GPT-3 già nel mese di agosto.
La fortuna di EleutherAI è cambiata quando l’azienda è stata contattata da CoreWeave, un minatore di criptovalute con sede negli Stati Uniti che fornisce servizi cloud per il rendering CGI e per i carichi di lavoro di machine learning.
Il mese scorso CoreWeave ha offerto al team di EleutherAI l’accesso al proprio hardware in cambio di un modello open source simile a GPT-3 che i suoi clienti potevano utilizzare e servire.
Leahy insiste sul fatto che il lavoro, iniziato intorno a Natale, non comporterà denaro o altri compensi che vadano in entrambe le direzioni.
“CoreWeave ci dà accesso al loro hardware, realizziamo un GPT-3 open source che tutti possono usare (e li ringraziamo a gran voce), e questo è tutto”, ha detto.

EleutherAI ammette che, a causa della decisione di OpenAI di non rilasciare alcuni dettagli chiave dell’architettura della GPT-3, GPT-Neo si discosterà da essa almeno in questi aspetti.
Altre differenze potrebbero derivare dal set di dati di formazione che EleutherAI intende utilizzare, che è stato curato da un team di 10 persone di EleutherAI, tra cui Leahy, Gao e Black.
I modelli linguistici come il GPT-3 spesso amplificano i pregiudizi codificati nei dati.
Una parte dei dati di formazione non è di rado proveniente da comunità con pregiudizi diffusi di genere, razza e religione.
OpenAI osserva che questo può portare a mettere parole come “cattiva” o ” schifosa” vicino a pronomi femminili e “Islam” vicino a parole come “terrorismo”.

Altri studi, come quello pubblicato in aprile da Intel, MIT, e dai ricercatori del Canadian Institute for Advanced Research (CIFAR), hanno trovato alti livelli di stereotipi in alcuni dei modelli più popolari, tra cui BERT e XLNet di Google, GPT-2 di OpenAI e RoBERTa di Facebook.
Gli operatori malintenzionati potrebbero sfruttare questo pregiudizio per fomentare la discordia diffondendo disinformazione, disinformazione e menzogne che “radicalizzano gli individui in violente ideologie e comportamenti estremisti di estrema destra”, secondo l’Istituto di Studi Internazionali di Middlebury.
Da parte sua, il team di EleutherAI afferma di aver effettuato “un’ampia analisi dei pregiudizi” sul set di dati della formazione GPT-Neo e di aver preso “difficili decisioni editoriali” per escludere alcuni set di dati che ritenevano “inaccettabilmente di parte” nei confronti di certi gruppi o punti di vista.

KYLE WIGGERS

Fonte: https://outline.com/sTNFE8
riassunto: https://quillbot.com/