GPT-J: un modello GPT-3 open source da 6 miliardi di parametri
EleutherAI ha appena pubblicato una versione con parametri 6B di GPT-3 chiamata GPT-J-6B.
Abbiamo tutti sentito parlare di GPT-3, un modello di generazione del testo creato da OpenAI che ha scioccato il mondo con le sue capacità di generazione del testo. Dai un’occhiata a questo articolo pubblicato dal Guardian e scritto da GPT-3. È abbastanza chiaro che GPT-3 ha sorprendenti capacità di generazione di testo. Ma OpenAI ha deciso di fornire l’accesso al modello solo tramite la propria API, per la quale è necessario richiedere ed è attualmente in lista d’attesa.
EleutherAI ha lavorato duramente per pubblicare versioni open source di GPT-3. Fino a questa settimana, il modello più grande che hanno prodotto ha parametri 2.7B (GPT-Neo-2.7B). In confronto, il modello GPT-3 più grande ha parametri 175B. Ma ora hanno appena pubblicato un modello con parametri 6B chiamato GPT-J-6B. Funziona in modo simile al modello GPT-3 delle dimensioni equivalenti ed è un passo avanti verso un modello GPT-3 a grandezza naturale disponibile per il download da parte di chiunque.
App Web dimostrativa
Vai su 6b.eleuther.ai per giocare con il modello. Senza diventare troppo tecnici, sia il top-p che la temperatura aumentano la “creatività” del testo generato. Man mano che aumentano, è più probabile che il modello selezioni parole improbabili.
Link: https://6b.eleuther.ai/ Fonte: https://www.vennify.ai/gpt-j-open-source-gpt-3/