Ali Dharma Academy ha rilasciato il modello AI da trilioni di parametri M6, che ha 10 volte il numero di “neuroni” degli esseri umani e inizia a possedere capacità cognitive e creative

M6 è un modello di pre-allenamento multimodale su larga scala sviluppato da Ali Dharma Institute. Il nome completo inglese è MultiModality-to-MultiModality Multitask Mega-transformer, 6 Ms, M6 in breve

[CUT] …l’intelligenza artificiale sta avanzando rapidamente quando una rete neurale 50 volte più grande di un’altra può essere addestrata a un costo energetico 100 volte inferiore, con un solo anno di distanza!

Hanno usato solo 512 GPU per addestrare il modello in 10 giorni!

Attraverso una serie di innovazioni tecnologiche rivoluzionarie, il team della DAMO Academy ha utilizzato solo 480 schede GPU e ha addestrato un modello M6 multimodale di grandi dimensioni da trilioni di parametri che è 10 volte la scala dei neuroni umani.
Questa svolta tecnologica ridurrà notevolmente la soglia della formazione di trilioni di modelli, consentendo alla ricerca e all’industrializzazione di modelli su larga scala di entrare in un’era più inclusiva.

Quali sono i punti salienti del modello M6 trilioni?
La capacità di carico di un singolo modello.

Allo stesso tempo, accelerando le tecnologie di ottimizzazione come l’algebra lineare, l’addestramento a precisione mista e la comunicazione a semi-precisione, il team della DAMO Academy ha notevolmente aumentato la velocità di addestramento del modello da trilioni e ha ridotto efficacemente le risorse informatiche richieste sotto la premessa che l’effetto è vicino a lossless.
Oltre al rilascio del modello gigante multimodale M6, Alibaba Dharma Academy ha recentemente rilasciato anche il modello linguistico leader PLUG per la comunità cinese, realizzando un layout approfondito nella tecnologia sottostante e nell’applicazione del modello AI.

fonte: https://www.infoq.cn/article/xIX9lekuuLcXewc5iphF
link: https://towardsdatascience.com/meet-m6-10-trillion-parameters-at-1-gpt-3s-energy-cost-997092cbe5e8
DAMO: https://damo.alibaba.com/