Meta pievienojas AI Race izdod jaunu valodas modeli LLaMA

2023. gads ir bijis bezprecedenta attīstības gads mākslīgā intelekta jomā. Pēc ChatGPT izlaišanas un tā integrācijas ar Microsoft Teams un Bing, vide AI arēnā uzkarst. Lai novērstu šo vienpusējo tieksmi, Google nāca klajā ar savu AI modeli Bard, kā rezultātā ap 12000 atlaišanas. Tagad trešais pretendents Meta pievienojas AI sacīkstēm un izlaiž jaunu valodas modeli LLaMA.

LLaMA vai Lielo valodu modeļa Meta AI, ir liels valodas modelis, kas palīdz pētniekiem virzīties uz priekšu citās AI vertikālēs. Tā nav tikai viena vienība, bet ar dažādām apakšversijām, kas ir daudz mazākas. Rezumējot tas ir "Pamatvalodu modeļu kolekcija, kas svārstās no 7B līdz 65B parametriem."

• LLaMA ideja ir tāda, ka mazāki valodu modeļi ievērojami palielinās AI pētniecības ātrumu, jo lielai kopienai nav piekļuves infrastruktūrai, kas nepieciešama šo modeļu pētīšanai.
• Šī palaišana īsti neparāda tās nodomu konkurēt ar citiem AI modeļiem, piemēram, ChatGPT vai Bard, kuriem ir iespēja sazināties.

Meta arī sniedza skaidrojumu skaidrā formā

kāpēc viņi izvēlējās mazākus modeļus. Tas ir tāpēc, ka viņus ir viegli pārkvalificēt, jo viņi tiek apmācīti vārdu vai žetonu daļās. Tas arī paredzēja, ka tā apakšmodeļi LLaMA 65B un LLaMA 33B ir apmācīti uz 1,4 triljoniem žetonu, bet mazākais modelis LLaMA 7B ir uz vienu triljonu žetonu.

Vajag izlasīt:YouChat 2.0 varētu konkurēt ar Google Bard un ChatGPT

Lai gan tas pašlaik nebūs komerciāli pieejams rakstā norādīto iemeslu dēļ emuārs. “Lai saglabātu integritāti un novērstu ļaunprātīgu izmantošanu, mēs izlaižam savu modeli saskaņā ar nekomerciālu licenci, kas ir vērsta uz izmantošanas gadījumiem pētniecībā. Akadēmiskajiem pētniekiem pieeja modelim tiks piešķirta katrā gadījumā atsevišķi; tiem, kas ir saistīti ar organizācijām valdībā, pilsoniskajā sabiedrībā un akadēmiskajās aprindās; un nozares pētniecības laboratorijas visā pasaulē.

In Meta pētniecības darbs, kopsavilkumā teikts, kaKonkrēti, LLaMA-13B pārspēj GPT-3 (175B) lielākajā daļā etalonu, un LLaMA-65B ir konkurētspējīgs ar labākajiem modeļiem Chinchilla70B un PaLM-540B. Šie labākie modeļi pieder attiecīgi DeepMind un Google. Turklāt tika atklāts, ka uzņēmums izmanto tikai publiski pieejamus datus, kas padara modeli saderīgu ar atvērtā avota izmantošanu. Tas atšķiras no AI modeļiem, piemēram, DeepMind Chinchilla, Google PaLM vai OpenAI GPT-3, kuros tiek izmantoti nedokumentēti vai publiski nepieejami dati.

Ieteicams:Kā integrēt ChatGPT programmā Microsoft Word

Pēc tam, kad meta pievienojas mākslīgā intelekta sacīkstēm un izdod jaunu valodu Model LLaMA, ir bijusi pretrunā ar Google Bard izlaidumu ar nelielu satraukumu. Tas nav nekas slikts, jo tas nesteidzina izlaišanu, kā rezultātā Google Bard sniedz nepareizu atbildi un daudz kritikas. Tas ir kaut kas līdzīgs Bing Chatbot, kas atklāja pārāk daudz par savu sistēmu, piemēram, tās īstais nosaukums ir Sidneja. Tā rezultātā arī Microsoft ierobežo Bing AI tērzēšanu līdz 5 atbildēm.

Paziņojums par LLaMA arī bija diezgan viens ar tikai Facebook ierakstu un ziņojumu Instagram no Meta Channel. Tajā teikts"Šodien mēs izlaidīsim jaunu, mūsdienīgu AI lielas valodas modeli LLaMA, kas izstrādāts, lai palīdzētu pētniekiem uzlabot savu darbu. LLM ir parādījuši daudz solījumu teksta ģenerēšanā, sarunās, rakstiskā materiāla apkopošanā un sarežģītākos uzdevumos, piemēram, matemātikas teorēmu risināšanā vai olbaltumvielu struktūru prognozēšanā. Meta ir apņēmusies izmantot šo atvērto pētniecības modeli, un mēs padarīsim savu jauno modeli pieejamu AI pētniecības kopienai. Meta ir arī sajūsmā par to, kā kopiena mācīsies un veidos, izmantojot LLaMA.

Sekojiet līdzi jaunumiem par tehnoloģijām un jaunākajiem AI jauninājumiem vietnē TechCult!

Avots:Meta AI emuārs