Arvien saasinātajā ģeneratīvā AI konkurencē Microsoft otrdien paziņoja par Phi-3 mini — jaunu kompakto valodu modeļu (SLM) klāsta izlaišanu, kas pārspēj savus lielākos līdziniekus, nosakot jaunus standartus mazāka mēroga AI modeļiem.
Phi-3 modeļu klāsts ietver trīs variantus: Phi-3-mini, kas satur 3,8 miljardus parametru; Phi-3-mazs, ar 7 miljardiem parametru; un Phi-3-medium, kas lepojas ar 14 miljardiem parametru. Neskatoties uz mazāko izmēru, Phi-3-mini ir saderīgs ar Mixtral un GPT 3.5 etalonos, piedāvājot iespaidīgu 128 k konteksta logu.
“Mēs ieviešam phi-3-mini — 3,8 miljardu parametru valodas modeli, kas apmācīts uz 3,3 triljoniem marķieru, kura kopējā veiktspēja, mērot gan ar akadēmiskiem etaloniem, gan iekšējo testēšanu, konkurē ar tādiem modeļiem kā Mixtral 8x7B un GPT-3.5 (piemēram, phi-3-mini sasniedz 69% uz MMLU un 8,38 uz MT stenda, neskatoties uz to, ka tas ir pietiekami mazs, lai to varētu izvietot tālrunī, ”sacīja Microsoft Phi-3 Tehniskā ziņojuma pētījuma dokumentā.
Pateicoties 3,8 miljardiem parametru, Phi-3-mini pārsteidzošs ir ne tikai tā veiktspēja, bet arī iespēja to izvietot ierīcē, neapdraudot kvalitāti vai izmaksu efektivitāti. Tikmēr Phi-3-small un Phi-3-medium ar attiecīgi 7 miljardiem un 14 miljardiem parametru joprojām tiek apmācīti, un tos drīzumā paredzēts izlaist.
Kāpēc tas ir svarīgi:
Phi-3-mini sasniegums ir ievērības cienīgs, jo tas pārspēj daudz lielākus modeļus dažādos etalonos, tostarp GPT-3.5 un Mixtral 8x7B, lai gan tam ir ievērojami mazāk parametru. Tas ir ļoti svarīgi, jo mazāki modeļi parasti piedāvā ātrāku apstrādi, zemākas darbības izmaksas un prasa mazāk skaitļošanas resursu.
Phi-3-mini ir pieejams Microsoft Azure mākoņa platformā, kā arī atvērtā pirmkoda platformās, piemēram, Hugging Face un Ollama. Paredzams, ka gaidāmie Phi-3 mazie un Phi-3 vidējie modeļi no Phi-3 saimes vēl vairāk paplašinās ainavu.
Microsoft prezentācijā uzsvērts, ka ar atbilstošiem apmācības datiem un metodoloģijām mazie valodu modeļi var dot lielu efektu. Jo īpaši Phi-3-mini iespējas ir nozīmīgs sasniegums, paverot ceļu augstas veiktspējas modeļiem, lai efektīvi darbotos mūsu mobilajās ierīcēs.
Phi-3-mini tiek laists klajā tikai mēnesi pēc tam, kad Microsoft nolīga DeepMind līdzdibinātāju Mustafu Suleyman, lai vadītu savu jaunizveidoto patērētāju AI vienību ar nosaukumu Microsoft AI.
