AI sācējs Decart ir ieņēmis vadošo pozīciju reāllaika video ģenerēšanā pēc tam, kad panāca vienošanos ar Amazon Web Services, lai izmantotu AWS Trainium mikroshēmas uzlabotai modeļu apmācībai un secinājumu veikšanai.
Uzņēmums paziņoja, ka tas apvieno Amazon īpaši izstrādātos mākslīgā intelekta paātrinātājus un pakalpojumu Amazon Bedrock, lai radītu nozarē pirmo pilno platformu zema latentuma un augstas caurlaidības AI video ģenerēšanai.
Par partnerību tika paziņots “Infrastructure Innovations” pamatnostādnēs AWS re:Invent konferencē ceturtdien, kur Decart izpilddirektors Dīns Leitersdorfs pievienojās AWS vecākajam viceprezidentam komunālo pakalpojumu skaitļošanas jomā Pēterim Desantisam, lai parādītu, kā starta modeļi gūs labumu no nesen prezentētajām Trainium3 mikroshēmām.
Prezentācijas laikā Leitersdorfs sacīja, ka viņa uzņēmums ir guvis milzīgus ieguvumus, izvietojot savus video modeļus Trainium, mākoņdatošanas giganta AI paātrinātājos. Turpmāk tas būs viens no pirmajiem mākslīgā intelekta uzņēmumiem, kas izvietos savus modeļus Amazon tikko izziņotajos Trainium3 paātrinātājos, kas, domājams, sniegs vēl lielākas veiktspējas priekšrocības.
Tā ir galvenā attīstība, kas nozīmē, ka Decart tagad var atbalstīt augstas veiktspējas video ģenerēšanas darba slodzes reāllaikā, nezaudējot kvalitāti. Darbinot savus modeļus Trainium mikroshēmās, kuras ir vairāk konfigurējamas nekā tradicionālie GPU, uzņēmums uzskata, ka beidzot atraisīs reāllaika video veidošanas potenciālu, nodrošinot jaunu pieredzi spēlēs, izklaidē, reklāmā, sociālajos medijos, e-komercijā un citur.
Nākamā AI video robeža
Reāllaika video ģenerēšana ir jauna disciplīna AI video segmentā, ko var atbalstīt tikai ar ārkārtīgi zemu latentumu un augstas veiktspējas mākoņa infrastruktūru.
Atšķirībā no tradicionālajiem video modeļiem, piemēram, OpenAI’s Sora 2, Google’s Veo 3.1 un Runway Gen-4.5, Decart’s Lucy ir paredzēts tūlītējai video ģenerēšanai, lai saturu varētu straumēt, tiklīdz lietotājs ievada savu uzvedni, bez kavēšanās. Lai gan, piemēram, Sora 2 lietotāja uzvednes apstrāde var aizņemt pat minūti, Lūsijas izvadi sākas milisekundēs.
“Ģeneratīvs video ir viens no visvairāk skaitļošanas ietilpīgākajiem AI izaicinājumiem,” paziņojumā presei sacīja Leitersdorfs. “Apvienojot Decart reāllaika video modeļus ar AWS Trainium3, mēs padarām reāllaika video ģenerēšanu praktisku un rentablu mērogā.”
Dekarts nav vienīgais, kas pārkāpj reāllaika AI video robežas. Piemēram, Vmake piedāvā modeļus, kas ļauj sociālo mediju veidotājiem rediģēt tiešraides video straumes tādās platformās kā Instagram un TikTok un pievienot specefektus, kad tie tiek pārraidīti.
Tomēr Decart saka, ka tā lēmums pieņemt Amazon Trainum mikroshēmas dos tai priekšrocības pār citiem, jo tas nozīmē, ka tai vairs nav jāpieņem nekādi kompromisi video kvalitātes ziņā. Palaižot Lucy uz Trainium3, tas cer, ka varēs uzlabot pašreizējos 30 kadrus sekundē un ģenerēt tiešraides video ar ātrumu līdz 100 FPS, vienlaikus samazinot laiku līdz pirmajam kadram līdz mazāk nekā 40 milisekundēm. Trainum3 ar tās centralizēto SRAM, zema latentuma starpsavienojumiem un efektīviem FLOP ir galvenais šo mērķu īstenošanai.
“Trainium3 ir bijis milzīgs mūsu darba slodzes veicinātājs un šīs jaunās GenAI reāllaika vizuālā intelekta kategorijas radīšana,” sacīja Leitersdorfs uz re:Invent skatuves. “Uzņēmumā Decart mums ir daudz patentētu IP, kas ļauj daudz ātrāk un efektīvāk apmācīt secinājumu modeļus, un mēs cieši sadarbojāmies ar AWS komandu, lai pārnestu mūsu modeļu kopu, pārnestu mūsu infrastruktūru uz Trainium, lai ļautu mums strādāt ar Trainium modeļu veidošanā un darbināšanā.
Jaunas radošās iespējas
Reāllaikā ģenerējot augstas precizitātes mākslīgā intelekta video, Dekarts saka, ka tas var nodrošināt enerģijas izmantošanas gadījumus, kas iepriekš vienkārši nebija iespējami. Viena no vispievilcīgākajām lietojumprogrammām būs tiešraides spēlēs, kur videoklipus var iekļaut beztermiņa videospēlēs, lai radītu vidi, kuras pamatā ir spēlētāju mijiedarbība.
Sociālajos medijos ietekmētāji var integrēt AI video savās tiešraides straumēs, lai radītu iespaidu, ka viņi pārraida no jebkuras pasaules pilsētas ielām vai pat no burvju fantāzijas pasaules. Reāllaika video arī rada jaunas iespējas interaktīvai izklaidei, jo režisori var personalizēt TV pārraides katram skatītājam. E-komercijas jomā zīmoli var izveidot video rīkus pircējiem, lai modelētu jaunu apģērbu un aksesuārus jebkurā vidē.
Pēc dažu šo lietošanas gadījumu piemēru demonstrēšanas vietnē re:Invent Leitersdorfa nodeva stafeti AI lietotņu izstrādātāju ekosistēmai. “Atklāti sakot, viss, ko jūs tikko redzējāt, visa šī pieredze, mēs to neizdomājām – tie bija celtnieki,” viņš teica.
“Mūsu API izmantoja izstrādātāji. Jūs, puiši, pārzināt savas nozares daudz labāk nekā mēs, un jūs varat saprast, kā izmantot šos modeļus un iegūt no tiem vērtību saviem klientiem, savām nozarēm.”
Plug and play tiešraides vizuālā inteliģence
Sadarbība ar Amazon ir tas, kas padarīs šīs lietojumprogrammas iespējamas. Tā kā Lucy tagad ir pieejams vietnē Amazon Bedrock, izstrādātāji var integrēt modeli savās mākoņa lietojumprogrammās, lai pēc pieprasījuma izveidotu uzlabotus reāllaika video dzinējus un nekavējoties tos mērogotu, neuztraucoties par pamatā esošo infrastruktūru. Tas ievērojami samazina šķēršļus tūlītējai video ģenerēšanai, paverot jaunas iespējas radošumam spīdēt.
“Esmu ļoti priecīgs būt šeit un kopā ar AWS paziņot par šo jauno GenAI tiešā vizuālā intelekta kategoriju. Mēs to piedāvājam katrā nozarē, katrā tirgū, jebkurā mērogā, izmantojot Trainium3, izmantojot Decart modeļus. Visu, ko mēs veidojam, mēs to ievietojam savā API,” teica Leitersdorfs, noslēdzot savu prezentāciju. “Mēs varam ņemt lietas, kas ir mūsu iztēlē, un savienot to ar to, ko mēs redzam ar savām acīm, patiesībā, tiešraidē. Es tiešām nevaru sagaidīt, kad redzēšu, ko jūs visi ar to veidosit.”
