SILICON VALLEY, CA, 2026. gada 23. septembris, TechnologyWire
Collov Labs paziņoja par NewEyes AI — vizuāla personiskā aģenta izlaišanu, kas savieno to, ko cilvēki redz, ar uzdevumiem, kurus viņi var paveikt. Pieejams viedtālruņos un paredzēts darbam ar saderīgām viedbrillēm, NewEyes AI izmanto vizuālo kontekstu un balss instrukcijas, lai izprastu uzdevumu, pamatotu darbības un izmantotu rīkus, lai darbotos. Kamera kļūst par sākumpunktu, lai izveidotu, organizētu un pabeigtu darbu apkārtējā pasaulē.
“Jūsu viedoklis sniedz AI kontekstu, kas palīdz jums rīkoties,” sacīja Sjao Džans, Collov Labs dibinātājs un izpilddirektors. “Mēs veidojam NewEyes, lai jūs varētu sākt ar to, ko redzat, izskaidrot, kas jums nepieciešams, un ļaut savam personīgajam aģentam veikt uzdevumu. Viedās brilles padara šo mijiedarbību brīvroku režīmā.”
NewEyes AI pārvērš saderīgas viedās brilles par AI pirmās personas saskarni, kas spēj uztvert, spriest un izpildīt uzdevumus. Brilles nodrošina valkātāja skatu un balsi; NewEyes savieno šīs ievades ar tālruņa malu uztveri, vietējā aģenta izpildlaiku un mākoņa spriešanu. Lietotāji var mijiedarboties, izmantojot brilles, kamēr detalizētie rezultāti paliek pieejami pavadošajā lietotnē. Šī arhitektūra nodrošina valkājamas aparatūras piekļuvi vizuālajam aģentam, nepieprasot, lai briļļu iekšpusē darbotos viss AI steks. Skatieties valkājamās demonstrācijas: https://www.youtube.com/watch?v=QvN1vC2tRZo
Kā NewEyes vizuālo kontekstu pārvērš darbībā
Izveidots ap uztveres, spriešanas un darbības pamata arhitektūru, NewEyes AI pārvērš atlasītos vizuālos kadrus strukturētos notikumos, pēc tam sablīvē šo vēsturi kontekstā, ko aģents var izmantot uzdevumā. Tas savieno to, ko lietotājs redz, ar daudzpakāpju spriešanu un rīku izmantošanu, vienlaikus veicot attiecīgos novērojumus, kad uzdevums attīstās.
Konteksta blīvēšana ir paredzēta, lai ierobežotu lieko vizuālo informāciju aģenta darba kontekstā. Hibrīda malu-mākoņa arhitektūra piešķir tālrunim uztveri, nodrošina aģentam lokālu izpildlaiku un savieno ar mākoņa spriešanu prasīgākam darbam. Kopā šie komponenti atbalsta valkājamu pieredzi, kas var sekot līdzi uzdevumam un radīt noderīgus rezultātus pavadošajā lietotnē.
Vizuālais konteksts kļūst par noderīgu darbu
NewEyes AI izmanto šo arhitektūru ikdienas vizuālajām darbplūsmām, tostarp:
- Atgādinājumi par stāvvietu: pavērsiet kameru pret stāvvietas zīmi. NewEyes AI interpretē parādītos ierobežojumus pašreizējā laika kontekstā un izveido atgādinājumu, izmantojot pievienoto kalendāra rīku.
- No skices līdz vietnei: pavērsiet kameru pret fizisku soli vai stiepļu rāmi. NewEyes AI izvelk tā saturu un izkārtojumu un pārvērš šo vizuālo ievadi vietnes uzmetumā.
- Inventārs un iepirkšanās: pavērsiet kameru pret skapi vai pieliekamo. NewEyes AI sakārto redzamās preces kolekcijā un izmanto saglabāto vienumu kontekstu, lai pirms nākamā pirkuma noteiktu, kas trūkst.
- Vizuālā plānošana un izveide: pavērsiet kameru pret telpu vai objektu. NewEyes AI interpretē ainu un ģenerē vizuālas idejas, kas atspoguļo lietotāja pieprasījumu.
Balstīts uz pētījumu un ražošanas pieredzi
Kolovas laboratorija, kuras galvenā mītne atrodas Silīcija ielejā, apvieno pētniekus ar pieredzi Stenfordā, UC Bērklijā un Jēlā, un vairāk nekā divus gadus ir pavadījuši specializētus vizuālos AI modeļus reālās pasaules vidēs. NewEyes AI balstās uz šo ražošanas pieredzi. Uzņēmuma pētījumi aptver vizuālo izpratni, kontrolējamu ģenerēšanu un modeļa efektivitāti, un darbs ir publicēts IJCAI, AAAI, ICLR un ICML.
Visā produktu portfelī, kurā ietilpst NewEyes AI un Collov AI, Collov Labs ziņo par vairāk nekā 1 miljonu lietotāju, vairāk nekā 10 000 apmaksātu abonentu un vairāk nekā 300 komerciālo partneru nekustamo īpašumu, mazumtirdzniecības un e-komercijas jomā.
Collov Labs piesaistīja 23 miljonus USD A sērijas finansējumā, kuru vadīja Brightway Future Capital, piedaloties Taihill, MindWorks Capital un Brightway Future Capital.
Pieejamība
NewEyes AI ir pieejams viedtālruņos un saderīgām Ray-Ban Meta brillēm, un tiek plānots paplašināt atbalstu vairākām Meta brillēm un citiem viedo briļļu zīmoliem. Collov Labs paplašina savu vizuālā aģenta programmatūras slāni visās šajās ierīcēs, sniedzot cilvēkiem vairāk veidu, kā piekļūt savam personīgajam aģentam, un pārvēršot redzēto par sākumpunktu darbu veikšanai.
Lejupielādējiet NewEyes AI: https://neweyesai.go.link/kt3M3
Sazināties
Laura
[email protected]
