Nisja gjeneruese e videove me AI Tavus mbledh 18 milion dollarë për të sjellë klonimin e fytyrës dhe zërit në çdo aplikacion

Kreditë e imazhit: Tavus

Tavusnjë startup katërvjeçar gjenerues i AI që ndihmon kompanitë të krijojnë “kopje” dixhitale të individëve për fushata të personalizuara video të automatizuara, ka konfirmuar një financim të ri prej 18 milionë dollarësh dhe ka zbuluar se po hap platformën e tij për palët e treta që të integrojnë softuerin e tyre me teknologjinë e kompanisë.

Raportet u shfaq në gusht se Tavus kishte mbledhur “rreth 18 milionë dollarë”, por detajet ishin të pakta. Kompania tani ka konfirmuar për TechCrunch se me të vërtetë ka mbledhur 18 milionë dollarë në një raund të Serisë A të udhëhequr nga Partnerët e sipërmarrjes në shkallë — një VC në fazën e hershme që ka mbështetur më parë të tilla si Box, HubSpot dhe DocuSign. Investitorë të tjerë të shquar përfshijnë Sequoia, e cila udhëhoqi raundin e parë të Tavus me 6.1 milionë dollarë vitin e kaluari cili mori pjesë së bashku me Y Combinator (YC) dhe HubSpot.

Videoja zë qendër të vëmendjes

Lëvizja gjeneruese e AI ilustrohet më së miri nga motorët e kërkimit të bazuar në tekst si ChatGPT dhe modelet tekst-për-imazh të tilla si DALL-Ee cila OpenAI është në mes e kombinimit në një platformë të vetme të të gjithë këndimit. Por nëse muajt e fundit ka pasur diçka për të shkuar, AI gjeneruese mund të jetë në prag të një revolucioni tjetër të vogël, me video është në qendër të vëmendjes.

OpenAI debutoi së fundmi Sora, një model tekst-në-video që mund të transformojë industrinë krijuese siç e njohim ne. Por është larg nga lojtari i vetëm në qytet, me Gjigantët e teknologjisë si Google që punojnë në vegla të ngjashme për disa vite, jo për të përmendni një sërë startup-sh që janë ngritur i konsiderueshëm copa të ndryshimit të QV gjatë vitit të kaluar për realizime të ndryshme se si AI gjeneruese mund të kryqëzohet me videon.

Tavus, nga ana e tij, punon me klientët e tij për të krijuar kopje të individëve përmes klonimit të zërit dhe fytyrës. Ideja është që ekipet e shitjeve dhe marketingut mund të përdorin Tavus për të dërguar video të personalizuara tek klientët e mundshëm në shkallë, ose ndoshta një ekip produkti mund të krijojë video të individualizuara për të hyrë në klientët e rinj – të gjitha nëpërmjet kërkesave të thjeshta të bazuara në tekst që përdorin kopjen dixhitale të krijuar më parë. Dhe duke integruar Tavus me sistemet e palëve të treta si Salesforce ose Mailchimp, kompanitë mund të automatizojnë pjesën më të madhe të kësaj – për shembull, një klienti që plotëson një formular në internet duke kërkuar informacione të mëtejshme për një produkt mund t’i dërgohet një video me email në çast, me adresimin e një përfaqësuesi të shitjes perspektiva me emër dhe duke shpjeguar hapat e ardhshëm.

Tavus ka arritur të sigurojë disa klientë mjaft të famshëm në jetën e tij të shkurtër deri më tani, duke përfshirë Salesforce dhe prindin e Facebook Meta, i cili bashkëthemelues dhe CEO Hassan Raza tha se po përdorin platformën për t’u shitur klientëve të tyre përkatës B2B përmes videove demo të personalizuara.

Tavus si një platformë

Deri më tani, Tavus është shërbyer përmes një aplikacioni SaaS, përmes të cilit klientët krijojnë shabllonet e tyre të videove të AI. Procesi i hyrjes kërkon një individ, si CEO ose ekzekutiv i shitjeve, për të regjistruar një video 15-minutëshe bazuar në një skenar të ofruar nga Tavus.

Klonimi i Tavus në veprim. Kreditë e imazhit: Tavus

Kjo më pas përdoret për të trajnuar AI, pas së cilës përdoruesi shkon te një redaktues ueb dhe zgjedh se cilat pjesë të videos dëshiron të personalizojë duke përcaktuar variablat – si vendndodhjen, emrin ekzekutiv, kompaninë ose produktin. Duke e lidhur Tavus në sistemin e tyre CRM, kompanitë mund të modifikojnë secilën prej këtyre variablave për t’iu përshtatur një segmenti të caktuar të klientit, siç janë ata që kanë shprehur interes për një produkt të caktuar.

Redaktimi i variablave. Kreditë e imazhit: Tavus

Kompanitë mund të krijojnë qindra nga këto kopje me personel të ndryshëm të përfshirë, të mbushur me prejardhje të ndryshme për tregje të ndryshme të synuara.

Nëpërmjet redaktuesit brenda aplikacionit, është e mundur të gjeneroni çdo numër skriptesh të ndryshëm për t’i bashkëngjitur çdo rasti përdorimi — pa pasur nevojë të riregjistroni ndonjë nga videot origjinale.

Avatarët e ndryshëm të Tavus. Kreditë e imazhit: Tavus

Ndërsa ky produkt bazë SaaS nuk po zhduket, Tavus sot po ngre kapakun e një versioni të ri turbo-karikues të teknologjisë së tij së bashku me këstin e parë të një grupi API-sh zhvilluesish që lejojnë palët e treta të integrojnë Tavus në aplikacionet e tyre.

Përsëriteni

Aspekti i parë i platformës së re të zhvilluesve të Tavus që ka mbërritur është “API-ja e kopjeve”, e cila ka të bëjë me krijimin e kopjeve dixhitale “foto-realiste” të mbushura me gjenerim tekst-në-video. Me këtë, një kompani mund të përsërisë një person (p.sh., kreun e marketingut ose CEO) duke përdorur një model të ri pronësor të krijuar nga Tavus të quajtur “Phoenix”, i cili bazohet në një metodë të të mësuarit të thellë të quajtur fusha e rrezatimit nervor (NeRF). Kjo mund të gjenerojë një konstrukt 3D të një personi nga imazhet 2D në vetëm disa minuta.

“Në thelb ju lejon të krijoni video të tëra me vetëm dy minuta të dhëna trajnimi, gjë që është një hap i madh përpara nga mënyra se si e bënim më parë personalizimin në shkallë”, tha Raza për TechCrunch. “Dhe tani gjithçka që duhet të bëni është të regjistroni dy minuta të dhëna trajnimi dhe do të krijojë një kopje të plotë të juve. Dhe pasi të keni një kopje, mund të bëni sa më shumë video që dëshironi – nga një, dy ose një mijë skenarë.”

Simulimi që tregon se si Tavus harton një përdorues përballë për të krijuar një kopje realiste. Kreditë e imazhit: Tavus

Dalja: Modeli Phoenix i Tavus-it ndërton një model 3D duke përdorur hyrjen e videos 2D nëpërmjet NeRF. Kreditë e imazhit: Tavus

Replika inauguruese API mbështetet në të gjithë funksionalitetin e modelit Phoenix dhe kap lëvizjen e fytyrës së një individi, duke përfshirë faqet, hundën, vetullat dhe buzët.

“Lëvizja e të gjithë fytyrës nxit realizëm, natyrshmëri dhe cilësi – kur flisni, fytyra juaj shpreh emocione përtej lëvizjes së buzëve tuaja”, shpjegoi Raza. “Nëse dëshironi të gjeneroni një video të tërë nga një skenar – ku jeni duke folur, një video që duket e natyrshme dhe është jashtëzakonisht e cilësisë së lartë – do të dëshironit të përdorni API-në kopje.”

Megjithatë, Tavus po zhvillon gjithashtu një numër të API-ve shtesë, duke përfshirë një posaçërisht për sinkronizimin e buzëve, një për dublimin dhe një për drejtimin masiv të fushatave video të personalizuara.

API-ja e sinkronizimit të buzëve do të ketë një “kosto më të ulët hyrjeje”, sipas Raza, dhe është më i mirë për situatat ku “shkalla e lartë e cilësisë dhe realizmit nuk është e nevojshme”.

API-ja e dublimit, ndërkohë, përdor gjithashtu modelin e sinkronizimit të buzëve, por përfshin gjithashtu klonimin e zërit shumëgjuhësh, që do të thotë se një përdorues monolinguist mund të dërgojë fushata video në çdo numër gjuhësh duke përdorur zërin e tij. Në këtë rast, duke qenë se pjesa më e madhe e videos do të mbetet e njëjtë, API mundëson zëvendësimin e thjeshtë të lëvizjeve të buzëve për t’u lidhur me tingujt e ndryshëm që vijnë nga goja e përdoruesit. Kjo mund të jetë e dobishme për krijuesit e një grupi softuerësh për redaktimin e videove, për shembull, ku ata dëshirojnë t’u mundësojnë përdoruesve të tyre të shtojnë sinkronizimin e buzëve, redaktimin dhe dublimin në videot e tyre.

Dhe më pas API-ja e fushatës video në thelb bashkon API-në e kopjes së bashku me një sërë mjetesh shtesë – të tilla si hostimi, harta e ndryshueshme, miniaturat dhe analitika – për ata që kërkojnë të nisin fushata video në shkallë të gjerë.

“Ne po sjellim aftësinë për çdo zhvillues për të ofruar një përvojë të fushatës video nga fundi në fund, brenda zgjidhjeve të veta,” tha Raza. “Ndërsa API-të e kopjeve dhe të sinkronizimit të buzëve janë më “model-si-shërbim”, API i fushatës ju jep mjete për të ndërtuar me lehtësi një platformë të fushatës video të AI.”

Raza mbeti i shqetësuar se cilët janë disa nga përdoruesit e hershëm të platformës Tavus, por ai tha se “po punon me një nga platformat më të mëdha video” për angazhimin e klientëve. “Ata po kërkojnë t’ia sjellin këtë miliona klientëve të tyre që tashmë po përdorin platformën e tyre për të krijuar video në baza ditore,” tha Raza.

Dilema e thellë

Instinktivisht, platforma të tilla si Tavus janë të pjekura për keqpërdorim – në fund të fundit, çfarë e ndalon dikë që të ngarkojë një video paraekzistuese për të krijuar një kopje dixhitale? Deepfakes janë me të vërtetë një shqetësim në rritje në lëvizjen në rritje të AI, por Raza thotë se ata kanë kontrolle për të shmangur mashtrimin. Për shembull, kur një përdorues dorëzon pamjet e tij të trajnimit dy minuta, ai gjithashtu duhet të paraqesë një deklaratë specifike verbale të pëlqimit, e cila më pas përafrohet me audion në pamjet e stërvitjes për të siguruar që ka një ndeshje.

“Ne i kryejmë këto kontrolle automatikisht dhe më pas bëjmë një kontroll njerëzor për çdo kopje që kalon përmes kontrolleve të automatizuara për të garantuar sigurinë,” tha Raza.

Është e lehtë të shihet se si mund të funksionojë kjo me Tavus si një aplikacion i pavarur SaaS, por tani që është një platformë e aksesueshme nga çdo numër kompanish nëpërmjet një API, kush e ka kontrollin e verifikimit atëherë? Epo, siç rezulton, Tavus është – kompania dëshiron të mbajë duart në timonin e verifikimit, edhe kur është thjesht duke siguruar motorin për zhvilluesit e palëve të treta.

“Ne kryejmë të njëjtat kontrolle dhe marrim përgjegjësinë për verifikimet edhe me API-në,” vazhdoi Raza.

Zgjerimi i realitetit

Ndërsa OpenAI është bërë pothuajse fytyra publike e AI gjeneruese, ka më shumë se sa duhet vend për lojtarë të ndryshëm duke sjellë diçka ndryshe në përzierje. Në të vërtetë, ndërsa modeli Sora i DALL-E dhe OpenAI i lëshuar së fundmi kanë të bëjnë kryesisht me ndihmën e njerëzve për të krijuar pamje vizuale nga kërkesat e tekstit, Raza thotë se arsyeja e ekzistencës së Tavus ka të bëjë më shumë me “zgjerimin” e realitetit të një personi.

“Ne shohim një të ardhme ku të gjithë duan të kenë një kopje dixhitale të vetvetes; ata e kontrollojnë atë dhe kanë autoritet të plotë mbi këtë,” tha Raza. “Dhe do të jetë e rëndësishme që në fakt të përfundojë duke kapur gjithnjë e më shumë nga personaliteti juaj, gjithnjë e më shumë nga gjestet dhe tiparet tuaja. Kështu i shohim gjërat përpara – do të ketë modele që krijojnë gjëra që nuk ekzistojnë, dhe më pas do të ketë modele që zgjerojnë realitetin tuaj.”

Me 18 milionë dollarë në bankë, Raza tha se injeksioni i fundit i parave do të përdoret për të “ngurtësuar zjarrin që tashmë po digjet” në kullat Tavus.

“Ne jemi një kompani kërkimore e AI, kështu që duam të jemi në gjendje të vazhdojmë zhvillimin në modele më të reja si Phoenix,” tha Raza. “Por pastaj thjesht mbajmë rritjen tonë, ne kemi pasur një ton kërkesë vazhdimisht. Dhe ne duam të jemi në gjendje të punësojmë vazhdimisht në ekipet tona të mësimit të makinerive dhe inxhinierisë për të mbështetur zhvilluesit tanë dhe klientët SaaS.”