Prodhuesi i çipave të inteligjencës artificiale Edge Hailo të martën prezantoi përshpejtuesit e tij të rinj gjenerues të inteligjencës artificiale Hailo-10 ndërsa zbuloi se mblodhi 120 milionë dollarë shtesë në një raund të zgjatur të mbledhjes së fondeve të serisë C.
Raundi i ri i financimit u drejtua nga investitorë duke përfshirë familjen Zisapel, Automotive Equipment dhe Delek Motors dhe e çon financimin total të Hailo në më shumë se 340 milionë dollarë.
Përshpejtuesi i ri i shitësit me bazë në Izrael, ose makina llogaritëse për ngarkesat e punës së AI, u mundëson përdoruesve të përdorin AI gjeneruese në pajisjet e fundit si PC, automjete inteligjente dhe robotë komercialë.
Hailo-10 mund të ekzekutojë modelin e gjuhës së madhe Meta Llama 2-7b me deri në 10 shenja në sekondë, duke përdorur më pak se 5 vat energji, sipas shitësit. Ai gjithashtu mund të përpunojë modelin tekst-në-imazh Stable Diffusion 2.1 me më pak se pesë sekonda për imazh, tha shitësi.
AI gjeneruese dhe pajisje të skajshme
Hailo-10 dhe përshpejtuesit e tjerë të avantazheve gjeneruese vijnë pasi tregu gjenerues i AI është zhvendosur për të përfshirë pajisjet e skajshme.
Ndërsa shumë ngarkesa gjeneruese të punës së AI duhet ende të përpunohen në cloud dhe qendrat e të dhënave, më shumë trajnime dhe konkluzionet e ngarkesave gjeneruese të AI po lëvizin drejt pajisjeve të avancuara si laptopët, pajisjet e realitetit virtual dhe telefonat inteligjentë.
“Ky zhvendosje nga AI i bazuar në cloud në AI-në skajore ka qenë shumë i shpejtë,” tha analisti i Futurum Research Group, Olivier Blanchard.
Zhvendosja krijon një ekosistem hibrid të AI me kompjuterin cloud në krye, në ambientet në mes dhe pajisjet e skajshme në fund, shtoi ai.
Inteligjenca artificiale gjeneruese në avantazh po ndihmon gjithashtu në lëvizjen nga ideimi në zbatimin e AI gjeneruese në ndërmarrje, tha analisti i Gartner, Chirag Dekate.
“Në fund të ditës, nuk ka të bëjë vetëm me atë që ndodh në qendrën e të dhënave,” tha Dekate. “Ka të bëjë me mënyrën se si AI mund të shpërndahet kudo.”
Këndi i Hailo-10
Për Hailo-10, përfitimi kryesor i ekzekutimit të ngarkesave gjeneruese të AI në PC, apo edhe në automjete inteligjente, është konsumi i energjisë, tha Blanchard.
“Avantazhi i vërtetë i kësaj do të jetë konsumi më i ulët i energjisë, si performanca më e mirë për vat,” tha Blanchard.
Hailo-10 është i aftë për operacione deri në 40 tera në sekondë (TOPs), që është më i shpejtë dhe më efikas në energji sesa një njësi e integruar e përpunimit nervor, sipas Hailo.
Njësitë e përpunimit nervor janë sisteme të specializuara të krijuara për algoritmet e mësimit të makinerive.
Niveli i performancës 40 TOPS është në përputhje me Intel Core Ultra, një përshpejtues i AI i ndërtuar për laptopë dhe pajisje të tjera të skajshme, shtoi Blanchard.
Fakti që Hailo-10 është miqësor me celularin dhe mund të trajtojë hyrjet video dhe të përpunojë të dhënat video me shpejtësi me fuqi të ulët, është gjithashtu e rëndësishme për automjetet inteligjente si automjetet elektrike, vazhdoi ai.
“Sa më shumë ekrane të kesh, aq më shumë procese të kesh, të gjitha këto gjëra janë një shkarkim i baterisë së makinës,” tha ai. “Është shumë e rëndësishme për (ofertat) specifike të automjeteve, jo vetëm që të jenë super të shpejtë dhe super të fuqishëm, por edhe të konsumojnë sa më pak energji në procesin e kryerjes së atyre detyrave.
Hailo përdor gjithashtu një arkitekturë të ngjashme me rrjedhën e të dhënave që thjeshton mënyrën se si të dhënat rrjedhin përmes procesorit dhe i lejon atij të japë llogaritje më efikase, tha Dekate.
Disa kufizime dhe tregu izraelit i AI
Sidoqoftë, problemi me përshpejtuesit e skajshëm të AI nga Hailo dhe konkurrentët si Groq, Intel, AMD dhe Tenstorrent është se atyre u mungon standardizimi i shtresës së programimit, vazhdoi Dekate.
Çdo kompani tenton të ketë modelin dhe grupin e saj të programimit, duke kërkuar një nivel ekspertize nga përdoruesit.
Kjo ndryshon nga një shitës cloud si Nvidia, i cili ka një shtresë standarde programimi CUDA.
“Këtu qëndron shkëmbimi,” tha Dekate. “Ju në mënyrë të pashmangshme do të hasni në problemin në të cilin keni performancë më të mirë dhe profile më të mira të kostos, por kompleksiteti i programimit rritet.”
Një sfidë tjetër është se qasja e partneritetit të kanalit OEM e shitësve si Hailo mund të pengojë vendosjen në shkallë.
“Do t’ju duhet të mbështeteni drejtpërdrejt në një partneritet me këto kompani,” tha Dekate. “Këto kompani mund të mos kenë personelin e nevojshëm dhe gjerësinë e brezit të biznesit për të qenë në gjendje të adresojnë kërkesat e klientëve tuaj në këtë kontekst.”
Hailo është një nga shumë AI izraelite startups duke u shfaqur dhe duke u rritur në tregun gjenerues të AI, megjithëse sektori i teknologjisë izraelite është dëmtuar nga lufta midis Izraelit dhe Hamasit në Gaza.
“Izraeli po merr një rol udhëheqës në zhvillimin e zgjidhjeve të reja të AI,” tha Blanchard. “Jo vetëm nga ana e softuerit, por edhe nga ana e silikonit,”
Një tjetër shitës izraelit, AI21 Labs, prezantoi së fundmi Jamba, një LLM e re që ofron një dritare konteksti 256K.
Esther Ajao është një shkrimtare e lajmeve editoriale TechTarget dhe prezantuese e podkastit që mbulon softuerin dhe sistemet e inteligjencës artificiale.