Bazat e të dhënave vektoriale janë gjithë bujë, duke gjykuar nga numri i startups hyrja në hapësirë dhe investitorët që kërkojnë një copë byreku. Përhapja e modeleve të mëdha gjuhësore (LLM) dhe lëvizja gjeneruese e AI (GenAI) kanë krijuar terren pjellor për lulëzimin e teknologjive të bazës së të dhënave vektoriale.
Ndërsa bazat e të dhënave tradicionale relacionale si Postgres ose MySQL janë të përshtatshme për të dhënat e strukturuara – lloje të paracaktuara të të dhënave që mund të depozitohen mirë në rreshta dhe kolona – kjo nuk funksionon aq mirë për të dhënat e pastrukturuara si imazhet, videot, emailet, mediat sociale. postimet dhe çdo të dhënë që nuk i përmbahet një modeli të dhënash të paracaktuar.
Bazat e të dhënave vektoriale, nga ana tjetër, ruajnë dhe përpunojnë të dhëna në formën e ngulitjeve vektoriale, të cilat konvertojnë tekstin, dokumentet, imazhet dhe të dhënat e tjera në paraqitje numerike që kapin kuptimin dhe marrëdhëniet midis pikave të ndryshme të të dhënave. Kjo është e përkryer për mësimin e makinerive, pasi baza e të dhënave ruan të dhënat në hapësirë sipas asaj se sa i rëndësishëm është secili artikull me tjetrin, duke e bërë më të lehtë marrjen e të dhënave semantike të ngjashme.
Kjo është veçanërisht e dobishme për LLM-të, siç është GPT-4 e OpenAI, pasi lejon që chatbot i AI të kuptojë më mirë kontekstin e një bisede duke analizuar bisedat e mëparshme të ngjashme. Kërkimi vektor është gjithashtu i dobishëm për të gjitha llojet e aplikacioneve në kohë reale, të tilla si rekomandimet e përmbajtjes në rrjetet sociale ose aplikacionet e tregtisë elektronike, pasi mund të shikojë atë që një përdorues ka kërkuar dhe të marrë artikuj të ngjashëm me një rrahje zemre.
Kërkimi vektor mund të ndihmojë gjithashtu në reduktimin e “halucinacioneve” në aplikacionet LLM, duke ofruar informacion shtesë që mund të mos kishte qenë i disponueshëm në grupin e të dhënave origjinale të trajnimit.
“Pa përdorur kërkimin e ngjashmërisë vektoriale, ju mund të zhvilloni ende aplikacione AI/ML, por do t’ju duhet të bëni më shumë rikualifikim dhe rregullim të imët. Andre ZayarniCEO dhe bashkëthemelues i kërkimit vektor startup Qdrant, shpjegohet për TechCrunch. “Bazat e të dhënave vektoriale hyjnë në lojë kur ka një bazë të dhënash të madhe dhe ju nevojitet një mjet për të punuar me ngulitje vektoriale në një mënyrë efikase dhe të përshtatshme.”
Në janar, Qdrant siguroi 28 milionë dollarë fonde për të kapitalizuar rritjen, gjë që e ka bërë atë të bëhet një nga 10 burimet e hapura komerciale me rritjen më të shpejtë. startups vitin e kaluar. Dhe është larg nga e vetmja bazë e të dhënave vektoriale startup për të mbledhur para në fund – Vespa, Weaviate, Pinecone dhe Chroma grumbulluan kolektivisht 200 milionë dollarë vitin e kaluar për oferta të ndryshme vektoriale.
Ekipi themelues i Qdrant. Kreditë e imazhit: Qdrant
Që nga fillimi i vitit, ne kemi parë gjithashtu Index Ventures të kryesojë një vlerë prej 9.5 milionë dollarësh seed rrumbullakosur në Superlinked, një platformë që transformon të dhënat komplekse në ngulitje vektoriale. Dhe disa javë më parë, Y Combinator (YC) zbuloi grupin e tij Winter ’24, i cili përfshinte Lantern, një startup që shet një motor kërkimi vektorial të hostuar për Postgres.
Diku tjetër, Marqo mblodhi 4.4 milionë dollarë seed raundi në fund të vitit të kaluar, i ndjekur me shpejtësi nga një raund i Serisë A prej 12.5 milionë dollarësh në shkurt. Platforma Marqo ofron një gamë të plotë mjetesh vektoriale jashtë kutisë, që përfshin gjenerimin, ruajtjen dhe rikthimin e vektorëve, duke i lejuar përdoruesit të anashkalojnë mjetet e palëve të treta nga OpenAI ose Hugging Face, dhe ofron gjithçka nëpërmjet një API të vetme.
Bashkëthemeluesit e Marqo, Tom Hamer dhe Jesse N. Clark, kanë punuar më parë në role inxhinierike në Amazon, ku kuptuan “nevojën e madhe të paplotësuar” për kërkimin semantik dhe fleksibël nëpër modalitete të ndryshme si teksti dhe imazhet. Dhe kjo është kur ata u hodhën me anije për të formuar Marqo në 2021.
“Puna me kërkimin vizual dhe robotikën në Amazon ishte kur shikoja me të vërtetë kërkimin e vektorit – po mendoja për mënyra të reja për të bërë zbulimin e produktit, dhe kjo shumë shpejt u konvergjua në kërkimin vektorial,” tha Clark për TechCrunch. “Në robotikë, po përdorja kërkimin multi-modal për të kërkuar nëpër shumë nga imazhet tona për të identifikuar nëse kishte gjëra të gabuara si çorape dhe pako. Përndryshe, kjo do të ishte shumë sfiduese për t’u zgjidhur.”
Bashkëthemeluesit e Marqo Jesse Clark dhe Tom Hamer. Kreditë e imazhit: Marqo
Hyni në ndërmarrje
Ndërsa bazat e të dhënave vektoriale po kalojnë një moment mes hullabaloo të ChatGPT dhe lëvizjes GenAI, ato nuk janë ilaçi për çdo skenar të kërkimit të ndërmarrjes.
“Bazat e të dhënave të dedikuara priren të jenë plotësisht të përqendruara në rastet specifike të përdorimit dhe për këtë arsye mund të dizajnojnë arkitekturën e tyre për performancën në detyrat e nevojshme, si dhe përvojën e përdoruesit, krahasuar me bazat e të dhënave për qëllime të përgjithshme, të cilat duhet ta përshtatin atë në modelin aktual,” Peter. Zaitsev, themeluesi i kompanisë së mbështetjes dhe shërbimeve të bazës së të dhënave Percona, shpjegoi për TechCrunch.
Ndërsa bazat e të dhënave të specializuara mund të shkëlqejnë në një gjë duke përjashtuar të tjerat, kjo është arsyeja pse ne po fillojmë të shohim zyrtarët e bazës së të dhënave të tilla si Elastike, Redis, OpenSearch, Kasandra, Orakullidhe MongoDB shtimi i inteligjencës së kërkimit të bazës së të dhënave vektoriale në përzierje, siç janë ofruesit e shërbimeve cloud Azure i Microsoft, AWS i Amazondhe Cloudflare.
Zaitsev e krahason këtë prirje të fundit me atë që ndodhi me JSON më shumë se një dekadë më parë, kur aplikacionet në ueb u bënë më të përhapura dhe zhvilluesit kishin nevojë për një format të dhënash të pavarur nga gjuha që ishte e lehtë për njerëzit të lexonin dhe shkruanin. Në atë rast, një klasë e re e bazës së të dhënave u shfaq në formën e bazave të të dhënave të dokumenteve si MongoDB, ndërsa bazat ekzistuese të të dhënave relacionale prezantuan gjithashtu mbështetjen JSON.
“Unë mendoj se e njëjta gjë ka të ngjarë të ndodhë me bazat e të dhënave vektoriale,” tha Zaitsev për TechCrunch. “Përdoruesit që po ndërtojnë aplikacione shumë të komplikuara dhe në shkallë të gjerë të AI do të përdorin baza të të dhënave të dedikuara të kërkimit vektorial, ndërsa njerëzit që duhet të ndërtojnë pak funksionalitet të AI për aplikacionin e tyre ekzistues kanë më shumë gjasa të përdorin funksionalitetin e kërkimit vektor në bazat e të dhënave që përdorin tashmë. ”
Por Zayarni dhe kolegët e tij në Qdrant janë duke vënë bast se zgjidhjet vendase të ndërtuara tërësisht rreth vektorëve do të ofrojnë “shpejtësinë, sigurinë e memories dhe shkallën” e nevojshme kur të dhënat e vektorit shpërthejnë, krahasuar me kompanitë që përdorin kërkimin e vektorit si një mendim të mëvonshëm.
“Katrolli i tyre është, ‘ne mund të bëjmë gjithashtu kërkim vektori, nëse është e nevojshme’,” tha Zayarni. “Parashtri ynë është, ‘ne bëjmë kërkim të avancuar të vektorit në mënyrën më të mirë të mundshme.’ Gjithçka ka të bëjë me specializimin. Ne në fakt ju rekomandojmë të filloni me çdo bazë të dhënash që keni tashmë në grupin tuaj të teknologjisë. Në një moment, përdoruesit do të përballen me kufizime nëse kërkimi vektorial është një komponent kritik i zgjidhjes suaj.”