Databricks blen startupin e menaxhimit të të dhënave të AI Lilac

Databricks Inc. ka blerë Lilac AI Inc., një startup me një mjet që ndihmon zhvilluesit të menaxhojnë grupet e të dhënave të tekstit që përdorin në projektet e inteligjencës artificiale.

Kompanitë i shpallur marrëveshja sot pa bërë të ditur kushtet financiare. Lilac AI me bazë në Boston u themelua nga Daniel Smilkov dhe Nikhil Thorat, dy ish inxhinierë të Google LLC që ndihmuan në ndërtimin e TensorFlow.js. Ky është një komponent i TensorFlow, mjeti popullor i zhvillimit të AI të gjigantit të kërkimit, i cili mund të përdoret për të shkruar aplikacione të mësimit të makinerive në JavaScript.

Zhvillimi i një modeli të AI kërkon që ekipet e softuerit të mbledhin dhe analizojnë vëllime të mëdha teksti. Së pari, zhvilluesit duhet të krijojnë një koleksion dokumentesh mbi të cilat modeli mund të trajnohet. Pasi të përfundojë trajnimi, AI rezultatet duhet të rishikohen për të përcaktuar nëse teksti që gjeneron plotëson kërkesat e saktësisë.

“Eksplorimi dhe kuptimi i këtyre grupeve të të dhënave është kritik për ndërtimin e aplikacioneve cilësore GenAI,” shpjegoi bashkëthemeluesi i Databricks Matei Zaharia dhe drejtues të tjerë në një. postim në blog sot. “Megjithatë, analizimi i të dhënave të tekstit të pastrukturuar mund të bëhet shumë i rëndë dhe jashtëzakonisht i vështirë në epokën e GenAI. Historikisht, ky proces është dëmtuar nga metoda manuale dhe intensive të punës, të cilave u mungon shkallëzueshmëria.”

Lilac AI ka zhvilluar një mjet me burim të hapur, Lilac, që premton të thjeshtojë detyrën. Softueri përdoret nga Databricks, Cohere Inc. dhe lojtarë të tjerë në tregun e softuerit të AI.

Një nga karakteristikat kryesore të Lilac është e ashtuquajtura aftësi grumbullimi që mundësohet nga një model i integruar i AI. Mund të analizojë dokumentet që përbëjnë një grup të dhënash teksti, të organizojë dokumente të ngjashme në grupe dhe të gjenerojë një përshkrim të secilit grup. Lilac, për shembull, mund të përcaktojë se dy të tretat e artikujve në një grup të dhënash trajnimi të AI janë përmbledhje librash, ndërsa pjesa tjetër janë pyetje matematikore.

Zhvilluesit mund ta përdorin mjetin për të gjetur pjesë të një grupi të dhënash trajnimi që duhet të hiqen. Nëse një ekip softuerësh po ndërton një model të AI që gjeneron përmbledhje librash, grupi i të dhënave me të cilin është zhvilluar modeli nuk ka nevojë të përfshijë domosdoshmërisht pyetje matematikore. Heqja e sendeve të panevojshme përshpejton trajnimin dhe rrit saktësinë e përgjigjeve të AI.

Lilac gjithashtu i jepet vetes detyra të tjera. Ai përfshin një panel kontrolli që mund të përdoret për të krahasuar të dhënat individuale nga një grup të dhënash me njëri-tjetrin, i cili është i dobishëm për vlerësimin e ndikimit të përditësimeve të të dhënave. Ai gjithashtu lejon zhvilluesit të kthejnë të dhënat e tekstit në ngulitje, paraqitje matematikore që janë më të lehta për t’u kuptuar nga modelet e AI.

Lilac AI ofron një version cloud me pagesë të veglës së tij adash që përfshin veçori shtesë. Sipas kompanisë, ekziston një aftësi e përmirësuar e grupimit që mund të organizojë një milion regjistrime në grupe në 20 minuta. Versioni cloud përfshin gjithashtu mjete që e bëjnë më të lehtë modifikimin e grupeve të të dhënave të mëdha.

Databricks planifikon të integrojë softuerin e Lilac AI në menaxhimin e të dhënave të tij kryesore dhe platformën e AI. Shtesa do të plotësojë teknologjinë që kompania ka marrë përmes saj Blerja prej 1.3 miliardë dollarësh e MosaicML Inc. qershorin e kaluar. MosaicML zhvilloi një platformë zhvillimi të AI me të njëjtin emër së bashku me disa modele gjuhësore të parapaketuara.

Imazhi: Hiq spërkatjen