Është një e vërtetë universale e natyrës njerëzore që zhvilluesit që ndërtojnë kodin nuk duhet të jenë ata që do ta testojnë atë. Para së gjithash, shumica e tyre e urrejnë atë detyrë. Së dyti, si çdo protokoll i mirë auditimi, ata që bëjnë punën nuk duhet të jenë ata që e verifikojnë atë.
Prandaj, nuk është për t’u habitur që testimi i kodit në të gjitha format e tij – përdorshmëria, testet specifike të gjuhës ose detyrave, testimi nga fundi në fund – ka qenë fokusi i një kuadri në rritje të AI gjeneruese. startups. Çdo javë, TechCrunch mbulon një tjetër si Antiteza (mblodhi 47 milionë dollarë); CodiumAI (ngritur 11 milionë dollarë) QA Wolf (ngritur 20 milionë dollarë). Dhe të reja po shfaqen gjatë gjithë kohës, si i diplomuari i ri i Y Combinator Momentike.
Një tjetër është një vjeçar startup Nova AI, një diplomë e pazakontë e përshpejtuesit të Akademisë që ka mbledhur një milion dollarë paraseed rrumbullakët. Ajo po përpiqet të arrijë më mirë konkurrentët e saj me mjetet e saj të testimit nga fundi në fund duke thyer shumë nga rregullat e Silicon Valley se si startups duhet të funksionojë, thotë për TechCrunch CEO themelues Zach Smith.
Ndërsa qasja standarde e Y Combinator është të fillojë nga e vogla, Nova AI po synon ndërmarrjet e mesme dhe të mëdha me baza komplekse kodesh dhe një nevojë të madhe tani. Smith nuk pranoi të emërtojë ndonjë klient që përdor ose teston produktin e tij, përveçse i përshkruan ata si kryesisht të fazës së vonë (seri C ose më gjerë) venture- mbështetur startups në tregtinë elektronike, fintech ose produktet e konsumit dhe “përvojat e rënda të përdoruesve. Koha e ndërprerjes për këto veçori është e kushtueshme.”
Teknologjia e Nova AI analizon kodin e klientëve të saj për të ndërtuar teste automatikisht duke përdorur GenAI. Ai është veçanërisht i orientuar drejt integrimit të vazhdueshëm dhe mjediseve të shpërndarjes/vendosjes së vazhdueshme (CI/CD) ku inxhinierët po dërgojnë vazhdimisht pjesë dhe pjesë në kodin e tyre të prodhimit.
Ideja për Nova AI erdhi nga përvojat që Smith dhe bashkëthemeluesi i tij Jeffrey Shih patën kur ishin inxhinierë që punonin për kompanitë e mëdha të teknologjisë. Smith është një ish-punonjës i Google që ka punuar në ekipe të lidhura me renë kompjuterike që ndihmuan klientët të përdornin shumë teknologji automatizimi. Shih kishte punuar më parë në Meta (gjithashtu në Unity dhe Microsoft më parë) me një specialitet të rrallë të AI që përfshin të dhëna sintetike. Që atëherë ata kanë shtuar një bashkëthemelues të tretë, shkencëtarin e të dhënave të AI Henri Li.
Një rregull tjetër që Nova AI nuk po ndjek: ndërsa ngarkesat me anije të AI startups po ndërtohet në krye të GPT-së kryesore të OpenAI-t, Nova AI po përdor sa më pak të jetë e mundur Chat GPT-4 të OpenAI, vetëm për ta ndihmuar atë të gjenerojë disa kode dhe të bëjë disa detyra etiketimi. Asnjë e dhënë e klientit nuk po i jepet OpenAI.
Ndërsa OpenAI premton se të dhënat e atyre në një plan biznesi me pagesë nuk po përdoren për të trajnuar modelet e tij, ndërmarrjet ende nuk i besojnë OpenAI-t, na thotë Smith. “Kur po flasim me ndërmarrjet e mëdha, ato thonë: “Nuk duam që të dhënat tona të hyjnë në OpenAI”, tha Smith.
Ekipet inxhinierike të kompanive të mëdha nuk janë të vetmet që ndihen kështu. OpenAI po mbron nga një sërë procesesh gjyqësore nga ata që nuk duan që ajo të përdorë punën e tyre për trajnimin e modeleve, ose besojnë se puna e tyre ka përfunduar, e paautorizuar dhe e papaguar, në rezultatet e saj.
Nova AI po mbështetet shumë në modelet me burim të hapur si Llama të zhvilluara nga Meta dhe StarCoder (nga komuniteti BigCoder, i cili u zhvillua nga ServiceNow dhe Hugging Face), si dhe ndërtimi i modeleve të veta. Ata nuk po përdorin ende Gemma të Google me klientët, por e kanë testuar atë dhe “panë rezultate të mira”, thotë Smith.
Për shembull, ai shpjegon se një përdorim i zakonshëm për OpenAI GPT4 është të “prodhojë ngulitje vektoriale” në të dhëna, në mënyrë që modelet LLM të mund të përdorin vektorët për kërkimin semantik. Përfshirjet vektoriale përkthejnë pjesë të tekstit në numra në mënyrë që LLM të mund të kryejë operacione të ndryshme, si p.sh. t’i grumbullojë ato me pjesë të tjera të tekstit të ngjashëm. Nova AI po përdor GPT4 të OpenAI-t për këtë në kodin burimor të klientit, por do të përpiqet të mos dërgojë asnjë të dhënë në OpenAI.
“Në këtë rast, në vend që të përdorim modelet e ngulitjes të OpenAI, ne vendosim modelet tona të ngulitjes me burim të hapur, në mënyrë që kur na duhet të kalojmë nëpër çdo skedar, ne nuk po e dërgojmë atë vetëm në OpenAi,” shpjegoi Smith.
Ndërsa mos dërgimi i të dhënave të klientëve në OpenAI qetëson ndërmarrjet nervoze, modelet e AI me burim të hapur janë gjithashtu më të lira dhe më se të mjaftueshme për të kryer detyra specifike të synuara, ka gjetur Smith. Në këtë rast, ato funksionojnë mirë për të shkruar teste.
“Industria e hapur e LLM-së po dëshmon me të vërtetë se ata mund të mposhtin GPT 4 dhe këta ofrues të mëdhenj të domenit, kur ju shkoni shumë ngushtë,” tha ai. “Nuk kemi pse të ofrojmë ndonjë model masiv që mund t’ju tregojë se çfarë dëshiron gjyshja juaj për ditëlindjen e saj. E drejtë? Duhet të shkruajmë një test. Dhe kjo eshte. Pra, modelet tona janë të rregulluara posaçërisht për këtë.”
Modelet me kod të hapur po përparojnë gjithashtu me shpejtësi. Për shembull, Meta së fundmi prezantoi një version të ri të Llama që po fiton vlerësime në qarqet teknologjike dhe që mund të bindë më shumë AI startups për të parë alternativat e OpenAI.