Akia Consulting
Beleške za vlasnike i menadžere
Odgovor je već bio zapisan
Negde u vašem drajvu, mejlu ili staroj niti razgovora, odgovor već postoji. Evo kako pretraga to pretvara u nešto što svako može jednostavno da pita.
Ukratko
- Problem retko leži u informaciji koja ne postoji. Leži u informaciji koja postoji negde u kompaniji, ali je niko ne može pronaći u trenutku kad zatreba.
- RAG (generisanje potpomognuto pretragom) drži dokumente tačno tamo gde jesu, pretražuje ih kako treba kad se postavi pitanje, i asistent odgovara isključivo na osnovu onoga što pronađe, uz naveden izvor.
- Mehanizam ima pet koraka (unos, deljenje, ugrađivanje, pretraga, generisanje), i većina stvarnih grešaka se dešava tiho u jednom od prva četiri koraka, ne u samom AI modelu na kraju.
- Postoje dve različite vrste grešaka: greška pretrage (pravi pasus postoji ali nikad nije izvučen na površinu) i greška generisanja (pasus je pronađen, ali je asistent ipak rekao nešto čega tamo nije bilo). Moraju se proveravati odvojeno.
- Ovo nije rešenje za dokumentaciju koja ne postoji ili je kontradiktorna. Čini ono što je već zapisano dostupnim; ne izmišlja delove koje niko nije napisao.
Nekome u timu treba jedan podatak. Koji je bio dogovoreni popust za tog klijenta prilikom poslednjeg obnavljanja ugovora. Da li polisa povraćaja pokriva ovakav slučaj. Koju verziju specifikacije je dobavljač zapravo potpisao.
Odgovor postoji. Nalazi se u PDF-u ugovora iz marta, ili u Slack prepisci iz projekta koji je završen u junu, ili u Google dokumentu tri fascikle dublje koji je neko nazvao "Beleške (2)." I onda kreće potraga: prvo drajv, pa mejl, pa poruka nekome ko bi se možda setio, pa čekanje na odgovor. Dvadeset minuta kasnije, možda i četrdeset, odgovor se pronađe. Nikad nije ni nedostajao. Samo ga niko nije mogao pronaći.
Kad se to ponavlja svake nedelje, za svakog u timu, to više nije problem organizacije fajlova. To je kompanija koja zna manje nego što je sama zapisala.
Šta ovo zaista rešava
Prvi instinkt je posegnuti za pametnijim čet-botom, nekim koga možeš samo da pitaš. Ali opšti asistent ne zna vašu istoriju popusta ni vašu politiku povraćaja. Nije treniran na vašim ugovorima, i ne bi ni trebalo da bude - to nije znanje koje želite da sedi unutar težina modela, nepromenljivo do sledećeg treniranja.
Ono što zaista funkcioniše je jednostavnije i mnogo kontrolisanije: dokumenti ostaju tačno tamo gde jesu, asistent ih pretražuje kako treba, i odgovara isključivo na osnovu onoga što pronađe, uz naveden izvor. To je RAG - retrieval-augmented generation, generisanje potpomognuto pretragom. Manje nova vrsta AI-a, više bibliotekar prikačen na asistenta koga već imate: neko ko je pročitao sve u zgradi, izvuče tri najrelevantnije stranice čim ga pitate, i preda ih asistentu pre nego što on uopšte progovori.
Ništa se ne menja na samim dokumentima. Ne premeštaju se, ne ulaze ni u kakvo treniranje, i čim izmenite jedan od njih, sledeći odgovor to odmah odražava. Asistent jednostavno prestaje da nagađa i počinje da citira.
Kad tražite sami
- Nagađate koja fascikla, koja ključna reč, koga da pitate
- Pravi odgovor je zatrpan ispod četiri druga dokumenta koji skoro odgovaraju
- Dok ga pronađete, napola ste zaboravili originalno pitanje
- Sledeća osoba kojoj zatreba isti odgovor kreće potragu ispočetka
Kad pitate, uz pretragu ugrađenu u sistem
- Pitate običnim jezikom, onako kako biste pitali kolegu
- Asistent izvlači tačnu klauzulu, nit ili pasus, ne fasciklu za pretragu
- Odgovor stiže uz izvor, pa ga možete proveriti za deset sekundi
- Svako u timu dobija isti utemeljen odgovor, svaki put
Kako ovo zaista funkcioniše, jednostavnim rečima
Ovo je deo koji većina objašnjenja preskoči, a upravo je taj deo vredan razumevanja pre nego što mu poverite bilo šta stvarno - jer većina onoga što krene po zlu kod RAG-a krene po zlu tiho, u jednom od ovih pet koraka, ne u samom AI modelu na kraju.
| Korak | Šta se dešava | Gde tiho pukne |
|---|---|---|
| Unos | Svaki dokument, tabela i nit razgovora se uvlači u jedno pretraživo skladište | Pola znanja kompanije živi u alatu koji se niko nije setio da poveže |
| Deljenje | Dugi dokumenti se seku na manje odlomke koje asistent može pojedinačno da pronađe | Ako se iseče na pogrešnom mestu, klauzula izgubi rečenicu koja je objašnjava |
| Ugrađivanje | Svaki odlomak se pretvara u zapis koji hvata značenje, ne samo reči | Odlomak koji istu ideju izražava drugim rečima može potpuno da promakne |
| Pretraga | Vaše pitanje izvlači šačicu odlomaka koji zaista odgovaraju | Ako je pretraga previše uska, taj jedan pasus koji odgovara na pitanje nikad ne izađe na površinu |
| Generisanje | Asistent piše odgovor isključivo na osnovu pronađenih odlomaka, uz izvor | Ako mu se dozvoli da odgovori i kad ništa relevantno nije pronađeno, tiho počne da nagađa |
Poslednji red vredi zadržati u glavi. Postoje dva različita načina na koje ovakav sistem greši, i to nisu isti problem. Jedan je greška pretrage: pravi pasus postoji, ali ga pretraga nije izvukla na površinu. Drugi je greška generisanja: pravi pasus je pronađen, ali je asistent ipak skrenuo i rekao nešto čega tamo nije bilo. Prvi je problem pokrivenosti. Drugi je problem poverenja. Sistem vredan oslanjanja se proverava na oba, ne procenjuje samo po tome da li je konačan odgovor zvučao uverljivo.
Odgovor koji zvuči uverljivo, a nema naveden izvor, nije odgovor. To je nagađanje u odelu.
Gde ovo zaista opravdava svoje postojanje
Vrednost nije hipotetička. Pojavljuje se na istoj šačici mesta, iznova, kod skoro svake kompanije koja ima više istorije nego što stane u jednu fasciklu.
Provera politika i cena
Šta je zaista dogovoreno, šta trenutna verzija politike kaže, kakav je izuzetak napravljen za jednog klijenta i zašto. Odgovoreno iz samog dokumenta, ne od onoga ko se slučajno seti.
Uvođenje novog kolege u posao
Nova osoba pita "kako mi ovo rešavamo" i dobija pravi odgovor, izvučen iz toga kako tim zaista radi, umesto mozaika Slack poruka i napola ažuriranih wiki stranica.
Podrška koja citira pravo uputstvo
Pitanje klijenta dobija odgovor iz pravog specifikacijskog lista ili pravih uslova, uz citat, umesto da predstavnik podrške improvizuje iz sećanja pod pritiskom vremena.
Institucionalno znanje koje preživi odlazak zaposlenog
Osoba koja je znala istoriju ode iz firme. Ono što je znala ne odlazi s njom, jer nikad nije postojalo samo u njenoj glavi - bilo je dostupno svakome ko pita.
U osnovi, ovo je ista ideja koja stoji iza toga da asistent dobije živu memoriju vašeg poslovanja uopšte - pogledajte Cenu zaboravljanja za širu sliku. Pretraga nad vašim dokumentima je onaj deo tog sistema koji na zahtev odgovara na pitanje "šta zapravo znamo," uz naveden izvor.
Šta ovo nije
Pretraga nije rešenje za dokumente koji još ne postoje, koji su u međusobnoj kontradikciji, ili kojih se niko nije dotakao od 2022. Odgovara verno na osnovu onoga što je zapisano - ne izmišlja delove koje niko nije napisao, i tiho neće razrešiti sukob između dve verzije iste politike umesto vas. Ako je vaša dokumentacija tanka ili zastarela, pošten prvi korak je da se ta rupa zatvori, ne da se na nju uperi sistem za pretragu uz nadu da će sam da se snađe. Ono u čemu je zaista dobar jeste da sve što ste već zapisali učini stvarno dostupnim, u trenutku kad nekome zatreba.
Vreme do odgovora
Sa minuta na sekunde
Ko može da ga pronađe
Svako ko ume da pita
Šta stoji iza odgovora
Pravi izvor, svaki put
Ništa od ovoga ne zahteva da menjate gde čuvate dokumente. Zahteva samo da usmerite sloj za pretragu na ono što već postoji, i date timu jedno mesto gde može da pita, umesto strukture fascikli koju mora da pamti.
Česta pitanja
Direktni odgovori na najčešća pitanja- Šta je RAG (generisanje potpomognuto pretragom), jednostavnim rečima?
- To je način da AI asistent odgovara na osnovu vaših stvarnih dokumenata umesto da nagađa. Asistent pretraži vaše prave fajlove za pasuse koji odgovaraju pitanju, zatim napiše odgovor koristeći samo ono što je pronašao, uz naveden izvor. Sami dokumenti se nikad ne premeštaju niti ulaze ni u kakvo treniranje.
- Da li je ovo isto što i fino podešavanje (fine-tuning) modela na našim dokumentima?
- Nije, i ta razlika je bitna. Fino podešavanje ugrađuje informacije u težine modela, gde ih je teško ažurirati, teško proveriti i teško ukloniti. Pretraga drži vaše dokumente kao dokumente, pretražene iznova pri svakom pitanju, pa se izmena od danas odmah odražava u sledećem odgovoru, umesto da čeka novi ciklus treniranja.
- Gde ovakav sistem zapravo greši?
- Skoro uvek u jednom od ranijih koraka, ne u konačnom odgovoru. Dokument nikad nije povezan sa indeksom za pretragu. Pasus je isečen na mestu koje mu je oduzelo kontekst. Pretraga je pogodila pogrešne reči. Ili je asistentu dozvoljeno da odgovori i kad ništa relevantno nije zaista pronađeno, pa je nagađao umesto da to kaže.
- Koje dve vrste grešaka vredi proveravati odvojeno?
- Greška pretrage je problem pokrivenosti: pravi pasus postoji u vašim dokumentima, ali ga pretraga nikad nije izvukla na površinu. Greška generisanja je problem poverenja: pravi pasus je pronađen, ali je asistent ipak rekao nešto što tim pasusom nije zaista potkrepljeno. Sistem vredan oslanjanja se meri po oba kriterijuma, ne procenjuje se samo po tome da li je konačan odgovor delovao ubedljivo.
- Da li ovo može da funkcioniše ako nam je dokumentacija neuredna ili zastarela?
- Verno će prikazati sve što je zaista zapisano, uključujući i tu neurednost. Neće izmišljati delove koje niko nije napisao, i neće tiho razrešiti kontradikciju između dve suprotstavljene verzije iste politike umesto vas. Ako je dokumentacija zaista oskudna, zatvaranje te rupe dolazi prvo. Pretraga čini ono što već imate dostupnim, ne proizvodi ono što nemate.
Razgovarajmo o vašem slučaju
Opišite nam proces koji vas najviše košta. Na kratkom razgovoru kažemo da li se isplati automatizovati i šta bi to konkretno značilo.