Halucinacije su postale Ahilova peta umjetne inteligencije otkako su chatbotovi postali dio naših života. Tvrtke poput OpenAI-ja obećale su halucinacije može se smanjiti uz pomoć pravilnog procesa učenja, ali nakon godina ChatGPT i svojih izravnih konkurenata stalno izmišljaju odgovore kad nisu sigurni što reći. Shuhui Ku, istraživačica sa Sveučilišta Stanford, vjeruje da je pronašla rješenje za ovaj problem.
Strukturni problem. Moderni jezični modeli imaju grešku u proizvodnji: čak i odgovaraju s punim povjerenjem a kad pojma nemaju niti potrebne podatke.
To je zbog načina na koji obrađuju svaki odgovor, jer studenti na LLM programu glatko popunjavaju informacije koje nedostaju, čak i ako su neistinite i temeljene na pretpostavkama.
Prvo, priznaj. Shuhui Ku, istraživačica sa Sveučilišta Stanford, objavila je članak u kojem je predstavila ono što naziva dvosmjernim samokonzultantskim kategoričkim planiranjem. Ovaj se pristup temelji na jednostavnoj, ali nezgodnoj ideji za velike tehnološke tvrtke: prisiliti model da eksplicitno prepozna ono što ne zna, a zatim prestati napredovati dok ne riješi taj problem.
Znanstvenija metoda. Ideja nije da model to učini razmisli bolje ali da se prestanem pretvarati da sve znam. Kuov pristup polazi od osnovne premise: svaki put kada model napravi korak u svom razmišljanju, mora se zapitati ima li doista informacije koje su mu potrebne za to.
Kada se dogodi nepoznata situacija, model ne može nastaviti s radom. Popunjavanje praznine nagađanjem nije dopušteno, a model mora stati kako bi riješio nesigurnost prije nastavka. To se može učiniti na dva načina:
- Postavljanjem određenog pitanja da biste dobili informacije koje nedostaju.
- Ili uvođenjem međuetape (provjera, dodatne konzultacije), koja postaje dio lanca razmišljanja.
Metoda. Koristeći vanjski kod, istraživači su prisilili modele kao što su GPT-4 odgovoriti tek kad budu imali potpunu informaciju. Učinili su to na jednostavnim zadacima, postavljajući pitanja o kuharskim receptima i wikiHow vodičima. Ključni trenutak? Namjerno su zatajili informacije kako bi natjerali model da stane.
Studija je pokazala da jasno definiranje preduvjeta i njihova provjera prije početka rada značajno smanjuje broj pogrešaka koje čine programi učenja koji koriste linearne modele ponašanja u nedostatku informacija. Međutim, poznato je da ni to nije dovoljno za potpuno uklanjanje halucinacija.
Nije tako jednostavno. Iako ideja istraživača zvuči briljantno, njezina realizacija u kratkom i srednjem roku vrlo je malo vjerojatna. Ova metoda obrade krši prirodni tijek modernih linearnih modela učenja, čija je namjera pružiti potpune odgovore.
Da bi takav sustav funkcionirao, potrebno je njegovoj strukturi dodati dodatni sloj: preduvjete koji će ga tjerati da kontrolira izazove, interpretira vlastite odgovore, klasificira ih i automatski blokira mogućnost postavljanja pitanja ako nema sve potrebne informacije. Drugim riječima, u ovom trenutku AI će nastaviti raditi prema istim starim formulama na koje smo već navikli.
