Slovník
Halucinácia AI
Keď AI sebavedomo vygeneruje informáciu, ktorá znie hodnoverne, ale je nepravdivá alebo vymyslená.
Halucinácia je situácia, keď jazykový model vygeneruje odpoveď, ktorá znie presvedčivo a plynulo, ale je fakticky nesprávna - prípadne si úplne vymyslí zdroj, číslo alebo citát. Nie je to zlomyseľnosť ani chyba v zmysle "rozbil sa". Je to prirodzený dôsledok toho, ako LLM funguje: skladá najpravdepodobnejší text, nie overenú pravdu.
Prečo k tomu dochádza
Model nemá databázu faktov, ktorú by overoval. Generuje jazyk podľa vzorov. Keď nemá dosť opory v dátach, "domyslí si" - a urobí to s rovnakou istotou ako pri správnej odpovedi. Práve tá istota je nebezpečná.
Ako sa pred halucináciami chrániť
- Over fakty. Čísla, mená, citácie a zdroje vždy skontrolujte mimo modelu.
- Daj modelu kontext. Keď pracuje s vašimi podkladmi (RAG, priložené dokumenty), halucinuje menej.
- Pýtaj sa na zdroje. Ak nevie uviesť overiteľný zdroj, ber odpoveď ako hypotézu.
- Nedávaj AI posledné slovo tam, kde chyba stojí peniaze alebo reputáciu.
Pre marketing platí jednoducho: AI je skvelý prvý draft, zlý posledný podpis.
Časté otázky
Dá sa halucináciám úplne zabrániť?
Úplne nie, je to vlastnosť technológie. Dá sa ich ale výrazne znížiť dobrým kontextom, overovaním a tým, že modelu nedáte rozhodovať tam, kde je presnosť kritická.
Prečo AI vymyslí aj zdroj?
Pretože generuje pravdepodobný text. "Vyzerajúci ako zdroj" odkaz je pre model rovnako platný vzor ako reálny - preto treba zdroje vždy overiť.
Chcete vedieť, či vás v tomto vidieť?
Pošlite mi web alebo otázku. Pozriem sa prakticky na to, kde sa stráca viditeľnosť a čo riešiť ako prvé.