Hallucination

Definition

Inom AI hänvisar hallucinationer till fall där en modell genererar utdata som är flytande men sakligt felaktiga eller meningslösa. Det är särskilt vanligt i stora språkmodeller och generativ AI.

Syfte

Att studera hallucinationer hjälper till att förbättra modellernas tillförlitlighet och säkerhet. Det gör det möjligt för utvecklare att utforma skyddsåtgärder för att upptäcka och minska felaktiga utdata.

Betydelse

• Minskar förtroendet för AI om det inte åtgärdas.
• Kan orsaka skada i känsliga tillämpningar som sjukvård eller juridik.
• Belyser begränsningar hos nuvarande generativa modeller.
• Driver forskning inom faktabaserade och återvinningsmetoder.

Så fungerar det

1. Modellen får en prompt eller fråga.
2. Genererar utdata baserat på inlärda mönster, inte faktaverifiering.
3. Kan ge trovärdiga men felaktiga resultat.
4. Detektions- och korrigeringstekniker tillämpas (t.ex. RAG).

Exempel (verkliga världen)

• ChatGPT visar ibland felaktig information när de uppmanas att göra det.
• Google Bards första demo visade faktiska fel.
• AI-genererade medicinska råd innehåller ibland felaktigheter.

Referenser / Vidare läsning

• ”Minska hallucinationer i stora språkmodeller” — arXiv-förtryck.
• NIST AI-riskhanteringsramverk.
• Mitchell et al. ”Modellkort för modellrapportering.” ACM FAccT.
• Orsaker till AI-hallucinationer