Stor språkmodell (LLM)

Definition

En stor språkmodell (LLM) är ett neuralt nätverk som tränas på stora textkorpusar för att förstå och generera mänskligt språk. LLM:er använder miljarder parametrar för att fånga språkliga mönster.

Syfte

Syftet är att möjliggöra avancerade NLP-uppgifter som textgenerering, sammanfattningar och översättning. Juridiska verktyg (LLM) används i chattrobotar, sök- och produktivitetsverktyg.

Betydelse

• Driver modern konversations-AI.
• Risk för partiskhet, felinformation och hallucinationer.
• Höga beräknings- och miljökostnader.
• Kräver noggrann anpassning och styrning.

Så fungerar det

1. Samla in storskaliga textdatamängder.
2. Tokenisera text till numeriska representationer.
3. Tågtransformatormodeller med miljarder parametrar.
4. Lär dig att förutsäga nästa token i kontext.
5. Finjustera eller anpassa till uppgifter efterföljande.

Exempel (verkliga världen)

• GPT-4 (OpenAI): används i ChatGPT.
• PaLM (Google): storskalig juridikutbildning för forskning och produkter.
• LLaMA (Meta): öppen forskningsfokuserad LLM.

Referenser / Vidare läsning

• Vaswani et al. ”Uppmärksamhet är allt du behöver.” NeurIPS 2017.
• OpenAI GPT-4 systemkort.
• Stanford CRFM. “Grundmodeller.”
• Allt du behöver veta om LLM