LLM-annotering

Definition

LLM-annotering avser märkning av data som är specifikt utformade för träning och utvärdering av stora språkmodeller. Det inkluderar uppgifter som avsiktsigenkänning, entitetstaggning och preferensrankning.

Syfte

Syftet är att skapa högkvalitativa datamängder som anpassar LLM:er till mänskliga förväntningar. Annotering förbättrar prestanda, minskar bias och möjliggör förstärkningsinlärning med mänsklig feedback.

Betydelse

• Ger finkornig övervakning för massiva modeller.
• Förbättrar säkerheten genom att sammanställa datamängder med mänsklig granskning.
• Stöder utvärderingsriktmärken för juridikexamina.
• Ofta kombinerat med preferensannotering för finjustering.

Så fungerar det

1. Definiera annoteringsuppgifter för LLM (t.ex. sammanfattning, dialogavsikt).
2. Samla in olika rådata i texten.
3. Annotatorer märker uppgifter med instruktioner och kategorier.
4. Aggregera resultaten och säkerställ överensstämmelse mellan annotatörerna.
5. Använd märkta data för finjustering eller utvärdering.

Exempel (verkliga världen)

• OpenAI:s RLHF-datauppsättningar: preferensmärkt text för modelljustering.
• Anthropics konstitutionella AI: kommenterade regler för säkrare svar.
• Hugging Face-datauppsättningar: community-kurerade textdatauppsättningar för LLM-uppgifter.

Referenser / Vidare läsning

• Förstärkande lärande med mänsklig feedback — OpenAI.
• Dokumentation av datauppsättningar för kramande ansikten.
• Bender & Friedman. ”Datautlåtanden för NLP.” ACL 2018.
• LLM-annotering