Finjustering

Definition

Finjustering är processen att anpassa en förtränad maskininlärningsmodell till en ny uppgift med hjälp av ytterligare träning på mindre, domänspecifika datamängder.

Syfte

Syftet är att återanvända kunskap från stora modeller och förbättra prestandan på specialiserade uppgifter med färre resurser.

Betydelse

• Minskar utbildningskostnader och tid jämfört med att bygga modeller från grunden.
• Förbättrar prestandan för domänspecifika uppgifter.
• Riskerar att överanpassa om träningsdata är för smal.
• Relaterat till överföringslärande.

Så fungerar det

1. Välj en förtränad basmodell.
2. Ersätt eller justera uppgiftsspecifika lager.
3. Träna med märkta data från den nya domänen.
4. Anpassa inlärningstakten för att balansera gammal och ny kunskap.
5. Validera och testa för generalisering.

Exempel (verkliga världen)

• BERT finjusterad för sentimentanalys.
• GPT-modeller finjusterade för kundsupportens chattrobotar.
• Synmodeller finjusterade för klassificering av medicinsk avbildning.

Referenser / Vidare läsning

• Howard & Ruder. “Finjustering av universell språkmodell” (ULMFiT). ACL 2018.
• Dokumentation om Hugging Face Transformers.
• Pan & Yang. "En undersökning om överföringslärande." IEEE TKDE.
• Vad är finjustering för stora språkmodeller? – Shaip