Före träning

Definition

Förträning är den initiala träningen av en maskininlärningsmodell på stora generella datamängder innan finjustering av specifika uppgifter.

Syfte

Syftet är att tillhandahålla modeller med breda representationer som kan överföras till flera uppgifter, vilket minskar data- och beräkningskraven för nedströmsanpassning.

Betydelse

• Grund för moderna juridikexamina och visionsmodeller.
• Förbättrar prestandan inom olika uppgifter.
• Dyrt i termer av data och beräkningar.
• Kräver noggrann dataset-kurering för att undvika bias.

Så fungerar det

1. Samla in massiva allmänna datamängder (text, bilder).
2. Definiera oövervakade eller självövervakade inlärningsuppgifter.
3. Träna modeller för att lära sig allmänna funktioner.
4. Spara färdigtränade vikter för återanvändning.
5. Finjustera mindre, uppgiftsspecifika datamängder.

Exempel (verkliga världen)

• BERT förtränade sig på Wikipedia och BooksCorpus.
• CLIP tränade på bild-text-par.
• GPT-modeller är förtränade på storskalig internettext.

Referenser / Vidare läsning

• Devlin et al. “BERT: Förträning av djupa dubbelriktade transformatorer.” NAACL 2019.
• Radford et al. ”Språkmodeller är fåspråkiga inlärare.” NeurIPS 2020.
• OpenAI GPT-4 teknisk rapport.