The Human Touch: Utvärdering av LLMs verkliga effektivitet

Beskrivning

När utvecklingen av stora språkmodeller (LLM) accelererar, är det viktigt att utvärdera deras praktiska tillämpning inom olika områden på ett heltäckande sätt. Den här artikeln fördjupar sig i sju nyckelområden där LLM, som BLOOM, har testats noggrant och utnyttjar mänskliga insikter för att mäta deras verkliga potential och begränsningar.

Human Insights on AI #1: Toxic Speech Detection

Att upprätthålla en respektfull onlinemiljö kräver effektiv giftig taldetektion. Mänskliga utvärderingar har visat att även om LLMs ibland kan peka ut uppenbara giftiga kommentarer, missar de ofta märket på subtila eller kontextspecifika kommentarer, vilket leder till felaktigheter. Detta understryker behovet för LLM:er att utveckla en mer förfinad förståelse och kontextuell känslighet för att effektivt hantera online-diskurs.

Exempel på Human Insights on AI #1: Toxic Speech Detection

Scenario: Ett onlineforum använder en LLM för att moderera kommentarer. En användare skriver "Jag hoppas att du är nöjd med dig själv nu", i en diskussion. Sammanhanget är en het debatt om miljöpolitik, där denna kommentar riktades mot någon som just presenterade en kontroversiell synpunkt.

LLM-utvärdering: LLM kanske misslyckas med att upptäcka den underliggande passiva-aggressiva tonen i kommentaren som giftig, med tanke på dess ytligt neutrala formulering.

Mänsklig insikt: En mänsklig moderator förstår kommentarens kontextuella negativitet och känner igen den som en subtil form av toxicitet som syftar till att undergräva den andra personens hållning. Detta illustrerar behovet av nyanserad förståelse i LLMs för effektiv moderering.

Human Insights on AI #2: Artistic Creation

LLM har fått uppmärksamhet för sin förmåga att skapa kreativa texter som berättelser och dikter. Men när de bedöms av människor är det uppenbart att även om dessa modeller kan väva samman sammanhängande berättelser, kommer de ofta till korta i kreativitet och känslomässigt djup, vilket understryker utmaningen att utrusta AI med en verkligt mänsklig kreativ gnista.

Exempel på mänskliga insikter om AI #2: Konstnärligt skapande

Scenario: En författare ber en LLM om en novellidé som involverar en tidsresande detektiv.

LLM-utgång: LLM föreslår en intrig där detektiven reser tillbaka för att förhindra en historisk orättvisa men till slut orsakar en stor historisk händelse.

Mänsklig insikt: Medan handlingen är sammanhängande och kreativ till en viss grad, konstaterar en mänsklig recensent att den saknar originalitet och djup i karaktärsutveckling, vilket lyfter fram klyftan mellan AI-genererade koncept och det nyanserade berättandet som finns i mänskliga författade verk.

Human Insights on AI #3: Answering Questions

Förmåga att svara på frågor är grundläggande för utbildningsresurser och tillämpningar för att hämta kunskap. LLM:er har visat löfte om att svara korrekt på enkla frågor. Men de kämpar med komplexa förfrågningar eller när en djupare förståelse är nödvändig, vilket belyser det kritiska behovet av pågående lärande och modellförfining.

Exempel på mänskliga insikter om AI #3: Svara på frågor

Scenario: En elev frågar, "Varför började den industriella revolutionen i Storbritannien?"

LLM svar: "Den industriella revolutionen började i Storbritannien på grund av dess tillgång till naturresurser, som kol och järn, och dess expanderande imperium som gav marknader för varor."

Mänsklig insikt: Även om det är korrekt, missar LLM:s svar djupare insikter i de komplexa sociopolitiska faktorer och innovationer som spelade avgörande roller, vilket visar behovet av LLM:er att införliva en mer omfattande förståelse i sina svar.

Human Insights on AI #4: Marketing Creativity

Inom marknadsföring är förmågan att skapa engagerande kopior ovärderlig. LLMs har visat potential för att skapa grundläggande marknadsföringsinnehåll. Men deras skapelser saknar ofta innovation och känslomässig resonans som är avgörande för verkligt övertygande marknadsföring, vilket tyder på att även om LLM:er kan bidra med idéer, förblir mänsklig uppfinningsrikedom oöverträffad.

Exempel på mänskliga insikter om AI #4: Marketing Creativity

Scenario: En startup ber en LLM att skapa en tagline för sin nya miljövänliga förpackningslösning.

LLM-förslag: "Packa det grönt, håll det rent."

Mänsklig insikt: Även om sloganen är catchy, föreslår en marknadsföringsexpert att den misslyckas med att förmedla den innovativa aspekten av produkten eller dess specifika fördelar, och påpekar nödvändigheten av mänsklig kreativitet för att skapa budskap som resonerar på flera nivåer.

Human Insights on AI #5: Recognizing Named Entities

Förmågan att identifiera namngivna enheter i text är avgörande för dataorganisation och analys. LLM:er är skickliga på att upptäcka sådana enheter, visa upp deras användbarhet i databearbetning och kunskapsutvinning, och därigenom stödja forsknings- och informationshanteringsuppgifter.

Exempel på mänskliga insikter om AI #5: Recognizing Named Entities

Scenario: En text nämner, "Elon Musks senaste satsning på rymdturism."

LLM-detektion: Identifierar "Elon Musk" som en person och "rymdturism" som ett begrepp.

Mänsklig insikt: En mänsklig läsare kan också inse de potentiella konsekvenserna för rymdindustrin och den bredare inverkan på kommersiella resor, vilket tyder på att även om LLM:er kan identifiera enheter, kanske de inte förstår deras betydelse fullt ut.

Human Insights on AI #6: Coding Assistance

Efterfrågan på kodnings- och mjukvaruutvecklingsstöd har lett till att LLM:er har utforskats som programmeringsassistenter. Mänskliga bedömningar indikerar att LLM:er kan producera syntaktisk korrekt kod för grundläggande uppgifter. De står dock inför utmaningar med mer invecklade programmeringsproblem, vilket avslöjar områden för förbättringar inom AI-drivet utvecklingsstöd.

Exempel på mänskliga insikter om AI #6: Kodningshjälp

Scenario: En utvecklare frågar efter en funktion för att filtrera en lista med tal så att den bara inkluderar primtal.

LLM-utgång: Tillhandahåller en Python-funktion som kontrollerar primalitet genom provdelning.

Mänsklig insikt: En rutinerad programmerare noterar att funktionen saknar effektivitet för stora ingångar och föreslår optimeringar eller alternativa algoritmer, vilket indikerar områden där LLM:er kanske inte erbjuder de bästa lösningarna utan mänsklig inblandning.

Human Insights on AI #7: Mathematical Reasoning

Matematik är en unik utmaning med sina strikta regler och logiska stringens. LLM:er kan lösa enkla aritmetiska problem men kämpar med komplexa matematiska resonemang. Denna diskrepans belyser skillnaden mellan beräkningskapacitet och den djupa förståelse som krävs för avancerad matematik.

Exempel på mänskliga insikter om AI #7: Mathematical Reasoning

Scenario: En elev frågar: "Vad är summan av alla vinklar i en triangel?"

LLM-utgång: "Summan av alla vinklar i en triangel är 180 grader."

Mänsklig insikt: Även om LLM ger ett korrekt och direkt svar, kan en lärare använda denna möjlighet att förklara varför detta är fallet genom att illustrera konceptet med en ritning eller en aktivitet. De skulle till exempel kunna visa hur om du tar vinklarna i en triangel och placerar dem sida vid sida så bildar de en rät linje, som är 180 grader. Detta praktiska tillvägagångssätt besvarar inte bara frågan utan fördjupar också elevens förståelse och engagemang i materialet, vilket lyfter fram det pedagogiska värdet av kontextualiserade och interaktiva förklaringar.

[Läs även: Stora språkmodeller (LLM): En komplett guide]

Slutsats: Resan framåt

Att utvärdera LLM genom en mänsklig lins över dessa domäner målar upp en mångfacetterad bild: LLM:er går framåt i språklig förståelse och generation men saknar ofta djup när djupare förståelse, kreativitet eller specialiserad kunskap krävs. Dessa insikter betonar behovet av pågående forskning, utveckling och viktigast av allt, mänskligt engagemang i att förfina AI. När vi navigerar i AI:s potential kommer det att vara avgörande att omfamna dess styrkor samtidigt som vi erkänner dess svagheter för att uppnå genombrott inom teknisk AI-forskare, teknikentusiaster, innehållsmoderatorer, marknadsförare, utbildare, programmerare och matematiker.

End-to-end-lösningar för din LLM-utveckling (datagenerering, experiment, utvärdering, övervakning) – Begär en demo