Förbättra förståelsen av sökfrågor med mänsklig annotering
Utnyttjar mänskligt omdöme och strukturerad taxonomi för att konsekvent hantera tvetydiga edge-fall och förbättra sökrelevansen för ett ledande Polen-baserat e-handelskonglomerat.
Projektöversikt
Kunden, en ledande e-handelsleverantör med bas i Polen, får miljontals sökfrågor dagligen. Många av dessa frågor är tvetydig, inkludera felstavningar, eller hänvisa till flera produktkategorier, vilket skapar utmaningar för automatiserade sökmotorer.
För att förbättrasöknoggrannhet och kundupplevelse, Shaip utvecklade ett strukturerat annoteringsramverk inspirerat av Baymards studie. Frågorna klassificerades systematiskt i 11 kategorier (t.ex. produktkategori, tema, specifikt attribut, exakt, handlare, symptom, icke-produkt, etc.) med prioritetsregler för att säkerställa en enhetlig kategorisering.
Nyckelstatistik
50 000+ kommenterade frågor
över flera kategorier
11 annoteringsklasser
med tydliga definitioner och prioritetsregler
3-stegs arbetsflöde
Annotering ➔ QA ➔ Skiljeförfarande för små och medelstora företag
Projektets omfattning
Projektet fokuserade på att bygga en omfattande taxonomi för att fånga hela spektrumet av användarnas sökbeteende på en storskalig marknadsplatsplattform. Omfattningen inkluderade:
- Utveckla en taxonomi med 11 kategorier med tydliga definitioner och en prioritetshierarki för att hantera fall där frågor kan passa in i mer än en klass.
- Annotering av tusentals verkliga frågor över både produkt- och icke-produktdomäner för att träna och kalibrera klassificeringssystemet.
- Lösa tvetydiga frågor genom att eskalera till ämnesexperter (SME) och säkerställa enhetlighet i hur edge-ärenden hanterades.
- Ge kommenterade exempel och motiveringar för QA-kalibrering, vilket skapar en träningsuppsättning som framtida annotatörer kan förlita sig på som referens.
Exempel på anteckningar ingår:
- De dietrich ELENSIO ➔ Exakt
- E 91 ➔ Svårt att säga
- tezfiles ➔ Handlare
- Subaru BRZ Toyota GT86 ➔ Icke-produkt
- okulary BHP ➔ Produktkategori
- stawu skokowego ➔ Symtom
Utmaningar
Projektet var tvunget att övervinna flera problem med datakomplexitet som är typiska i e-handelssökmiljöer:
Tvetydighet
Frågor som ”E 91” kan motsvara vitt skilda produkter (en bilmodell, en säkringshållare, ett avtryck på en kapsel), vilket gör tolkningen mycket osäker.
Stavfel och varianter
Felstavningar eller förkortningar, som ”lampa uf zestaw”, krävde kontextuell mänsklig tolkning för att förstås som ”lampa UV zestaw”.
Överlappande kategorier
Frågor matchade ofta flera klasser (t.ex. Exakt vs. Kompatibelt vs. Specifikt attribut), vilket krävde prioritetsregler för att säkerställa konsekvens.
Ogiltiga ingångar
Seriekoder eller identifierare utan någon produktmatchning behövde märkas som "Ogiltig fras" istället för att klassificeras felaktigt.
Skalbarhet
Konsekvent tillämpning av nyanserade klassificeringsregler över hela tiotusentals frågor krävde stark kvalitetssäkring och styrning av annoteringar.
Lösning
För att hantera dessa utmaningar, en strukturerat annoteringsramverk introducerades, vilket balanserade automatisering med mänsklig tillsyn:
Riktlinjer för anteckningar
Detaljerade definitioner, exempel och instruktioner skapades för att hjälpa annotatörer att klassificera konsekvent, även i komplexa scenarier.
Företrädesregler
En hierarki upprättades (t.ex. Kompatibel > Exakt > Specifikt attribut) så att överlappande fall löstes systematiskt.
Flernivås kvalitetssäkringsprocess
- Inledande annotering av utbildade annotatörer.
- Sekundär granskning av kvalitetssäkringsspecialister.
- Eskalering till små och medelstora företag för skiljeförfarande i marginalfall eller meningsskiljaktigheter
Praktisk tillämpning av riktlinjer med verkliga frågor
- 4008146044786 ➔ Ogiltig fras
- miraculum królika ➔ Tematiskt attribut
- zcd galaktisk grå ➔ Kompatibel
- owczarek belgijski ➔ tema
Detta säkerställde anpassning, kvalitet och tillförlitlighet över annoteringspipelinen.
Resultat
Initiativet gav mätbara förbättringar av kundens söksystem:
- 50 000+ sökfrågor klassificerade med hög precision, vilket skapar en robust träningsdatauppsättning för sökförbättringar.
- Förbättrad relevans av sökresultaten, vilket direkt ökar användarnöjdheten och minskar frustrationen från irrelevanta matchningar.
- Minskad tvetydighet genom att systematiskt lösa edge-fall genom små och medelstora företagsdrivna skiljeförfaranden och företrädesregler.
- Förbättrad produktupptäckbarhet, vilket säkerställde att användare kunde hitta objekt mer exakt över olika kategorier, attribut och teman.
Sammantaget lade projektet grunden för en en mer intelligent och användarfokuserad sökupplevelse, vilket hjälper kunden att behålla sin konkurrensfördel på e-handelsmarknaden.
Arbetsflödet för mänskliga annoteringar gjorde komplexa sökfrågor tydligare. Den strukturerade taxonomin och prioritetsreglerna förbättrade vår sökmotors noggrannhet avsevärt och gjorde användarupplevelsen mer sömlös.
– Chef för sökning och upptäckt, Polenbaserat e-handelskonglomerat
