Framgången för alla AI-modeller beror på kvaliteten på data som matas in i systemet. ML-system körs på stora mängder data, men de kan inte förväntas fungera med vilken data som helst. Det måste vara högkvalitativ AI-träningsdata. Om utdata från AI-modellen behöver vara äkta och korrekt, bör data för utbildning av systemet vara av hög standard.
Datan som AI- och ML-modellerna tränas på bör vara av högsta kvalitet för att verksamheten ska kunna dra meningsfulla och relevanta insikter från den. Ändå är det en utmaning för företag att skaffa enorma volymer heterogen data.
Företag bör förlita sig på leverantörer som Shaip, som implementerar strikta åtgärder för datakvalitetshantering i sina processer för att möta denna utmaning. Dessutom, på Shaip, åtar vi oss också den kontinuerliga transformationen av våra system för att möta de växande utmaningarna.
Introduktion till Shaips datakvalitetshantering
På Shaip förstår vi betydelsen av tillförlitlig träningsdata och dess roll i utvecklingen av ML-modeller och resultatet av AI-baserade lösningar. Förutom att screena våra medarbetare för kompetens, är vi lika fokuserade på att utveckla deras kunskapsbas och personliga utveckling.
Vi följer strikta riktlinjer och standardförfaranden som implementeras på alla nivåer av processen så att vår utbildningsdata uppfyller kvalitetsriktmärket.
Quality Management
Vårt arbetsflöde för kvalitetshantering har varit avgörande för att leverera maskininlärning och AI-modeller. Med feedback-in-loop är vår kvalitetsledningsmodell en vetenskapligt beprövad metod som har varit avgörande för att framgångsrikt leverera flera projekt för våra kunder. Vårt processflöde för kvalitetsrevision fortsätter på följande sätt.
- Granskning av kontraktet
- Skapa en revisionschecklista
- Dokumentförsörjning
- Sourcing 2-lagers revision
- Moderering av anteckningstext
- Anteckning 2-lagers revision
- Leverans av arbete
- Kundernas feedback
Crowdsource Worker Selection och Onboarding
Vår rigorösa urvals- och introduktionsprocess skiljer oss från resten av konkurrenterna. Vi genomför en exakt urvalsprocess för att bara ta med de mest skickliga annotatorerna baserat på kvalitetschecklistan. Vi överväger:
- Tidigare erfarenhet som textmoderator för att säkerställa att deras kompetens och erfarenhet matchar våra krav.
- Prestanda i tidigare projekt för att säkerställa att deras produktivitet, kvalitet och resultat var i nivå med projektets behov.
- Omfattande domänkunskap är en förutsättning för att välja en viss arbetare för en specifik vertikal.
Vår urvalsprocess slutar inte här. Vi utsätter arbetarna för ett anteckningstest för att verifiera deras kvalifikationer och prestationer. Baserat på resultatet i rättegången, analys av oenighet och frågor och svar kommer de att väljas ut.
När arbetarna väl är utvalda kommer de att genomgå en grundlig utbildningssession med Project SOW, riktlinjer, provtagningsmetoder, handledningar och mer beroende på projektets behov.
Checklista för datainsamling
Dubbelskiktiga kvalitetskontroller införs för att endast säkerställa utbildningsdata av hög kvalitet skickas vidare till nästa lag.
Nivå 1: Kvalitetssäkringskontroll
Shaips QA-team gör kvalitetskontrollen på nivå 1 för datainsamling. De kontrollerar alla dokument och de valideras snabbt mot de nödvändiga parametrarna.
Nivå 2: Kritisk kvalitetsanalyskontroll
CQA-teamet som består av legitimerade, erfarna och kvalificerade resurser kommer att utvärdera de återstående 20 % av de retrospektiva proverna.
Några av kvalitetschecklistan för datakälla inkluderar,
- Är URL-källan äkta och tillåter den webbskrapning av data?
- Finns det mångfald i de listade webbadresserna så att partiskhet kan undvikas?
- Är innehållet validerat för relevans?
- Innehåller innehållet modereringskategorier?
- Täcks prioriterade domäner?
- Är dokumenttypen hämtad med tanke på distribution av dokumenttyp?
- Innehåller varje modereringsklass minsta volymplatta?
- Följs feedback-in-loop-processen?
Checklista för datakommentarer
I likhet med datainsamlingen har vi också två lager av kvalitetschecklista för datakommentarer.
Nivå 1: Kvalitetssäkringskontroll
Denna process säkerställer att 100 % av dokumenten är korrekt validerade mot de kvalitetsparametrar som satts av teamet och kunden.
Nivå 2: Kritisk kvalitetsanalyskontroll
Denna process säkerställer att 15 till 20 % av de retrospektiva proverna också valideras och kvalitetssäkras. Detta steg genomförs av det kvalificerade och erfarna CQA-teamet med minst 10 års erfarenhet av kvalitetsledning och Black Belt-hållare.
CQA-teamet säkerställer,- Konsekvens i textmoderering av användare
- Kontrollera om rätt fraser och modereringsklasser används för varje dokument
- Kontrollerar metadata
Vi ger också daglig feedback baserat på Paretoanalys för att säkerställa att deras prestanda är i nivå med kundens krav.
Vi lägger in ytterligare ett lager av prestandaanalys för att fokusera på annotatorer med sämst prestanda som använder Bottom Quartile Management. Innan den slutliga leveransen ser vi också till att provets hygienkontroller genomförs.
Parametertröskel
Beroende på projektets riktlinjer och kundens krav har vi en parametertröskel på 90 till 95 %. Vårt team är utrustat och erfarna att utföra någon av följande metoder för att säkerställa högre kvalitetsledningsstandarder.
- F1 Score eller F Measure – för att bedöma prestandan hos två klassificerare – 2* ((Precision * Recall)/ (Precision + Recall))
- DPO eller Defects per Opportunity-metoden beräknas som ett förhållande mellan defekter dividerat med möjligheterna.
Exempel på revisionschecklista
Shaips provrevisionschecklista är ett komplett anpassningsförfarande som kan skräddarsys för att möta projektets och kundens krav. Den kan modifieras baserat på feedback från kunden och slutföras efter en noggrann diskussion.
- Språkkontroll
- URL och domänkontroll
- Mångfaldskontroll
- Volym per språk- och modereringsklass
- Riktade sökord
- Dokumenttyp och relevans
- Kontroll av giftig fras
- Metadatakontroll
- Konsistenskontroll
- Anteckningsklasskontroll
- Alla andra obligatoriska kontroller enligt kundens önskemål
CQA-teamet säkerställer,Vi vidtar stränga åtgärder för att upprätthålla datakvalitetsstandarder eftersom vi förstår att alla AI-baserade modeller är datadrivna. Och att ha utbildningsdata av hög kvalitet är ett krav för alla AI- och maskininlärningsmodeller. Vi förstår det kritiska med kvalitetsträningsdata och dess betydelse för prestanda och framgång för dina AI-modeller.