Fallstudie: Automatisk taligenkänning
Över 8k ljudtimmar insamlat, 800 timmar transkriberat för flerspråkig röstteknik
Beskrivning
Indien behövde en plattform som koncentrerade sig på att skapa flerspråkiga datamängder och AI-baserade språkteknologilösningar för att kunna tillhandahålla digitala tjänster på indiska språk. För att lansera detta initiativ samarbetade kunden med Shaip för att samla in och transkribera indiska språk för att bygga flerspråkiga talmodeller.
Volym
Utmaningar
För att hjälpa klienten med deras talteknikplan för indiska språk behövde teamet samla in, segmentera och transkribera stora mängder träningsdata för att bygga en AI-modell. Klientens kritiska krav var:
Datainsamling
- Skaffa 8000 timmars träningsdata från avlägsna platser i Indien
- Leverantören för att samla Spontant tal från Åldersgrupper på 20-70 år
- Säkerställ en mångsidig blandning av talare efter ålder, kön, utbildning och dialekter
- Varje ljudinspelning ska vara minst 16kHz med 16 bitar/sampling.
Datatranskription
Följ detaljerade transkriptionsriktlinjer kring tecken och specialsymboler, stavning och grammatik, versaler, förkortningar, sammandragningar, individuella talade bokstäver, siffror, interpunktion, akronymer och initialer, oflytande tal, obegripligt tal, icke-målspråk, icke-tal
Kvalitetskontroll och feedback
Alla inspelningar ska genomgå kvalitetsbedömning och validering, endast validerade talinspelningar som ska levereras
Lösning
Med vår djupa förståelse för konversations-AI hjälpte vi kunden att samla in, transkribera ljuddata med ett team av expertsamlare, lingvister och annotatorer för att bygga en stor korpus av ljuddata från avlägsna delar av Indien.
Arbetet för Shaip inkluderade men var inte begränsat till att skaffa stora volymer ljudträningsdata, transkribera data och leverera motsvarande JSON-filer som innehåller metadata [för både talare och transkriberare. För varje talare innehåller metadata ett anonymiserat högtalar-ID, enhetsdetaljer, demografisk information som kön, ålder och utbildning, tillsammans med deras pinkod, socioekonomiska status, talade språk och en registrering av deras livslängd. För varje transkriberare innehåller uppgifterna ett anonymiserat transcriber-ID, demografiska detaljer som liknar högtalarnas, deras transkriptionsupplevelse och en grundlig uppdelning av språk de kan läsa, skriva och tala.
Shaip samlade in 8000 timmar ljuddata / spontant tal i stor skala och transkriberade 800 timmar samtidigt som de önskade kvalitetsnivåerna som krävs för att träna talteknik för komplexa projekt bibehölls. Ett uttryckligt samtyckesformulär togs från var och en av deltagarna. Det insamlade spontana talet / baserades på bilder från universitetet. Av 3500 bilder är 1000 generiska och 2500 relaterar till distriktsspecifik kultur, festivaler etc. Bilderna avbildar olika domäner som tågstationer, marknader, väder med mera.
Datainsamling
| Ange | distrikt | Audio Hrs | Transkription (timmar) |
|---|---|---|---|
| Bihar | Saran, East Champaran, Gopalganj, Sitamarhi, Samastipur, Darbhanga, Madhepura, Bhagalpur, Gaya, Kishanganj, Vaishali, Lakhisarai, Saharsa, Supaul, Araria, Begusarai, Jahanabad, Purnia, Muzaffarpur, Jamui | 2000 | 200 |
| Uttar Pradesh | Deoria, Varanasi, Gorakhpur, Ghazipur, Muzaffarnagar, Etah, Hamirpur, Jyotiba Phule Nagar, Budaun, Jalaun | 1000 | 100 |
| Rajasthan | Nagaur, Churu | 200 | 20 |
| Uttarakhand | Tehri Garhwal, Uttarkashi | 200 | 20 |
| Chhattisgarh | Bilaspur, Raigarh, Kabirdham, Sarguja, Korba, Jashpur, Rajnandgaon, Balrampur, Bastar, Sukma | 1000 | 100 |
| West Bengal | Paschim Medinipur, Malda, Jalpaiguri, Purulia, Kolkata, Jhargram, North 24 Parganas, Dakshin Dinajpur | 800 | 80 |
| Jharkhand | Sahebganj, Jamtara | 200 | 20 |
| Andhra Pradesh | Guntur, Chittoor, Visakhapatnam, Krishna, Anantapur, Srikakulam | 600 | 60 |
| Telangana | Karimnagar, Nalgonda | 200 | 20 |
| Goa | Norra och södra Goa | 100 | 10 |
| karnatakaen | Dakshin Kannada, Gulbarga, Dharwad, Bellary, Mysore, Shimoga, Bijapur, Belgaum, Raichur, Chamrajnagar | 1000 | 100 |
| Maharashtra | Sindhudurg, Dhule, Nagpur, Pune, Aurangabad, Chandrapur, Solapur | 700 | 70 |
| Totalt | 8000 | 800 | |
Generella riktlinjer
Format
- Ljud vid 16 kHz, 16 bitar/sampling.
- Enkel kanal.
- Råljud utan omkodning.
Stil
- Spontant tal.
- Meningar baserade på bilder från universitetet. Av 3500 1000 bilder är 2500 XNUMX generiska och XNUMX XNUMX relaterar till distriktsspecifik kultur, festivaler, etc. Bilder visar olika domäner som tågstationer, marknader, väder och mer.
Inspelningsbakgrund
- Inspelad i en tyst, ekofri miljö.
- Inga smartphonestörningar (vibrationer eller aviseringar) under inspelning.
- Inga förvrängningar som klippning eller avlägsna fälteffekter.
- Vibrationer från telefonen oacceptabla; externa vibrationer tolereras om ljudet är klart.
Högtalarspecifikation
- Åldersintervall från 20-70 år med balanserad könsfördelning per distrikt.
- Minst 400 modersmålstalare i varje distrikt.
- Talare ska använda sitt hemspråk/dialekt.
- Samtyckesformulär är obligatoriskt för alla deltagare.
Kvalitetskontroll & Kritisk kvalitetssäkring
QA-processen prioriterar kvalitetssäkring för ljudinspelningar och transkriptioner. Ljudstandarder fokuserar på exakta tystnader, segmentets längd, klarhet med en högtalare och detaljerad metadata inklusive ålder och socioekonomisk status. Transkriptionskriterier betonar taggnoggrannhet, ordverifiering och korrekta segmentdetaljer. Godkännanderiktmärket dikterar att om mer än 20 % av en ljudbatch inte uppfyller dessa standarder, avvisas den. För mindre än 20 % avvikelser krävs ersättningsinspelningar med liknande profiler.
Datatranskription
Transkriptionsriktlinjer betonar noggrannhet och ordagrant transkription endast när orden är tydliga och begripliga; otydliga ord markeras som [oförståeliga] eller [ohörbara] baserat på problemet. Meningsgränser i långt ljud är markerade med , och ingen parafrasering eller korrigering av grammatiska fel är tillåten. Ordagrant transkription täcker fel, slang och upprepningar men utelämnar falska starter, utfyllnadsljud och stamningar. Bakgrunds- och förgrundsljud transkriberas med beskrivande taggar, medan egennamn, titlar och nummer följer specifika transkriptionsregler. Högtalaretiketter används för varje mening, och ofullständiga meningar indikeras med.
Projektets arbetsflöde
Arbetsflödet beskriver ljudtranskriptionsprocessen. Det börjar med onboarding och utbildning av deltagare. De spelar in ljud med hjälp av en app, som laddas upp till en QA-plattform. Detta ljud genomgår kvalitetskontroller och automatisk segmentering. Det tekniska teamet förbereder sedan segment för transkription. Efter manuell transkription finns det ett kvalitetssäkringssteg. Transkriptioner levereras till kunden och om de accepteras anses leveransen vara komplett. Om inte, görs ändringar baserat på kundfeedback.
Resultat
Ljuddata av hög kvalitet från expertlingvister kommer att göra det möjligt för vår klient att noggrant träna och bygga flerspråkiga taligenkänningsmodeller på olika indiska språk med olika dialekter inom den angivna tiden. Taligenkänningsmodellerna kan användas för att:
- Övervinna språkbarriären för digital integration genom att koppla medborgarna till initiativen på deras eget modersmål.
- Främjar digital styrning
- Katalysator för att bilda ett ekosystem för tjänster och produkter på indiska språk
- Mer lokaliserat digitalt innehåll inom områden av allmänt intresse, särskilt styrning och policy
Vi är imponerade av Shaips expertis inom konversationsbaserad AI. Uppgiften att hantera 8000 timmar ljuddata tillsammans med 800 timmar transkription över 80 olika distrikt var minst sagt monumental. Det var Shaips djupa förståelse för de invecklade detaljerna och nyanserna inom detta område som gjorde det framgångsrika genomförandet av ett så utmanande projekt möjligt. Deras förmåga att sömlöst hantera och navigera genom komplexiteten i denna enorma mängd data samtidigt som de säkerställer högsta kvalitet är verkligen berömvärt.
