Järnvägs multimodal LiDAR och 2D-annotering
Hur Shaip levererade ett av de mest annoteringstypsmässiga projekten inom järnvägens AI-domän – genom att kombinera 2D-kamerabilder och 3D LiDAR-punktmoln över fler än 39 objektklasser och 8 distinkta etiketttyper för att driva autonoma tåguppfattningar och järnvägssäkerhetssystem.
Projektöversikt
I takt med att autonom tågperception går mot produktionsdrift behövde kunden en storskalig, multimodal annoteringspipeline som kunde märka hela järnvägsmiljön över både 2D-kamerabilder och 3D LiDAR-punktmolnsdata med konsekvent spatial noggrannhet.
Shaip byggde den heltäckande multimodala annoteringspipelinen som täcker 8 distinkta etikettyper, 39+ objektklasser och 25+ signaltillståndsklassificeringar över H/V- och K-signalsystemen – och levererar korsvaliderade, modellklara datamängder för järnvägsautonomi och säkerhets-AI.
Nyckelstatus
Objektklasser
39+
Annotationstyper
8
Signaltillstånd
25+
modaliteter
2D + 3D
Utmaningar
- Arbetsmiljö 2D + 3D multimodal anteckning med korsvaliderad rumslig konsistens
- Anteckningar 39+ objektklasser omfattar människor, fordon, infrastruktur, djur och säkerhetsobjekt
- Verksam över hela 8 annoteringstyper — 2D/3D-avgränsningsramar, kubformade linjer, polylinjer, polygoner
- Klassificering 25+ distinkta signaltillstånd över de tyska signalsystemen H/V och Ks
- Tillämpa logik för tröskelvärden för publik och kontinuerlig spåranteckning under vagnobjekt
Lösning
Multimodal annoteringspipeline
Shaip konfigurerade en parallell 2D-kamera och 3D-LiDAR-annoteringspipeline med korsvalidering mellan modaliteter. Annotatörerna arbetade samtidigt med båda datakällorna för att säkerställa spatial konsistens, med ocklusionstillstånd bedömda enbart från punktmolnsdata snarare än 2D-bilder.
39+ Klass Ontologi
Annoteringsontologin omfattade personer (med åldersgrupp, mobilitetshjälpmedel, funktionell roll, kroppsställning, bärföremål och distraktionsattribut), fordon (cyklar, motorcyklar, vägfordon per underkategori), 18 djurarter och järnvägsinfrastruktur inklusive spår, växlar, kontaktledningsstolpar, signaler, buffertstopp, signalbroar, släpskor och reflekterande testobjekt.
Klassificering av signaltillstånd
Signalerna annoterades med detaljerad aspektklassificering över H/V- och K-signalsystem, som täckte över 25 distinkta signaltillstånd. Annotatörerna identifierade exakta signalaspekter från både fram- och bakifrånvyer, och skilde mellan ljus- och formsignaler över flera tyska järnvägssignalsystem.
Tröskelvärde för publik och grupplogik
Folkmassaannoteringar krävde ett minsta tröskelvärde på 6 överlappande personer innan man bytte från individuell till gruppannotering. Grupper av cyklar och grupper av djur följde samma tröskellogik med konsekventa pose- och artregler inom grupperna. Detta säkerställde att scener med hög densitet märktes med operativ effektivitet utan att offra detaljer.
Kontinuerlig spårannotering
Spåren annoterades kontinuerligt även under tåg- eller vagnsobjekt, med spårväxelområden och buffertstopp exakt kartlagda. Detta kontinuitetslager är avgörande för planering av spårväg nedströms och modeller för hinderdetektering.
Projektets omfattning
| Dataset typ | modaliteter | Klasser | Etiketttyper | Signaltillstånd | System |
|---|---|---|---|---|---|
| Uppfattning om järnvägsmiljön | 2D + 3D LiDAR | 39+ | 8 (rutor, kubformade rutor, polylinjer, polygoner) | 25+ | H/V, Ks |
Utkomster
- Etablerade en multimodal 2D + 3D LiDAR-annoteringspipeline för autonom tåguppfattning
- standardiserad 39+ objektklassontologi som omfattar människor, fordon, djur och järnvägsinfrastruktur
- Levererat 25+ signaltillståndsklassificeringar över tyska H/V- och Ks-signalsystem
- Genomförda logik för tröskelvärden för publik och kontinuerlig spåranteckning under vagnar
- Aktiverade klientens autonom tåg-, säkerhets- och hinderdetektering AI färdplan
Sammantaget hjälpte Shaip till att omvandla ett krav på multimodal järnvägsuppfattning till en strukturerad, produktionsklar annoteringspipeline – en som kan stödja autonom tågdrift, järnvägssäkerhets-AI och signaligenkänningssystem med korsvaliderad 2D-3D-spatial konsistens i stor skala.
Shaip hanterade komplexitet i annoteringar som de flesta leverantörer inte berör. 39+ klasser, 8 etikettyper, 25+ signaltillstånd, 2D- + 3D-korsvalidering – och de levererade det som en enda koordinerad pipeline. Våra modeller för järnvägsuppfattning tränades snabbare som ett resultat.
