Förändra förståelsen av järnvägsscenen med LiDAR och 2D-annotering
Upptäck hur Shaips LiDAR-, kamera- och 2D-dataannoteringstjänster hjälper AI-modeller att upptäcka objekt, förstå järnvägsmiljöer och förbättra uppfattningen av autonom mobilitet.
Projektöversikt
Moderna järnvägsuppfattningssystem kräver mer än generisk objektmärkning. De kräver spårspecifik kontext, noggrann geometri och tillförlitlig sensorövergripande konsistens över LiDAR-punktmoln och synkroniserade kameravyer.
För att möta detta behov anlitades Shaip för ett LiDAR-projekt för järnvägsdataannotering som täckte järnvägsinfrastrukturscener. Projektet omfattade annotering av LiDAR-punktmoln med stöd av fem synkroniserade 2D-referensbilder per scen, med hjälp av en taxonomi med 29 klasser, med obligatoriska och valfria referenser.
attribut för varje klass.
Målet var att skapa en strukturerad, kvalitetskontrollerad datauppsättning som kan träna och validera järnvägsuppfattningsmodeller för objektdetektering, scenförståelse, spårmedvetenhet och tolkning av infrastruktur.
Nyckelstatistik
Sensorinställning
LiDAR-punktmoln
Taxonomi
29 järnvägsspecifika klasser
Kvalitetsmål
≥99 % total annoteringsnoggrannhet
Konsistens mellan sensorer
≥99 % LiDAR – 2D-justering
Utmaningar
- Annotera multimodala järnvägsscener konsekvent över LiDAR- och 2D-bilder
- Hantera en järnvägsspecifik taxonomi med 29 klasser med detaljerade attribut och objektrelationer
- Bibehålla sensorövergripande konsistens mellan 3D- och 2D-annoteringar
- Bevarande av geometrisk precision för linjära strukturer som spår och kablar
- Uppfylla strikta noggrannhetsgränser för klassetiketter, geometri och attribut i en pilotmiljö
Lösning
Shaip utformade ett järnvägsfokuserat annoteringsarbetsflöde skräddarsytt efter projektets tekniska krav.
Datastrategi
Definierade en multimodal annoteringspipeline som täcker LiDAR-punktmolnsdata och fem synkroniserade 2D-referensbilder per LiDAR-bildruta.
Annoteringsramverk
Tillämpade flera annoteringsmetoder baserade på objekttyp och scenstruktur:
- 3D-kuboidannotering för diskreta volymetriska objekt
- 3D-polylinjeannotering för linjära rälsrelaterade strukturer
- 2D-avgränsningsram för objektlokalisering i bilder
- 2D-polygon för oregelbundna objektgränser
- 2D-polylinje för skenor, kablar och markeringar
- 3D-kuboid i 2D-vyer där orientering och djupkontext krävdes
Skenspecifik taxonomidesign
29 fördefinierade klasser, kommenterade och annoterade, omfattar personer, personliga tillhörigheter, fordon, tåg, vagnar, djur, spår, växlar, kontaktledningsstolpar, signalstolpar, signaler, signalbroar, buffertstopp, reflekterande testobjekt och andra enheter på järnvägsplatsen.
Attributrik annotering
Registrerade både obligatoriska och valfria attribut inklusive:
- Ocklusionsnivåer
- Stat och typ
- Anslutning via connectedTo
- Järnvägs- och spåridentifierare
- Objektordning och orientering
- Signalyta, aspekt och strukturella egenskaper
ID och relationsintegritet
Säkerställde att varje annotering hade ett unikt annoterings-ID och varje objekt hade ett unikt objekt-ID i UUID-format, med dubbelriktade connectedTo-relationer på ett sensormedvetet sätt.
Precisionsregler och kvalitetssäkring
Implementerade annoteringsregler inklusive:
- Ocklusionsuppskattning över 2D och 3D
- 2D-märkningströskel för objekt ≥25 px i höjd eller bredd
- 2D-tolerans på ±3 px
- 3D-tolerans på upp till 10 cm
- Rotationsjustering på z-axeln för objektorienterad konsistens
- 3-lagers QA med korrigeringsslingor för utgångar under tröskelvärdet
Projektets omfattning
| Dataset-element | Specifikation |
|---|---|
| Primär modalitet | LiDAR-punktmolnsdata |
| Referensmodalitet | 5 synkroniserade 2D-bilder per LiDAR-bildruta: 3 IR-bilder och 5 RGB-bilder |
| Totalt antal klasser | 29 järnvägsspecifika klasser |
| 3D-annoteringstyper | 3D-kuboid, 3D-polylinje |
| 2D-annoteringstyper | 2D-begränsningsram, 2D-polygon, 2D-polylinje, 3D-kub i 2D-vyer |
| Pilotvolym | 2 sekvenser |
| ID-standard | UUID-baserat annoterings-ID och objekt-ID |
| Noggrannhetsmål | ≥99 % totalt, ≥99 % attribut, ≥99 % övergripande sensorkonsistens |
Exempel på klassomfattning
| Kategori | Exempelklasser | Anteckningstyp |
|---|---|---|
| Människor och rörlighet | person, rullstol, skoter, cykel, folkmassa | 2D BB / 4-punktspolygon / 3D BB |
| Järnvägstillgångar | tåg, tågfront, vagnar, spår, växel, dragsko | konturpolygon / polylinje / 3D BB |
| Signalering och kontaktledning | signal, signalstolpe, signalbrygga, kontaktledningsstolpe | 2D BB / konturpolygon / 3D BB |
| Miljö och diverse | vägfordon, djur, grupp av djur, reflekterande testobjekt, rök, låga | varierade beroende på klass |
Utkomster
- Etablerade ett järnvägsspecifikt multimodalt annoteringsramverk för LiDAR och bilddata
- Definierade en järnvägstaxonomi med 29 klasser och detaljerad attributhantering
- Sätt kvalitetsriktmärken på ≥99 % för annoteringsnoggrannhet, attribut och konsistens mellan sensorer
- Skapade en pilotklar grund för att bygga högtillförlitliga järnvägsuppfattningsmodeller
Strategiskt sett ger det här projektet klienttågens AI-system starkare förståelse för scener i järnvägsmiljöer, där geometri, objektkontinuitet och infrastrukturkontext är avgörande.
Shaips multimodala annoteringsmetod hjälpte oss att strukturera en högspecialiserad järnvägsdatauppsättning med den precision som behövs för utveckling av perceptionsmodeller. Deras fokus på taxonomidjup, geometrisk noggrannhet och konsistens mellan sensorer skapade en stark grund för vår AI-pipeline för järnvägar.
