3D LiDAR-avgränsningsrute-annotering för autonom körning
Hur Shaip levererade exakta 3D-kubformade avgränsningsrutor över 14 objektklasser med ~53 rutor per bildruta på punktmolnsdata i en enda bildruta – kalibrerade mot 2D-bilder för uppfattning av autonoma fordon i produktionsskala.
Projektöversikt
I takt med att uppfattningen om autonom körning går mot produktionsdrift behövde klienten en högspecialiserad 3D LiDAR-annoteringspipeline som kunde placera exakta kubformade avgränsningsrutor med den densitet som krävs för verklig AV-träningsdata – med märkning av flera attribut och 2D-bildkalibrering.
Shaip byggde en heltäckande annoteringspipelin som omfattade 3D-kuboidplacering, tillämpning av standardstorlek, märkning av flera attribut, hantering av miljömässiga kantfall och validering av referensbilder – och levererade modellfärdiga AV-perceptionsdatauppsättningar över 14 objektklasser.
Nyckelstatus
Objektklasser
14
Lådor per ram
~ 53
Attributlager
5
Ocklusionsnivåer
4
Utmaningar
- placering ~53 3D-kubformade rutor per bildruta med exakt tät passform till punktmolnskanter
- Arbetsmiljö 14 objektklasser över fordon, fotgängare, djur och rörliga föremål
- Arbeta samtidigt med 2D-kalibreringsbilder och 3D-punktmoln datum
- Hantering spökpunktmoln, markreflektioner, dimma, dis och vattenstänk
- driva standardstorleksdimensioner per klass för konsistens över flera bildrutor
Lösning
Arbetsflöde för 3D-kubisk placering
Annotatörer placerade exakta 3D-kubformade avgränsningsrutor på punktmolnsdata i en enda bildruta samtidigt med 2D-kalibreringsbildreferensen. Varje klass hade definierade standarddimensioner för avgränsningsrutor för att säkerställa storlekskonsekvens över bildrutor – bilar 3.4–5.1 m, lastbilar 3.4–14 m, fotgängare 0.4–1.2 m breda.
Flerattributsmärkning
Utöver placeringen av avgränsande rutor fick varje kommenterat objekt attributetiketter som täckte fordonets tillstånd (körande/parkerat), tvåhjuligt fordons tillstånd (med/utan förare), fotgängartillstånd (stående/sittande/liggande), ocklusionstillstånd (4 nivåer: ingen, delvis, mest, full) och extremitetstillstånd (utskjutande föremål, öppna dörrar, ansluten utrustning).
Miljömässig hantering av kantfall
Strikta regler styrde annotering av starkt skymda eller avlägsna objekt, spökpunktmoln orsakade av dubbel LiDAR-felkalibrering, markreflektioner och omgivningsbuller från vattenstänk, dimma och dimma. Sidospeglar, öppna dörrar, kranarmar, takräcken och fotgängarbagage var uttryckligen undantagna; nödsirener och lastbilscontainrar inkluderades.
Validering av tight box-passning
Lådorna skulle vara tätt monterade mot punktmolnens kanter med minimala synliga mellanrum. Orienteringen verifierades genom kalibreringsdata och körfältskontext där punktmoln var tvetydiga. Natt- och regnscener behandlades likvärdiga med dagsförhållanden för att annoteringarna skulle vara konsistenta.
Korsmodal QA
Alla annoteringar validerades mot referensbilder i 2D för att verifiera korrekt storlek och orientering. Detta tvärmodala kvalitetssäkringslager upptäckte feljusteringar som inte skulle ha varit synliga enbart från punktmolnet, vilket säkerställde noggrannhet i produktionsklass för nedströms träning av AV-perceptionsmodeller.
Projektets omfattning
| Dataset typ | Klasser | Lådor/Ram | attribut | Ocklusionsnivåer | Validering |
|---|---|---|---|---|---|
| 3D LiDAR AV-uppfattning | 14 | ~53 i genomsnitt | 5 attributlager | 4 (0–100 %) | 2D-bildkontroll |
Utkomster
- Etablerade en tät 3D LiDAR-annoteringspipeline med ~53 lådor per ram vid produktionsnoggrannhet
- standardiserad 14-klassig objektontologi med standardstorlekstillämpning per klass
- Levererat 5 attributlager inklusive ocklusionsklassificering med 4 nivåer
- Genomförda tvärmodal QA validering av 3D-lådor mot 2D-kalibreringsbilder
- Aktiverade klientens autonom fordonsuppfattning, ADAS och självkörning modellutbildning
Sammantaget hjälpte Shaip till att omvandla ett komplext 3D-LiDAR-perceptionskrav till en strukturerad, produktionsklar annoteringspipeline – en som kan stödja utveckling av autonom körning, ADAS, robotaxi och självkörande lastbilar med kalibreringsgradig noggrannhet under utmanande verkliga förhållanden.
Shaip hanterade AV-edgefall som bryter mot de flesta annoteringspipelines – dimma, spökpunktmoln, tät ocklusion och ~53 rutor per bildruta. Deras 2D-3D-korsvalidering gav oss perceptionsträningsdata som vi litade på.
