Objektannotering för inomhusscener för servicerobotik och förkroppsligad AI — Fallstudie
Hur Shaip levererade omfattande annoteringar av inomhusscener för ett ledande robotinnovationsföretag – detektering och märkning av varje objekt i rumsmiljöer med spatial relationstaggning – byggt som en produktionsklassad datauppsättning för robotperception och navigering med AI i hem, kontor, lager och vårdinrättningar.
Projektöversikt
I takt med att robottekniken blir alltmer verklig i hem, kontor, lager och sjukhus, behövde klienten en omfattande annoteringsprocess som kunde märka alla synliga objekt i tätt belamrade inomhusmiljöer – med tillräcklig attributrikedom för robotinteraktionsuppgifter.
Shaip byggde en heltäckande annoteringspipelin som omfattar segmentering av avgränsningsrutor och polygoner, inkludering av täta objekt, taggning av rumsliga relationer och hantering av reflekterande ytor – och producerade modellfärdiga datamängder för robotperception, navigering och interaktion mellan människa och miljö.
Nyckelstatistik
Objekt / Bild
100s
Kategorier
Tät
Metoder
Låda + Polygon
Attributlager
4
Utmaningar
- Anteckningar varje synligt objekt i tätt röriga rumsbilder — hundratals per bildruta
- Att välja rätt metod — avgränsningsram kontra polygonsegmentering — baserat på objektkomplexitet
- Inklusive små föremål som strömbrytare, kontakter och dekorativa föremål som är avgörande för robotinteraktion
- Arbetsmiljö reflekterande ytor (speglar, glasbord) utan spökanteckningar
- Tagging rumsliga förhållanden och objekttillstånd för kontextmedveten robot-AI
Lösning
Omfattande objektinkludering
Varje synligt objekt i varje rumsbild kommenterades individuellt över en mängd olika kategorier – möbler (stolar, bord, soffor, sängar, hyllor), apparater (tv-apparater, kylskåp, mikrovågsugnar, lampor), personliga tillhörigheter (väskor, böcker, flaskor, kläder), strukturella element (dörrar, fönster, väggar, golv) och små föremål (fjärrkontroller, koppar, tallrikar, tangentbord, strömbrytare, kontakter).
Metodval per objekt
Objekt märktes exakt med hjälp av avgränsande rutor eller polygonsegmentering beroende på objektets form och komplexitet. Rutor användes för vanliga rektangulära objekt; polygoner fångade organiska former och tätt packade objekt där rutor överlappade varandra för mycket. Detta val av metod per objekt säkerställde rena gränser även i röriga scener.
Spatial relationsmärkning
Varje kommenterat objekt berikades med attribut som täcker objektets tillstånd (öppet eller stängt för dörrar och lådor), taggar för rumsliga relationer som indikerar närhet och placering i förhållande till andra objekt, ocklusionsstatus och objektets skick. Detta rumsliga intelligenslager gör det möjligt för robotbaserade AI-system att förstå sammanhang, inte bara detektera objekt.
Små objekt och interaktion - kritisk täckning
Annotatörer följde strikta inkluderingsregler för att märka alla synliga objekt oavsett storlek – inklusive små föremål som strömbrytare, kontakter och dekorativa föremål som är avgörande för robotinteraktionsuppgifter. Dessa föremål avgör ofta om en robot kan slutföra sin uppgift, så de kunde inte nedprioriteras.
Hantering av reflekterande ytor
Reflekterande ytor som speglar och glasbord krävde särskild hantering för att undvika dubbletter eller spökanteckningar. Specifika riktlinjer styrde huruvida reflekterade objekt märktes separat, ignorerades eller flaggades – vilket säkerställde att efterföljande modeller inte lärde sig av artefaktfyllda etiketter.
Projektets omfattning
| Dataset typ | Rapportering | Metoder | Kategorier | attribut | Specialhantering |
|---|---|---|---|---|---|
| Annotering av objekt inomhusscen | Varje synligt objekt | Låda + polygon | Möbler, vitvaror, personliga föremål, strukturella, små | 4 lager (tillstånd, rumsligt, ocklusion, villkor) | Regler för reflekterande ytor |
Utkomster
- Etablerade en objekttät annoteringspipeline för robotperception inomhus
- standardiserad val av metod per objekt mellan avgränsande rutor och polygonsegmentering
- Levererat rumslig relationsmärkning möjliggöra kontextmedveten robotbaserad AI
- Genomförda hantering av reflekterande ytor för att förhindra spökanteckningar
- Aktiverade klientens hem, lager, detaljhandel och vårdinrättning implementering av robotik inom AI
Sammantaget hjälpte Shaip till att omvandla ett objekttätt inomhusannoteringskrav till en strukturerad, produktionsklar pipeline – en som kan stödja robotnavigering, pick-and-place-automation, smart miljöövervakning och interaktion mellan människa och robot i olika inomhusmiljöer.
Shaip kommenterade rum så som våra robotar ser dem – varje objekt, varje relation, varje liten sak som spelar roll. Deras uppmärksamhet på strömbrytare, kontakter och reflekterande ytor innebar att vår perceptionsmodell inte fälldes på de saker som de flesta datamängder ignorerar.
