Jordbruk Fruktdetektering Avgränsningsruta Annotering
Hur Shaip levererade annoteringar med snäva avgränsningsrutor för varje synligt äpple i bilder från fruktträdgården – som täcker hela tillväxtcykeln, flerperspektivinspelning och 3-lagers tillståndsattribut – byggt som en produktionsklassad datauppsättning för avkastningsuppskattning, robotskörd och AI för grödhälsa.
Projektöversikt
I takt med att precisionsjordbruk går mot AI-driven skörd och avkastningsprognoser behövde klienten en annoteringspipeline som kunde upptäcka enskilda frukter i stor skala över täta, naturligt röriga bilder från fruktträdgårdar – och som täckte alla tillväxtstadier från blomning till skörd.
Shaip byggde en heltäckande annoteringspipelin som täckte noggrann placering av avgränsande rutor per frukt, märkning av flera attributvillkor, hantering av bilder från flera perspektiv och kvalitetssäkring i två nivåer – och producerade modellfärdiga datamängder för precisionsjordbruks AI i stor skala.
Nyckelstatistik
Noggrannhetsgräns
99%
Tillväxtstadier
Full cykel
Attributlager
3
Perspektiv
Mark + Drönare
Utmaningar
- Anteckningar varje synligt äpple i täta fruktträdgårdsbilder — hundratals per bildruta
- Täckande hela tillväxtcykeln — blomma, liten grön frukt, fullmogna äpplen
- Arbetsmiljö flerperspektivbilder — marknivå, drönare ovanför, närbild av en gren
- Särskiljande frukt från bladverk när färgerna blandas under tidiga tillväxtstadier
- Hantering ockluderad, partiell och bländningspåverkad frukt utan att kompromissa med noggrannheten
Lösning
Placering av avgränsningsruta per frukt
Annotatörerna ritade snäva avgränsningsrutor runt varje synligt äpple i varje bild, oavsett storlek, färgstadium eller position i bilden. Även i täta klasar där dussintals frukter överlappade varandra, märktes varje äpple individuellt för att stödja nedströms frukträkning och avkastningsuppskattningsmodeller.
Fullständig tillväxtcykeltäckning
Annoteringarna täckte äpplen i alla tillväxtstadier – från tidig blomning och små gröna frukter till fullmogna röda och gula äpplen. Denna fullständiga cykeltäckning säkerställer att den tränade modellen kan upptäcka frukt när som helst i jordbrukscykeln, inte bara vid skörd.
Flerperspektivbilder
Bilder tagna från marknivå från fruktträdgårdar, drönarbilder ovanför och närbilder på grenar inkluderades, vilket gjorde datamängden mycket mångsidig och representativ för verklig användning. Varje perspektiv fick perspektivspecifika riktlinjer för annotering.
3-lagers attributklassificering
Varje kommenterat äpple klassificerades vidare med attribut som täckte mognadsstadium (omoget, halvmognet, fullmoget), synlighetsstatus (fullt synlig, delvis blockerad, kraftigt blockerad) och fruktens skick (frisk, skadad, sjuk). Denna metod med flera attribut gör det möjligt för den tränade modellen att bedöma skördeberedskap och grödans hälsa tillsammans med fruktdetektering.
Hantering av kantärenden
Annotatörerna följde strikta riktlinjer för äpplen delvis utanför bild, äpplen på marken, reflekterande eller glansiga fruktytor som orsakar bländningsartefakter och avlägsna små frukter som kräver identifiering på zoomnivå. Ljusvariationer – särskilt skuggor i trädkronorna – hanterades genom perspektivmedvetna annoteringsregler.
Projektets omfattning
| Dataset typ | Målet | Tillväxtstadier | Perspektiv | attribut | Noggrannhet |
|---|---|---|---|---|---|
| Jordbruksfruktdetektering | äpplen | Fullständig cykel (blomning → mogen) | Mark + drönare + närbild | Mognad, synlighet, skick | 99% |
Utkomster
- Etablerade en pipeline för avgränsande rutor för tät fruktträdgård kapabel att upptäcka varje synlig frukt
- standardiserad fullständig täckning av annoteringar för tillväxtcykler från blomning till skörd
- Levererat 3-lagers attributklassificering för mognad, synlighet och skick
- Bibehållen 99 % noggrannhetsgrind via tvåstegs QC över bilder från flera perspektiv
- Aktiverade klientens avkastningsuppskattning, robotskörd, grödhälsa och drönarövervakning AI
Sammantaget hjälpte Shaip till att omvandla ett krav för fruktdetektering i fruktträdgårdsskala till en strukturerad, produktionsklar annoteringspipeline – en som kan stödja precisionsjordbruk, robotskörd, avkastningsprognoser och AI-övervakning av grödor i olika fruktträdgårdsmiljöer och tillväxtcykler.
Shaip kommenterade äpplen som vi inte ens kunde skilja från bladen i vissa bilder. Deras tillväxtstadium och konditionsmärkning matades direkt in i våra modeller för avkastningsuppskattning och skördeplanering.
