Al til at opdage modne frugter med menneskeniveaus nøjagtighed

SeeTree er en førende virksomhed inden for feltet agritech, idet man søger at bringe teknologi ind i landbrugets verden. Det primære fokus hos SeeTree er at overvåge frugtbærings-statussen for træer for at forøge deres produktivitet. Dette kræver et system til automatisk opdagelse af modne frugter, idet man bruger teknikker til maskinlæring.

SeeTree havde partnerskab med Ciklum for at tilnærme sig denne opgave gennem metoder til dyb læring, der anses for at være førende mht. at tackle opgaver med genkendelse af billeder.

Prototypen med næsten menneskeniveaus præstation blev bygget på kun to måneder.

Ciklums team af dygtige R&D eksperter måtte finde en løsning for at overvinde de følgende udfordringer:

1. Små datasæt (~500 fotos med bemærkninger). Det var umuligt at indsamle friske data, fordi det ikke var sæson for appelsiner.
2. Højt støjniveau i noter til datasæt. Annotationerne til nogle billeder indeholdt ikke obligatoriske data. Nogle afgrænsningsfirkanter var ikke tilstrækkeligt nøjagtige.
3. Datasæt indeholdt fotodupletter med anderledes etiketter.
4. Højt okklusionsniveau på nogle billeder gjorde det vanskeligt at separere øjeblikke.

Dataforberedelse

Dobbelte fotos, billeder med appelsiner uden etiketter eller ugyldige polygoner, mv. blev filtreret ud af datasættet. Det resulterende datasæt blev inddelt i træn-/validerings-/testsæt, der var lagdelt af antallet af appelsiner pr. side.

Det bedste resultat blev opnået med Faster R-CNN arkitekturfamilien. Denne model var helt fremme mht., at løse opdagelse af genstande dengang. Faster R-CNN er et to-trins system til opdagelse af genstande, i hvilket det første trin genererer et ekstra sæt steder for kandidatgenstande, og det andet trin klassificerer hver kandidatsted som et af for- eller baggrundsklasserne med brug af et sammenrullet, neuralt netværk.

Ciklums R&D teams forskning og eksperimenter has vist, at Faster R-CNN med FPN Inception-ResNetV2-basis er mest passende for problemet og gav den bedste ydelse.

Det bedste resultat var med Faster R-CNN med FPN InceptionResNetV2 backbone. Præstation md brug af mAP- metrikken var ca. 85 %. Figuren nedenfor viser formodede omskrivningsfirkanter (røde firkanter – etiketter, grønne firkanter – anslåede omskrivningsfirkanter).

Ciklums prototype havde følgende fordele:

• i stand til at opdage frugt med stor nøjagtighed, selv hvis den er udelukket.
• selv om den er bygget til at opdage appelsiner, kan den let omdannes til at registrere andre slags frugter.
• er bedre end mennesker i de fleste tilfælde.