INTELLIGENS GÉPIPARI FEJLESZTÉSEK A GMV KFT-NÉL
GINOP-2.1.2-8-1-4-16-2018-00417

Kutatási eredmények összefoglalása

A fejlesztés célja egy olyan prototípus elkészítése volt, amely mesterséges intelligencia segítségével képes 1-2 t/h termelékenységgel 90-95% feletti helyességgel teljesen automatizált módon gyümölcsöt válogatni. A vizsgált gyümölcs a projekt keretében a meggy volt.

Első megközelítésben elvi vázlatok, illetve alapvető számítások történtek a szükséges műszaki kapacitások és konstrukciós paraméterek kidolgozásához. A gépsor a gyümölcsfeldolgozásban tevékenykedő cégek igényeinek felmérése alapján készült elvi modell szerint került kialakításra. A tervezett kialakítással szembeni elvárás:

• Modul rendszerű kialakítása legyen
  - ez az egyes modulok, illetve mozgató részek variálhatóságát/többcélú használhatóságát támogatja
  - további funkciókkal bővíthető/javítható/új paraméter szerint cserélhető
  - eltérő méretű és formájú termékekre átállítható a rendszer (pl. tálcacserével)
  
• Min. 1 tonna/óra feldolgozási kapacitást biztosítson
• Minden művelet automatizálható legyen
• Az elért minőség a kézi válogatáshoz hasonló minőségi szintet eredményezzen
• Logisztikai felépítése idomuljon az ismert üzemi körülményekhez

A gépsor specifikációjának elkészítését követően sor került a kritikus optikai válogató megtervezésére.
Ez a feladat a fejlesztési tevékenység kulcsfeladata volt. Az első lépcsőben egy megvilágítási terv készült, mely több próba és átrendezés után alapul szolgált a prototípushoz kiválasztott szakmai megoldásnak. Először egy különálló vizsgálót építettünk, melyet a megvilágítási próbákra használtunk fel.

A vizsgálatok alapján elkészült a prototípus megépítéséhez használt fényalagút terv (10 kamerás meggy vizsgáló), és megtörtént a végleges hardware komponensek kiválasztása és beszerzése.

Ezt követően sor került a gépegységek tervezésére (gyártásra alkalmas részletes mechanikai tervek, elektromos vezérlési tervek). A gépsor elemeinek összeillesztését követően egy cserélhető tálcarendszert hordó konvejor sor került felszerelésre.

A modul rendszerű kialakítás jelentős szerelési igényeket támaszt a rendszer beüzemelésekor.
A 2020-as meggyszezon idején elkészült egy több mint 10.000 szemes minta-sor az AI betanítására (annotáció). Ez alapul szolgált az AI fejlesztésnél.

A megvalósulás alatt álló rendszerhez kapcsolódóan több feladatot is meg kellett oldani:

• mozgótálcás meggy ROI (region of interest - keretezés) detekció;
• grafikus meggy annotációs szoftver, a tanító adatok annotálásához és a működés ellenőrzéséhez, adatbázis generálásához;
• annotáció: új - 2021-es adatból osztályozott – adatbázis.

A legnagyobb fejlesztési igényű feladat egy könnyen kezelhető és módosítható grafikus felület létrehozása volt, ami tartalmazza a ROI detekciót, a szem ROI-ok összerendelését, navigálni lehessen a szemek között, valamint megadni oldalanként az osztályozást.

A program python-ban készült, egyszerűen installálható windows és linux alatt is (python 3.6, opencv, pygame, pygame_gui csomagok).

Osztályozás: neurális hálóvalkerült kialakításra.
A gépi tanulás során 3 részre vágtuk a rendelkezésre álló adathalmazt: train (80%), test (10%) és validation (10%).
A tanítás során a háló csak a train halmaz elemeit használhatta és a test halamazon elért eredmények alapján értékeltük a működést. Mivel a háló meta paramétereit (rétegek száma, típusa, paraméterei) a train halamazon elért eredményt nézve változtattuk, ezért volt szükség a validation halmazra, amit csak a legjobbnak ítélt hálókra vizsgálunk meg, és ezt az eredményt tekintjük a háló várható teljesítményének.

Eredmények: Bináris (jó/nem jó) osztályozás hatékonysága

Szenzor adat	teszt pontosság %	validáció pontosság %	ms/nézet	ms/tálca (4*50 szem)
fehér + mélyvörös	98,9	95,92	0,23	46
Fehér	97,2	93,5	0,12	24
Mélyvörös	97,3	93,6	0,12	24

A rothadt és gombás osztályok szemre is nagyon hasonlóak főleg a mélyvörös átvilágításokon, ezért nem csoda, hogy ebben az estben a teszt halmazon sem értünk el 97% feletti eredményt. Ez az eredményesség szempontjából nem jelentős probléma.

„Jó”, „Rothadt” és „Gombás” osztályozás hatékonysága

Szenzor adat	teszt pontosság %	validáció pontosság %	ms/nézet	ms/tálca (4*50 szem)
fehér + mélyvörös	95,6	92,5	0,23	46

Futási sebesség:
Időszükséglet = Első kép elkészítése + Kép átvétele + ROI detekció + Nézetek összerendelése + Osztályozás

A futtatási tesztek alapján a két 5x5-ös részből álló tálca estén az 1 mp-es tálca sebességet lehetséges, ha a képeket folyamatosan kapjuk, ahogy készülnek (párhuzamosan futhat az átvétel és a ROI detekció a már meglévő képen).



ÖSSZEFOGLALÁS

A fejlesztés elérte a célját: a prototípus által végzett automatizált válogatás minősége és sebessége igazodott a kitűzött célokhoz.
Az elvégzett tesztek igazolják, hogy 3 hibaosztállyal dolgozva a használt hálóval 95%+ a megkülönböztetési arány.

A futási idő az elvárt 10ms/szem értéknél jóval gyorsabb, mivel 3-4 nézettel számolva 1 szem kiértékelése 1 ms alatt van. Ez lehetővé teszi az óránkénti min. 1 tonna feldolgozási teljesítmény meghaladását.
Összességében tehát a fejlesztés tehát sikeresnek mondható. Több elképzelés és javaslat született a vizsgálónál alkalmazott módszer továbbfejlesztésére, illetve a rendszer javítására (alsó megvilágítás megváltoztatása, az üres lyukak és a szem melletti csillanások problémájának hatékonyabb kezelése, a felhordás és a kiválogatott szemek manipulációjának továbbfejlesztése). Ezeket egy későbbi továbbfejlesztésénél érdemes hasznosítani.

A fejlesztésről helyi vállalkozások részvételével tartott tájékoztató kerekazstal megbeszélésünkön felhasznált további inbformációs anyag elérhető az alábbi linkeken:

Műszaki fejlesztés bemutatása

Ötlettől a megvalósításig

A műszaki fejelsztés kihívásai

Erőforrások az innovációhoz