Viselhető 360°-os kamerarendszer végponti képfeldolgozással.
Kutatás-fejlesztési projekt, amely egy viselhető, többkamerás prototípust fejlesztett ki helyben futó gépi látás modellekkel, integrált kapcsolattal és iparág-specifikus felhasználási esetekhez alkalmazkodó, moduláris felépítéssel.
- Kedvezményezett
- Valitum-Média Kft.
- Projekt neve
- Viselhető, 360 fokos, visszajelzést biztosító kamerarendszer prototípus eszköz fejlesztése
- Projekt neve (EN)
- Developing a 360 degree wearable feedback camera system prototype device
- Szerződött támogatás összege
- 59 652 000 HUF
- Támogatás mértéke
- 61,11%
- Tervezett befejezési dátum
- 23.03.2020
- Projektazonosító
- VEKOP-2.1.7-15-2016-00472
A rendszer egy viselhető kameraplatform, amely 360°-os vizuális adatok rögzítésére és azok beágyazott gépi látás modellekkel történő helyben feldolgozására készült. Központi eleme egy NVIDIA Jetson Nano edge számítási modul, négy nagylátószögű kameramodul, egy LTE modem és helyi SSD tároló. Az architektúra támogatja az offline következtetést, az alacsony késleltetésű visszajelzést és a távoli megfigyelést, valamint a fizikai kialakítás mobil és terepi használatra alkalmas. A platform adaptálható prototípus-alapként készült ipari, biztonságtechnikai, egészségügyi és terepi szerviz alkalmazásokhoz.
A hardverarchitektúra egy NVIDIA Jetson Nano modul köré épül, amely a végponton végzi a képfeldolgozást. Négy nagylátószögű kameramodul biztosítja a teljes körű vizuális lefedettséget. Az integrált LTE modem valós idejű adatátvitelt és távoli megfigyelést tesz lehetővé, míg a modellfájlok és a rögzített felvételek helyi SSD-n tárolódnak. Az eszköz kompakt, viselhető kialakítású, így gépi látás feladatok felhőkapcsolat nélkül is futtathatók rajta.
A projekt két prototípusváltozatot hozott létre:
Biztonsági prototípus
Kétegységes viselhető kialakítás, amely egy mellkasra és egy hátra rögzíthető kameramodulból áll. Mindkét egység önállóan futtat végponti gépi látás modelleket, és LTE-n keresztül továbbít adatot. A rendszerhez fegyverdetektáló modellt fejlesztettek ki, és további egyedi detektáló modellekkel bővíthető.
A biztonsági kialakítás két egységet használ: egyet a mellkasra és egyet a hátra rögzítve. Mindkét egység helyben végzi a következtetést, és LTE-n keresztül kapcsolódik a távoli megfigyeléshez. Referenciamodellként fegyverdetektáló algoritmust implementáltak, és a platform további egyedi detektáló modellek fejlesztését is támogatja.
Ipari prototípus
Ipari és gyártási környezetekhez tervezett viselhető kialakítás. A központi edge egység egyedi gépi látás megoldásokat futtat, LTE kapcsolattal rendelkezik távoli megfigyeléshez, és alkalmazkodik a helyszín-specifikus ellenőrzési és biztonsági feladatokhoz.
Az ipari kialakítás a gépi látás platformot cég- vagy szektor-specifikus működési problémákra alkalmazza. Az edge egység egyedi modelleket futtat helyben, az LTE kapcsolat pedig lehetővé teszi a kamerakép és az állapotadatok távoli elérését.
A fő eredmény egy olyan prototípusplatform, amely képes egyedi gépi látás modelleket helyben, valós időben futtatni. Ez lehetővé teszi célzott szolgáltatások fejlesztését biztonsági és ipari területeken egyaránt. Az integrált LTE modul folyamatos távoli megfigyelést biztosít a kameraképhez, a helyi SSD és a Jetson-alapú feldolgozás pedig felhőinfrastruktúrától független működést tesz lehetővé.
A projekt két technikai kihívásra fókuszált. Az első hardveres jellegű volt: egy Jetson Nano, kameramodulok, LTE kapcsolat, SSD tároló és tápellátás integrálása kompakt, viselhető kialakításba. A második szoftveres jellegű: gépi látás modellek fejlesztése és optimalizálása, hogy használható képsebességgel fussanak a beágyazott eszközön. Ezen felül a projekt feltérképezte a lehetséges alkalmazási területeket, és a kiválasztott szektorokhoz prototípus-terveket készített.
- 01Többirányú vizuális rögzítés négy nagylátószögű kameramodul segítségével
- 02Végponti képfeldolgozás NVIDIA Jetson Nano modulon
- 03Viselhető és hordozható kialakítás
- 04Valós idejű távoli megfigyelés LTE-n keresztül
- 05Modellek és felvételek helyi SSD tárolása
- 06Moduláris felépítés iparág-specifikus adaptáláshoz
- 07Egyedi objektumdetektáló és -klasszifikációs modellek támogatása
A projekt egy viselhető 360°-os kamerarendszer megvalósíthatóságát vizsgálta helyben futó gépi látás feldolgozással, és két prototípusváltozatot fejlesztett ki biztonságtechnikai és ipari célokra. Az eredmény egy kompakt, edge-képes hardverplatform, amely egyedi modellfejlesztéssel és formatervezési módosításokkal a szektor-specifikus követelményekhez adaptálható.
