A Google valós idejű kézkövető algoritmusa okostelefonnal javítja a jelnyelvi felismerést

Valós idejű kézkövetés

A jelnyelvet emberek milliói használják szerte a világon. A kutatók azon technológiák kiépítésén dolgoztak, amelyek képesek megérteni a gesztusokat, és automatikusan átalakítják azokat ember számára érthető nyelvre. Az ilyen projektek azonban nem értek el nagy sikert a pontosság szempontjából.

A Google nemrég kifejlesztett egy algoritmust, amely valós idejű kézkövetésre használható. Az intelligens rendszer a gépi tanulást felhasználja a kéz térképének elkészítéséhez. A térkép elkészítése kamera vagy okostelefon segítségével történik. Nem tagadhatjuk azt a tényt, hogy a legtöbb rendszer nem képes pontosan rögzíteni a gyors kézmozdulatokat. A Google ebben a kutatásban kifejezetten foglalkozott ezzel a problémával. Érdekes módon korlátozták az algoritmusok által korábban feldolgozott adatmennyiséget.

Hogyan működik a valós idejű kézkövetés?

A meglévő projektek többsége lefordítja a jelnyelvet a teljes kéz méretének és helyzetének felismerésével. Ezzel a kutatással. a kutatók kiküszöbölték a különböző méretű téglalap alakú alakzatok kezelésének szükségességét. A Google rendszere csak felismeri a négyzet alakú tenyért. Másodszor külön elemzési eljárást végeznek az ujjak számára.

Kézmozdulatok

A kutatók körülbelül 30.000 kézi képet használtak a gépi tanulási algoritmus kiképzéséhez. Ezeket a képeket különböző megvilágítási körülmények között és pózban készítették. Ezután a rendszer felismeri a gesztust, összehasonlítva a kézpózot és az ismert entitások listáját, mint például a labda vagy a boldogság. A Google a gesztusfelismerést a blog bejegyzés .

Ezután az ujjállapot halmazát előre meghatározott gesztusok halmazához hozzárendeljük. Ez az egyszerű, mégis hatékony technika lehetővé teszi számunkra, hogy elfogadható minőséggel becsüljük meg az alapvető statikus gesztusokat. A meglévő vezeték több kultúrából származó számlálási gesztusokat támogat, pl. Amerikai, európai és kínai, valamint különféle kézjelek, köztük a „Hüvelykujj”, a zárt ököl, az „OK”, a „Rock” és a „Pókember”.

a Windows 10 beragadt tablet módban

A végső kézkövető algoritmus a legkorszerűbb eredményeket produkálja sebessége és pontossága szempontjából. Az algoritmus a MediaPipe keretrendszert futtatja. Ez a technika jelentős előrelépésnek tűnik a jelnyelvi területen. Bár még mindig sok a fejlődés lehetősége. hogy jobban megértsék a jelnyelvet. Bárki kiterjesztheti ezt a munkát az arckifejezések és a két kéz használatával a jobb eredmények elérése érdekében.

Bár a Google-tól nincs szó, fennáll annak a lehetősége, hogy a Google tovább tudja fejleszteni ezt a valós idejű kézkövetési technológiát, hogy azt termékeiben felhasználja. Eközben, ha el akar játszani a kóddal, az az nyilvánosan elérhető a GitHub oldalon .