Ručné sledovanie v reálnom čase
Posunkovú reč používajú milióny ľudí na celom svete. Vedci pracovali na vývoji technológií, ktoré dokážu porozumieť gestám a automaticky ich prevádzať do zrozumiteľného jazyka. Takéto projekty však nezískali obrovský úspech, pokiaľ ide o presnosť.
Google nedávno vyvinul algoritmus, ktorý je možné použiť na sledovanie rúk v reálnom čase. Inteligentný systém využíva strojové učenie na vytvorenie mapy ruky. Mapa sa vytvára pomocou fotoaparátu alebo smartphonu. Nemôžeme poprieť skutočnosť, že väčšina systémov nedokáže presne zachytiť rýchle pohyby ruky. Google sa týmto problémom v rámci tohto výskumu špeciálne zaoberal. Je zaujímavé, že obmedzili množstvo údajov, ktoré predtým spracovávali algoritmy.
Ako funguje sledovanie rúk v reálnom čase?
Väčšina existujúcich projektov prekladá posunkový jazyk zisťovaním veľkosti a polohy celej ruky. S týmto výskumom. vedci eliminovali potrebu manipulovať s obdĺžnikovými tvarmi v rôznych veľkostiach. Systém Google rozpozná iba dlaň štvorcového tvaru. Po druhé, pre prsty sa vykoná samostatný proces analýzy.
Gestá rukou
Vedci použili na trénovanie algoritmu strojového učenia okolo 30 000 obrázkov z ruky. Tieto obrázky boli zachytené za rôznych svetelných podmienok a póz. Systém potom deteguje toto gesto porovnaním medzi pózou ruky a zoznamom známych entít, ako je lopta alebo šťastie. Google popisuje rozpoznávanie gest v a príspevok v blogu .
Potom namapujeme množinu stavov prstov na množinu vopred definovaných gest. Táto priama, ale efektívna technika nám umožňuje odhadnúť základné statické gestá s primeranou kvalitou. Existujúci kanál podporuje počítanie gest z viacerých kultúr, napr. Americké, európske a čínske a rôzne ručné značky vrátane „Palec hore“, zatvorené päste, „OK“, „Kameň“ a „Spiderman“.
Výsledný algoritmus ručného sledovania poskytuje najmodernejšie výsledky z hľadiska jeho rýchlosti a presnosti. Algoritmus používa na spustenie framework MediaPipe. Táto technika sa javí ako veľký pokrok v doméne posunkového jazyka. Aj keď stále existuje veľa priestoru na zlepšenie. lepšie porozumenie posunkového jazyka. Ktokoľvek môže túto prácu rozšíriť tak, aby na dosiahnutie lepších výsledkov používal výraz tváre a obe ruky.
Aj keď o spoločnosti Google nehovorí nič, existuje možnosť, že Google môže vylepšiť túto technológiu ručného sledovania v reálnom čase, aby ju mohla používať vo svojich produktoch. Medzitým, ak sa chcete pohrať s kódom, je to tak verejne dostupné na GitHub .
Značky google
