Het realtime handvolg-algoritme van Google gebruikt smartphone om de herkenning van gebarentaal te verbeteren
Gebarentaal wordt door miljoenen mensen over de hele wereld gebruikt. Onderzoekers hebben gewerkt aan het ontwikkelen van technologieën die de gebaren kunnen begrijpen en deze automatisch kunnen omzetten in voor mensen begrijpelijke taal. Dergelijke projecten hebben echter geen groot succes behaald in termen van nauwkeurigheid.
Google heeft onlangs een algoritme ontwikkeld dat kan worden gebruikt voor realtime handtracking. Het intelligente systeem maakt gebruik van machine learning om een kaart van de hand te maken. De kaart is gemaakt met behulp van een camera of een smartphone. We kunnen niet ontkennen dat de meeste systemen snelle handbewegingen niet nauwkeurig vastleggen. Google heeft dit probleem in dit onderzoek specifiek aangepakt. Interessant is dat ze de hoeveelheid gegevens hebben beperkt die eerder door de algoritmen werd verwerkt.
Hoe werkt realtime handvolging?
De meeste bestaande projecten vertalen de gebarentaal door de grootte en positie van de volledige hand te detecteren. Met dit onderzoek. de onderzoekers hebben de noodzaak weggenomen om rechthoekige vormen in verschillende maten te hanteren. Het systeem van Google herkent alleen de handpalm die vierkant van vorm is. Ten tweede wordt er een apart analyseproces voor de vingers uitgevoerd.
De onderzoekers gebruikten ongeveer 30.000 handafbeeldingen om het algoritme voor machine learning te trainen. Deze afbeeldingen zijn gemaakt in verschillende lichtomstandigheden en pose. Het systeem detecteert vervolgens het gebaar door een vergelijking te maken tussen de handhouding en een lijst met bekende entiteiten, zoals een bal of geluk. Google beschrijft de gebarenherkenning in een blogpost.
Het uiteindelijke handvolgalgoritme produceert de modernste resultaten in termen van snelheid en nauwkeurigheid. Het algoritme gebruikt het MediaPipe-framework om uit te voeren. Deze techniek lijkt een grote vooruitgang in het gebarentaaldomein. Hoewel er nog veel ruimte is voor verbetering. om een beter begrip van de gebarentaal te creëren. Iedereen kan dit werk uitbreiden om gezichtsuitdrukkingen en beide handen te gebruiken om betere resultaten te bereiken.
Hoewel er geen woord van Google is, is er een mogelijkheid dat Google deze real-time handvolgtechnologie kan verbeteren om deze in zijn producten te gebruiken. Als je ondertussen met de code wilt spelen, is deze publiekelijk beschikbaar op GitHub.
