Hoe gebarentaal naar tekst te vertalen met Arduino?

We hebben consequent geaccepteerd dat technologie voor iedereen en voor altijd toegankelijk moet zijn, of het nu normale mensen zijn of personen met een bijzondere handicap. Het fundamentele voordeel van innovatie is om individuen te betrekken en te verbeteren, niet om ze te overwinnen, maar eerder om ze te helpen.

Mensen die niet kunnen spreken, gebruiken verschillende communicatiemiddelen om hun boodschap over te brengen. De meest voorkomende is gebarentaal. Gebarentaal is een taal die gebarenmodaliteit gebruikt om een boodschap over te brengen. Gebarentaal komt veel voor bij mensen die niet kunnen praten of luisteren. Hier is dus een project dat u zal helpen de gebarentaal te vertalen in een tekst die voor andere mensen begrijpelijk zal zijn.

Hoe gebruik je Arduino om een teken-naar-tekstvertaler te maken?

Laten we nu verder gaan met het verzamelen van meer gegevens, deze analyseren, een circuit maken en de code op de microcontroller branden.

Stap 1: vereisten

Voordat we aan het werk gaan, is het beter om het apparaat dat we gaan gebruiken te verzamelen en te bestuderen. Een lijst hieronder toont alle items die we nodig hebben in dit project.

Stap 2: Het apparaat opstellen

We zullen Flex-sensoren gebruiken om het gebaar te detecteren. De flex-sensor is een sensor die bij elke buiging een andere weerstand en een andere hoek geeft. Het heeft twee pinnen die zijn verbonden in een spanningsdelerconfiguratie. De verbinding van deze pinnen met de Arduino wordt hieronder weergegeven.

FLEX 1, FLEX 2, FLEX 3, FLEX 4, FLEX 5 zijn de flex-sensoren en RES1, RES2, RES3, RES4, RES5 zijn de weerstanden van 470 ohm. Een punt van alle flex-sensoren is gebruikelijk en er wordt 5V op toegepast. Aan de andere kant is één poot van alle weerstanden gemeenschappelijk en verbonden met de aarde. De invoer naar de Arduino-pinnen ontvangt analoge gegevens van 0 tot 1023 die worden geconverteerd naar de digitale vorm in de code.

Nu we weten hoe een flex-sensor werkt, moet u elke flex-sensor op de vingers van de handschoen bevestigen (vermijd het gebruik van lijm). Soldeer jumperdraden aan alle flex-sensoren en sluit ze aan op het Veroboard zoals weergegeven in de bovenstaande afbeelding. Soldeer de verbindingen zorgvuldig en voer een continuïteitstest uit. Als de continuïteitstest mislukt, controleer dan uw gesoldeerde verbindingen opnieuw en repareer ze.

Stap 3: Aan de slag met Arduino

Als je de Arduino IDE niet hebt, download dan de nieuwste versie van Arduino

Verbind de Arduino met je pc en ga naar Configuratiescherm > Hardware en geluiden > Apparaten en printers om de naam te controleren van de poort waarop Arduino is aangesloten. Op mijn pc is dat COM14. Het kan op uw pc anders zijn.
Open je Arduino IDE en zet het bord op "Arduino / Genuino Uno".
Open uw Arduino IDE en stel de poort in die u eerder op uw pc hebt waargenomen.
Download nu de onderstaande code en upload deze naar uw Arduino-bord door op de knop Uploaden te klikken.

Downloadlink: Klik hier

Stap 4: Code

De code is goed becommentarieerd, maar hier is een algemene uitleg over hoe het werkt.

In het begin van de code worden 5 analoge pinnen van Arduino geïnitialiseerd om te worden gebruikt met de flex-sensoren. Dan wordt de Vcc van de Arduino en de 4.7k ohm-weerstand geïnitialiseerd die in het circuit wordt gebruikt. Vervolgens wordt de weerstand van de rechte flex-sensor en de weerstand onder een hoek van 90 graden geïnitialiseerd. Deze initialisaties zullen nuttig zijn bij het schrijven van de code.
leegte setup () is een functie waarin we de baudrate van de Arduino initialiseren en alle vijf analoge pinnen worden geïnitialiseerd om als INPUT te worden gebruikt. Baudrate is de snelheid waarmee de microcontroller communiceert.
leegte lus () is een functie die continu keer op keer in een cyclus wordt uitgevoerd. In deze functie worden alle analoge waarden uitgelezen en omgezet in digitale waarden. Vervolgens wordt de weerstand berekend met behulp van de spanningsdelerformule en via die weerstand wordt de buighoek van de flex-sensor berekend.

Zodra je de code hebt begrepen en geüpload, draag je de handschoenen en maak je verschillende gebaren om ze in tekst te vertalen. In de code kunt u meer combinaties van vingerbewegingen naar keuze toevoegen en het bericht dienovereenkomstig weergeven. U zult zien dat uw gebarentaal nu in tekst wordt omgezet.

Stap 5: Geavanceerd

Bij dit project gaat het erom de gebarentaal om te zetten in tekst en deze op de seriële monitor weer te geven. Aangezien de gebruikte microcontroller Arduino is, werkt dit apparaat alleen wanneer de Arduino via een datakabel op de pc is aangesloten, omdat Arduino geen ingebouwde WiFi-module heeft. Om dit project een beetje interessanter te maken, kunt u een externe WiFi-module toevoegen of een ESP-module gebruiken in plaats van Arduino en de datakabel verwijderen en genieten van een sign-to-speech-vertaling via WiFi.