Drie nieuwe USE meertalige modules komen naar TensorFlow

Google is een van de pioniers op het gebied van AI-onderzoek en een groot aantal van hun projecten heeft de aandacht getrokken. AlphaZero van Google's DeepMind team was een doorbraak in AI-onderzoek, vanwege het vermogen van het programma om zelf gecompliceerde games te leren (zonder menselijke training en interventie). Google heeft ook uitstekend werk verricht in Programma's voor het verwerken van natuurlijke taal (NLP's), wat een van de redenen is achter de efficiëntie van Google Assistant bij het begrijpen en verwerken van menselijke spraak.

Google kondigde onlangs de release aan van drie nieuwe GEBRUIK meertalige modules en bieden meer meertalige modellen voor het ophalen van semantisch vergelijkbare tekst.

Taalverwerking in systemen heeft een lange weg afgelegd, van basale syntaxisboomparsering tot grote vectorassociatiemodellen. Het begrijpen van de context in tekst is een van de grootste problemen in het NLP-veld en de Universal Sentence Encoder lost dit op door tekst om te zetten in hoog-dimensionale vectoren, waardoor het rangschikken en aanduiden van tekst gemakkelijker wordt.

Volgens Google "De drie nieuwe modules zijn allemaal gebouwd op een semantische retrieval-architectuur, die de codering van vragen en antwoorden doorgaans opsplitst in afzonderlijke neurale netwerken, waardoor het mogelijk is om binnen milliseconden tussen miljarden mogelijke antwoorden te zoeken.”Met andere woorden, dit helpt bij het beter indexeren van gegevens.

“Alle drie de meertalige modules worden getraind met behulp van een multi-task dual-encoder framework, vergelijkbaar met het originele USE-model voor Engels, terwijl we technieken gebruiken die we hebben ontwikkeld voor het verbeteren van de dual-encoder met additieve marge softmax-benadering. Ze zijn niet alleen ontworpen om goede overdrachtsleerprestaties te behouden, maar ook om semantische ophaaltaken uit te voeren. " De Softmax-functie wordt vaak gebruikt om rekenkracht te besparen door vectoren exponentiëren en vervolgens elk element te delen door de som van het exponentiële.

Semantische retrieval-architectuur

“De drie nieuwe modules zijn allemaal gebouwd op semantische retrieval-architecturen, die de codering van vragen en antwoorden doorgaans opsplitsen in afzonderlijke neurale netwerken, waardoor het mogelijk wordt om binnen milliseconden tussen miljarden mogelijke antwoorden te zoeken. De sleutel tot het gebruik van dubbele encoders voor efficiënt semantisch ophalen is om alle kandidaatantwoorden op verwachte invoervragen voor te coderen en op te slaan in een vectordatabase die is geoptimaliseerd voor het oplossen van het probleem met de dichtstbijzijnde buren, waardoor een groot aantal kandidaten snel kan worden doorzocht. met een goede precisie en terugroepactie. "

U kunt deze modules downloaden van TensorFlow Hub. Raadpleeg de volledige blogpost van GoogleAI voor meer informatie.