NVIDIA AR SDK debuteert in populaire OBS-plug-in StreamFX waardoor gezichtsherkenning via standaardwebcam mogelijk is

NVIDIA heeft officieel zijn langverwachte Augmented Reality (AR) Software Development Kit (SDK) gelanceerd, geoptimaliseerd voor Live Streaming, Gaming en Video Conferencing-platforms. De technologie is geïntroduceerd in StreamFX, een zeer populaire OBS-plug-in. De technologie belooft een aantal geweldige mogelijkheden, waaronder het detecteren en vergrendelen van gezichten en het maken van een 3D-mesh van een gezicht, allemaal met behulp van een standaardwebcamera.

NVIDIA heeft nu AR SDK voor livestreaming geïntroduceerd, die kunstmatige intelligentie (AI) -mogelijkheden biedt voor de steeds populairder wordende en veelgebruikte tools voor webconferenties, communicatie en samenwerking op afstand. De technologie zou ook gamers helpen. Verrassend genoeg kunnen gebruikers profiteren van de toevoeging van AI met een standaard webcam, beweert NVIDIA.

Hoe werkt NVIDIA AI AR SDK voor livestreaming?

Zoals verwacht maakt de NVIDIA AR SDK, ook bekend als de NVIDIA RTX Broadcast Engine, gebruik van de krachtige en veelzijdige Tensor Cores op NVIDIA RTX GPU's. De SDK kan snelle en naar verluidt hoogwaardige tracking mogelijk maken via een exclusief backend, cloudgebaseerd AI-netwerk dat vorig jaar werd gelanceerd. NVIDIA claimt dat de technologie en het netwerk nauwkeurige gezichtsherkenning kunnen leveren; gezichtsoriëntatiepunt volgen van gezichtsvorm, lippen, ogen, wenkbrauwen en neus met 3 vrijheidsgraden; en een geavanceerd gezichtsmesh (een 3D-reconstructie van een menselijk gezicht en hoofdhouding) met 6 vrijheidsgraden.

De NVIDIA AI AR SDK voor Live Streaming is gelanceerd via StreamFX, een populaire plug-in voor OBS (Open Broadcaster Software). De AR SDK is nu beschikbaar op GitHub. Geïnteresseerde ontwikkelaars kunnen hiervan gebruik maken door het ook van de NVIDIA-website te downloaden.

De nieuwe versie van de StreamFX gebruikt de SDK om een ​​slimme camera te maken die automatisch bijsnijdt en inzoomt op de gebruiker, zodat deze bij elke beweging gecentreerd blijft in het frame. Over de opwindende nieuwe ontwikkeling gesproken, zei Michael Fabian ‘Xaymar’ Dirks, StreamFX Author:

“Het nieuwe Face Tracking-filter in StreamFX vereiste complexe wiskunde en machine learning, wat maanden, zo niet jaren zou hebben gekost om op veel machines te kunnen werken. Dankzij de AR SDK van NVIDIA was het echter in een mum van tijd gedaan en draait het op alle NVIDIA RTX-hardware die steeds gebruikelijker wordt dankzij de NVENC H.264-encoder erop. Hierdoor is de benodigde ontwikkeltijd drastisch teruggebracht van jaren naar slechts twee weken, en dat zonder extra kosten.”

Wat Fabian duidelijk suggereerde, was dat ontwikkelaars nu een krachtige SDK hebben die NVIDIA heeft geïntroduceerd om de mogelijkheden en functies van meerdere platforms aanzienlijk te verbeteren met op AI gebaseerde AR. Het is onnodig om toe te voegen dat game-ontwikkelaars, live conferencing en live streaming-platforms enorm zullen profiteren van het NVIDIA-platform. Kort samengevat: de NVIDIA AR SDK, die de kracht van AI naar Live Streaming brengt, breidt de volgende functies uit via een standaard webcam:

• Gezichten volgen op de camera om een ​​of meerdere onderwerpen op een afbeelding te identificeren,
• Het overlappen van activa op een persoon om kostuums of effecten op mensen te plaatsen,
• Een geanimeerd of gamekarakter besturen met je gezichts- en hoofdbewegingen.

Het is belangrijk op te merken dat NVIDIA zijn AR SDK heeft aangeboden als een open bètaplatform. Dit betekent duidelijk dat ontwikkelaars een paar bugs mogen verwachten, en worden aangemoedigd om hetzelfde aan NVIDIA te melden voor verdere finetuning van het platform.