Microsoft Lumos is nu open-source waardoor het mogelijk is om webapp-statistieken te monitoren en snel afwijkingen op te sporen door valse positieven te elimineren

Microsoft heeft toegang verleend tot ‘Lumos’, een krachtige Python-bibliotheek voor het automatisch detecteren en diagnosticeren van metrische regressies in applicaties op 'webschaal'. De bibliotheek is naar verluidt erg actief geweest binnen Microsoft Teams en Skype. In wezen is een zeer krachtige en intelligente ‘anomaliedetector’ nu open-source en beschikbaar voor webontwikkelaars om regressies in belangrijke prestatiestatistieken op te sporen en aan te pakken, terwijl de meeste valse positieven bijna worden geëlimineerd.

Microsoft Lumos is nu open source. Het werd actief gebruikt in geselecteerde Microsoft-producten en zal nu beschikbaar zijn voor de algemene web- en app-ontwikkelingsgemeenschap. De bibliotheek stelde ingenieurs naar verluidt in staat om honderden veranderingen in metrische gegevens te detecteren en duizenden valse alarmen die door anomaliedetectoren opduiken, te verwerpen.

Lumos verlaagt het percentage fout-positieve waarschuwingen met meer dan 90 procent, beweert Microsoft:

Lumos is een nieuwe methodologie die bestaande, domeinspecifieke anomaliedetectoren omvat. Microsoft verzekert echter dat de Python-bibliotheek het percentage fout-positieve waarschuwingen met meer dan 90 procent kan verminderen. Met andere woorden, ontwikkelaars kunnen nu vol vertrouwen aanhoudende problemen aanpakken in plaats van intermitterende problemen die op de lange termijn geen nadelig effect hadden.

De gezondheid van online services wordt meestal bewaakt door de Key Performance Indicator (KPI) -statistieken in de loop van de tijd te volgen. Ingenieurs die een ‘regressieanalyse’ uitvoeren, hebben veel tijd en middelen nodig om problemen uit de wereld te helpen die op grote problemen kunnen duiden. Deze problemen kunnen leiden tot oplopende operationele kosten en zelfs tot verlies van gebruikers als ze niet worden aangepakt.

Het is onnodig om toe te voegen dat het opsporen van de hoofdoorzaak van elke KPI-regressie tijdrovend is. Bovendien besteden teams vaak veel tijd aan het analyseren van de problemen om vervolgens te ontdekken dat het slechts een anomalie was. Dit is waar Microsoft Lumos van pas komt. De Python-bibliotheek elimineert het proces om vast te stellen of een wijziging het gevolg is van een verschuiving in de populatie of een productupdate door een geprioriteerde lijst te bieden van de belangrijkste variabelen bij het verklaren van veranderingen in de metrische waarde.

Microsoft Lumos dient ook het bredere doel om het verschil in een metriek tussen twee datasets te begrijpen. Interessant is dat het platform 'bias' bevat, en door een controle- en behandelingsgegevensset te vergelijken terwijl hij agnostisch blijft voor de tijdreekscomponent, kan Lumos de afwijkingen.

Hoe werkt Microsoft Lumos?

Microsoft Lumos werkt met de principes van A / B-testen om paren gegevenssets te vergelijken. De Python-bibliotheek begint met het verifiëren of de regressie in de metriek tussen gegevenssets statistisch significant is. Vervolgens wordt een populatiebiascheck en biasnormalisatie uitgevoerd om rekening te houden met eventuele populatieveranderingen tussen de twee gegevenssets. Lumos besluit dat het probleem niet de moeite waard is om na te streven als er geen statistisch significante regressie in de statistiek is. Als de delta in de metriek echter statistisch significant is, markeert Lumos de kenmerken en rangschikt ze op basis van hun bijdrage aan de delta in de doelmetriek.

De Lumos Python-bibliotheek dient als de belangrijkste tool voor het bewaken van scenario's van honderden statistieken. Ontwikkelaars en teams die prestatieanalyses uitvoeren, kunnen de betrouwbaarheid van bellen, vergaderingen en PSTN-services (Public Switched Telephone Network) bij Microsoft controleren en eraan werken. De bibliotheek is operationeel op Azure Databricks, de op Apache-spark gebaseerde big data-analyseservice van het bedrijf. Het is geconfigureerd om te worden uitgevoerd met meerdere taken die zijn gerangschikt volgens prioriteit, complexiteit en metriektype. De taken worden asynchroon voltooid. Het betekent dat als het systeem een ​​anomalie detecteert, een Lumos-workflow wordt geactiveerd en de bibliotheek vervolgens op intelligente wijze analyseert en controleert of de anomalie de moeite waard is om na te streven en aan te pakken.

Microsoft heeft opgemerkt dat Lumos niet gegarandeerd alle regressies in services opvangt. Bovendien vereist de service een groot aantal datasets om betrouwbare inzichten te bieden. Het bedrijf is van plan om continue metriekanalyses op te nemen, een betere functieclassificatie uit te voeren en ook functieclustering in te voeren. Deze stappen moeten de primaire uitdaging van multicollineariteit bij het rangschikken van functies aanpakken.