VID-AI: VIDeo feAture detectIon and retrieval

Inleiding

Visual threats zijn steeds meer aanwezig in het moderne leven en beginnen een grote negatieve impact te hebben. Visual threats omvatten alle vormen van gemanipuleerde afbeeldingen, video's en geavanceerde tools, waarvan deepfakes momenteel de meest voorkomende zijn en de grootste bedreiging vormen. Deeptrace B.V. – bekend als Sensity - is wereldleider in onderzoek en ontwikkeling van technologie om dergelijke visual threats te detecteren.

Detectie van Visual Threats

Sensity onderschept dagelijks visual threats en monitort wanneer er nieuwe kwaadaardige content online wordt vrijgegeven. Om te bepalen of een video of afbeeldingsbestand is gewijzigd, maakt Sensity gebruik van zijn state-of-the-art algoritmen, die zelfs de kleinste (kwaadaardige) wijzigingen detecteren en deze opslaan in zijn interne database.

Uitdagingen in de Industrie

Door de snel voortschrijdende ontwikkeling van visual threats en de toenemende eenvoud van het gebruik van deze tools, haasten bedrijven wereldwijd zich om technologie te ontwikkelen die beter in staat is om visual threats op het internet te zoeken, detecteren en voorkomen. Video's bevatten van nature veel redundante informatie. Er is veel herhaling tussen videoframes, en veel van de pixels in elk frame zijn irrelevant voor de betekenis van de video. Dit is een universele uitdaging voor de industrie.

Huidige Technologie van Sensity

Sensity maakt momenteel gebruik van een reeks neurale netwerken om bepaalde 'semantiek' te detecteren, dat wil zeggen informatie over een video die iets zegt over de aard van de video. Op deze manier kan het enkele visual threats detecteren. Om de technologie toekomstbestendig te maken, wil Sensity geavanceerde video-embedding en retrieval-technologie ontwikkelen.

Toekomstige Ontwikkelingen

Deze technologie zal het mogelijk maken om elke relevante eigenschap van een video te leren, of het nu gaat om een object, een scène, een actie of een reeks gebeurtenissen. Het idee is dat het gebruik van deze informatie helpt bij het detecteren van bepaalde tekortkomingen in de video, zodat deze kan worden gelabeld als een visual threat. Het kunnen ophalen (queryen) van video's in elke database op basis van een semantische of gelijkeniszoekopdracht opent de deur naar ontelbare toepassingen.

Toepassingen en Samenwerking

In het geval van visual threats zou het mogelijk zijn om een bepaalde video op te vragen en snel elke video te identificeren die er zeer op lijkt (wat een deepfake zou kunnen zijn). Dit zou enorm helpen bij het classificeren van de toegepaste technologie voor het produceren van visual threats. Dit zal voor het eerst mogelijk maken om meer inzicht te krijgen in de bron van de visual threat, daadwerkelijk het probleem te bestrijden en mensen en bedrijven te verdedigen tegen deze steeds groeiende bedreiging.

Samenwerking met BrainCreators

Sensity is een expert in computer vision en AI R&D en is een van de leidende bedrijven in de wereld op het gebied van visual threat detectie. Echter, het heeft minder ervaring met het ontwikkelen van een geavanceerde data- en trainingspipeline of retrieval-algoritmen om video-embedding en retrieval te realiseren. Dit heeft geleid tot de samenwerking met BrainCreators.

Expertise van BrainCreators

BrainCreators' expertise ligt in het analyseren van elke soort statische data met behulp van zijn state-of-the-art data-augmentatiepipeline. Hoewel het dynamische videodata nog niet ondersteunt, is het zeker dat de bekroonde BrainMatter-technologie een unieke benadering mogelijk zal maken, voornamelijk door gebruik te maken van zijn eigen technologie voor data-annotatie en feature-extractie. Deze functies leggen de technologische basis voor het ontwikkelen van een effectievere en gestroomlijnde embedding-, leer- en retrievalbenadering.

Verwachte Resultaten

Een succesvolle voltooiing van dit project zal resulteren in Sensity die in staat is om het eerste visual threat detectieplatform te commercialiseren, dat is gebouwd op de nieuwste video-embedding technologie en het enige platform zal zijn dat video-retrieval ondersteunt. Deze functionaliteit zal worden gedemonstreerd met beveiligingsbedrijf PCS Security in dit project.

Toekomstige Integratie en Gebruikscases

BrainCreators zal in staat zijn om deze technologie te integreren in zijn BrainMatter-platform, waardoor het verder gepositioneerd wordt als de meest innovatieve enterprise AI-oplossing provider. Het heeft al brede belangstelling ontvangen van huidige en potentiële klanten voor dit soort technologie om bijvoorbeeld grote videodatabases op te schonen, live (beveiligings)video-analyse mogelijk te maken, drukke locaties te monitoren, en de weginspectie aanzienlijk te verbeteren, enzovoort. Ten minste een van deze use cases zal worden gedemonstreerd met SPIE of Advantech in dit project, met de optie om aanvullende use cases voor de kosten van BrainCreators zelf te demonstreren.