Le modèle IA UNITE peut détecter tout deepfake sans dépendre des visages

Les scientifiques s’attaquent désormais au problème de l’IA avec l’IA elle‑même. Les chercheurs de l’UC Riverside ont créé un modèle UNITE pour répondre au grave problème des deepfakes. 

« Les gens ont le droit de savoir si ce qu’ils voient est réel, » a déclaré Rohit Kundu, doctorant à la Marlan and Rosemary Bourns College of Engineering de l’UCR, qui a dirigé l’article « Vers un détecteur vidéo synthétique universel : des manipulations de visage ou d’arrière‑plan au contenu entièrement généré par l’IA. ¹ « Et à mesure que l’IA devient meilleure pour falsifier la réalité, nous devons devenir meilleurs pour révéler la vérité. »

Les chercheurs ont collaboré avec des scientifiques de Google, une société Alphabet (GOOG ) pour développer un nouveau modèle d’IA qui détecte la falsification vidéo et dévoile le contenu faux, utilisé pour diffuser de la désinformation et inciter à la violence. L’étude note :

« La propagation rapide de la désinformation, notamment pendant des périodes critiques comme les élections, souligne le besoin de modèles de détection généralisables capables d’identifier diverses manipulations, y compris les visages, les arrière‑plans et le contenu T2V/I2V entièrement généré par l’IA avec ou sans sujets humains. »

Le modèle est capable de détecter à la fois les vidéos partiellement manipulées et les vidéos entièrement synthétiques. Plutôt que de se concentrer uniquement sur le visage, comme le font la plupart des détecteurs conventionnels, ce modèle analyse les images complètes, qu’un sujet humain soit présent ou non dans les vidéos. 

Cela en fait un outil puissant qui peut être utilisé par les vérificateurs de faits, les éducateurs, les rédacteurs, les plateformes de médias sociaux et d’autres acteurs afin d’empêcher la diffusion virale de vidéos truquées.

L’essor de l’IA et la surcharge synthétique qui en résulte

L’intelligence artificielle (IA) possède un potentiel immense pour révolutionner divers aspects de nos vies et de notre travail. 

La capacité de cette technologie en automatisation, analyse de données et prise de décision a déjà commencé à transformer les industries, et l’on prévoit qu’elle ajoutera plusieurs billions de dollars à l’économie mondiale d’ici la fin de cette décennie.

Une étude du géant de la prévision de marché IDC estime que l’essor de l’IA stimulera l’économie mondiale d’un total cumulé de 19,9 billions de dollars d’ici 2030.

Les recherches de McKinsey, quant à elles, prévoient que la valeur ajoutée par l’IA générative pourrait atteindre 4,4 trillions de dollars à travers les 63 cas d’usage analysés par le cabinet de conseil mondial. Environ 75 % de la valeur que l’IA pourrait apporter serait concentrée dans quatre domaines :

• Recherche et Développement
• Ingénierie logicielle
• Marketing et ventes
• Opérations client

Alors que l’impact de la technologie devrait être significatif dans tous les secteurs, la technologie et la banque pourraient voir le plus grand impact en pourcentage de leurs revenus provenant de l’IA générative. Goldman Sachs (GS ) partage cet avis, prévoyant une hausse de 7 % du PIB mondial grâce à l’IA. Les économistes de la banque, Joseph Briggs et Devesh Kodnani, ont alors noté :

« Malgré une incertitude importante concernant le potentiel de l’IA générative, sa capacité à créer du contenu indiscernable de celui produit par l’homme et à briser les barrières de communication entre humains et machines représente une avancée majeure aux effets macroéconomiques potentiellement considérables. »

Cependant, cette même capacité du système informatique à accomplir des tâches comme l’apprentissage, la résolution de problèmes et la prise de décision — habituellement réservées à l’intelligence humaine — qui est sur le point de bouleverser le monde, envoie également le monde dans le chaos. 

Plus la technologie devient sophistiquée, plus la frontière entre le réel et le faux devient floue.

Pourquoi les anciens détecteurs de deepfake ne fonctionnent plus

Au cours des dernières années, les avancées en IA ont entraîné une flambée sans précédent des médias synthétiques. Des estimations suggèrent que plus de la moitié des longs posts sur LinkedIn sont actuellement rédigés par l’IA. Il existe également le « AI slop », qui désigne le contenu IA de faible qualité, produit en masse.

Mais ce qui préoccupe le plus, ce sont les deepfakes, qui sont des images, vidéos ou enregistrements audio générés ou altérés à l’aide de l’IA. Il s’agit de contenus fabriqués qui utilisent l’IA pour présenter une représentation fausse comme réaliste.

Aujourd’hui, ce type de contenu est partout , imprégnant tous les coins d’Internet. Ces médias numériques hyper‑réalistes provoquent confusion et diffusion de désinformation. Ils menacent également la vie privée et la sécurité des personnes. 

Les cybercriminels utilisent l’IA pour améliorer leurs attaques, menant à des escroqueries de phishing et à des vols d’identité avec une précision alarmante. Selon Kundu :

« Il est effrayant de voir à quel point ces outils sont accessibles. Quiconque possède des compétences modérées peut contourner les filtres de sécurité et générer des vidéos réalistes de personnalités publiques disant des choses qu’elles n’ont jamais dites. »

Dans un incident, des cybercriminels se sont fait passer pour le directeur financier (CFO) d’une entreprise lors d’une réunion Zoom, entraînant une perte de 25 millions de dollars. 

Ce n’est que le début, cependant, car Deloitte prédit que les pertes liées à la fraude de ce type atteindront 40 milliards de dollars aux États‑Unis d’ici 2027, contre 12,3 milliards en 2023. Un rapport du Trésor américain a également constaté que les « cadres de gestion des risques existants » adoptés par les entreprises « peuvent ne pas être suffisants pour couvrir les technologies IA émergentes. »

Cela ne veut pas dire qu’il n’existe aucun outil pour détecter le contenu IA et se protéger contre les risques de la technologie. En fait, de nombreux outils sont disponibles sur le marché.

Les mêmes entreprises qui lancent de nouveaux outils IA pour faciliter la création de contenu introduisent également des moyens d’aider à repérer les données synthétiques.

En 2020, le géant technologique Microsoft (MSFT ) a annoncé un Video Authenticator pour analyser une photo ou une vidéo afin de fournir un score de confiance déterminant si le média est artificiellement manipulé. L’outil fonctionne en détectant la frontière de fusion du deepfake et les atténuations subtiles que l’œil humain ne perçoit pas.

À l’époque, il a également introduit une technologie pour identifier le contenu falsifié et confirmer l’authenticité des médias avec lesquels les gens interagissent. Il comprenait un outil permettant à un créateur d’ajouter des hachages numériques et des certificats à son contenu, qui résident dans les métadonnées. Un lecteur, quant à lui, pouvait vérifier les certificats et comparer les hachages pour l’authenticité du contenu.

Le géant technologique a toutefois averti que l’utilité à court terme de la technologie était limitée à l’ère alimentée par l’IA. Puisque les deepfakes sont générés par une IA qui apprend continuellement, il n’est qu’une question de temps avant qu’ils ne dépassent les méthodes de détection traditionnelles.

À peu près à la même période, Facebook, une société Meta (META ) a également lancé un concours pour développer un détecteur de deepfake en utilisant les données que les chercheurs n’avaient pas précédemment à leur disposition.

Il y a quelques années, Intel (INTC ) a présenté FakeCatcher, un détecteur de deepfake en temps réel dont il affirme une précision de 96 %.

L’outil utilisait OpenVino pour exécuter des modèles IA de détection de visages et de points de repère, tandis que les blocs de vision par ordinateur étaient optimisés avec ses Integrated Performance Primitives et OpenCV. En termes de matériel, la plateforme pouvait exécuter plus de soixante‑dix flux de détection différents simultanément sur ses processeurs Xeon® Scalable de 3ᵉ génération.

Au lieu de chercher ce qui ne va pas, FakeCatcher recherche des indices authentiques en évaluant ce qui nous rend humains, puis fait traduire ces signaux en cartes spatio‑temporelles par des algorithmes, et enfin utilise l’apprentissage profond pour détecter instantanément si une vidéo est réelle ou truquée.

L’année dernière, OpenAI a également annoncé qu’elle recherchait des outils pour aider à l’authenticité du contenu.

Cela comprend le filigrane texte, qui, selon eux, est efficace contre les falsifications localisées mais pas tant contre les falsifications globales. Ils ont également déclaré que cela pourrait « avoir un impact disproportionné » sur les groupes tels que les non‑anglophones.

Cette mise à jour est survenue après que le Wall Street Journal a rapporté que l’entreprise avait déjà développé un outil qui filigrane et détecte le texte généré par ChatGPT avec « haute précision » pour un certain temps, mais n’a pas encore pris de décision pour le publier.

De plus, OpenAI a rejoint le comité directeur du C2PA (Coalition for Content Provenance and Authenticity), une norme largement utilisée pour la certification du contenu numérique. L’entreprise ajoute des métadonnées C2PA à toutes les images créées et modifiées par ses services, dans le cadre d’outils de détection d’images.

Cette année, Google a également développé son propre outil de détection de texte, d’image, d’audio et de vidéo générés par l’IA, appelé SynthID Detector.

L’outil de Google, cependant, ne fonctionne que pour le contenu généré à l’aide des propres services IA du géant, tels que Gemini, Imagen, Veo et Lyria. Cela est parce que l’outil identifie essentiellement la présence d’un « filigrane » que les produits de Google intègrent dans leurs sorties.

Un filigrane est un élément unique, lisible par machine, intégré dans le contenu. Inaperçu par les humains, il peut être détecté et extrait par des algorithmes conçus à cet effet.

À l’intérieur de la technologie qui alimente la percée d’UNITE

Ainsi, à mesure que la technologie IA progresse rapidement, les outils de détection du contenu généré avec son aide évoluent également. Mais il n’existe pas d’outil universel utilisable par tous pour tous les types de contenu IA.

De plus, les techniques de détection de deepfake existantes se concentrent principalement sur les manipulations faciales telles que le synchronisation labiale ou l’échange de visages, et les avancées technologiques les rendent inadéquates.

Avec les progrès technologiques des modèles génératifs texte‑vers‑vidéo (T2V) et image‑vers‑vidéo (I2V), il est désormais possible pour n’importe qui de créer facilement du contenu synthétique entièrement généré par l’IA et des altérations d’arrière‑plan fluides. Cela met, bien sûr, tout le monde — des individus aux institutions, voire aux nations — en risque sérieux.

Dans ce contexte, la dépendance totale des anciens détecteurs de deepfake au visage les rend obsolètes dans le monde technologique actuel.

« S’il n’y a pas de visage dans le cadre, de nombreux détecteurs ne fonctionnent tout simplement pas. Mais la désinformation peut prendre de nombreuses formes. Modifier l’arrière‑plan d’une scène peut déformer la vérité tout aussi facilement. »

– Kundu

Ainsi, les détecteurs conventionnels ne fonctionnent pas sur les nouvelles manipulations, car le nouveau contenu synthétique incluant des scènes et arrière‑plans complets représente un défi pour les méthodes centrées sur le visage.

Cela exige une approche plus polyvalente. En réponse, les chercheurs de l’UC Riverside ont présenté UNITE.

Le modèle Universal Network for Identifying Tampered and Synthetic Videos (UNITE) capture les manipulations plein cadre.

« Les deepfakes ont évolué, » déclare Kundu, dont le travail à l’UC Riverside porte sur l’exploitation des modèles fondamentaux pour des tâches de vision avancées, y compris la segmentation d’images et la détection de médias falsifiés. « Ils ne concernent plus seulement les échanges de visages. Les gens créent maintenant des vidéos entièrement fausses — des visages aux arrière‑plans — en utilisant des modèles génératifs puissants. Notre système est conçu pour détecter tout cela. »

Le modèle étend les capacités de détection aux scénarios sans visages ou sans sujets humains, et en plus de cela, il peut identifier les légères incohérences spatiales et temporelles et même détecter des modifications d’arrière‑plan complexes que les systèmes précédents ont manquées.

Ainsi, en examinant les visages ainsi que les arrière‑plans et les motifs de mouvement , couvrant ainsi les images vidéo complètes, UNITE offre l’un des premiers outils à identifier les vidéos synthétiques qui ne reposent pas uniquement sur le contenu facial.

Pour cela, le modèle utilise un modèle d’apprentissage profond basé sur les transformeurs, un type de réseau neuronal qui emploie un mécanisme d’attention multi‑têtes pour traiter des données séquentielles. Ici, le texte est converti en représentations numériques appelées tokens. Cette architecture est en fait la base de nombreux modèles de langage modernes comme GPT. 

En traitant l’information en parallèle, les transformeurs peuvent accélérer l’entraînement et améliorer les performances.

Dans le cas d’UNITE, l’architecture basée sur les transformeurs traite des caractéristiques agnostiques du domaine qui sont extraites des vidéos via le modèle de base SigLIP‑So400M. Le cadre IA fondamental SigLIP extrait des caractéristiques non limitées à un objet ou une personne spécifique.

En raison de jeux de données limités couvrant les changements à la fois faciaux /arrière‑plan et le contenu texte‑vers‑vidéo / image‑vers‑vidéo, l’équipe a utilisé des stratégies d’entraînement innovantes pour leur modèle. Cela signifie un entraînement avec des données non pertinentes pour la tâche ainsi que des données deepfake standard. 

Ainsi, en plus du jeu de données populaire FaceForensics++, l’équipe a également utilisé le jeu de données SAIL‑VOS‑3D, qui simule des environnements complexes, offrant des scènes synthétiques diverses utiles pour entraîner des modèles de détection IA. Notamment, ce jeu de données a été initialement conçu pour la segmentation d’objets vidéo 3D dans le jeu GTA‑V. Bien qu’il ne soit pas généré par l’IA, le jeu de données est entièrement synthétique et, à ce titre, aide à simuler des médias générés par l’IA. L’équipe a constaté que cela améliorait la capacité du modèle à détecter diverses formes de manipulation synthétique.

Google a fourni l’accès aux jeux de données requis ainsi que les ressources informatiques pour entraîner le modèle. 

Afin de réduire la propension du modèle à se concentrer excessivement sur les visages, l’équipe a également utilisé une perte d’attention‑diversité (AD), qui encourage une attention spatiale variée à travers les images vidéo.

La perte AD a été combinée avec l’entropie croisée, également connue sous le nom de fonction de perte logarithmique, couramment utilisée en apprentissage automatique pour mesurer la performance d’un modèle de classification, afin d’améliorer les performances du modèle dans diverses situations.

Juste entraîner le modèle avec la perte d’entropie croisée (CE) tend à le rendre difficile à gérer pour les vidéos où un sujet humain réel apparaît avec un arrière‑plan manipulé ou un contenu généré par des modèles T2V et I2V.

Ainsi, l’équipe a introduit la perte AD, qui incite le système à surveiller plusieurs régions visuelles dans chaque image, renforçant ainsi la capacité du modèle à capter les signes importants à la fois du premier plan et de l’arrière‑plan.

La perte AD représente l’innovation clé de l’approche de l’équipe, permettant à UNITE non seulement d’exceller dans la détection de vidéos générées par l’IA et altérées en arrière‑plan, mais aussi d’améliorer notablement la détection du contenu manipulé au visage habituel.

En comparant les performances d’UNITE avec d’autres modèles, l’équipe a constaté qu’il « surpasse les détecteurs à la pointe de la technologie sur des jeux de données (en configurations cross‑data) présentant des manipulations visage/arrière‑plan et des vidéos T2V/I2V entièrement synthétiques, démontrant son adaptabilité et ses capacités de détection généralisables. »

Dans un monde de plus en plus numérisé et automatisé, le nouveau système offre un détecteur universel capable d’identifier une gamme de faux, des simples échanges de visages aux vidéos entièrement synthétiques créées sans aucune séquence réelle. Selon Kundu :

« C’est un modèle qui gère tous ces scénarios. C’est ce qui le rend universel. »

Actuellement en cours de développement, UNITE, selon ses créateurs, constitue un outil précieux dans le paysage naissant de la détection vidéo synthétique. Bientôt, il pourra jouer un rôle clé dans la défense contre la désinformation vidéo.

Investir dans la détection basée sur l’IA

Dans le domaine de l’IA, Palantir Technologies (PLTR ) est reconnue pour son intégration de données alimentée par l’IA, sa reconnaissance de motifs et sa détection d’anomalies. 

L’entreprise opère à travers quatre principales plateformes logicielles : Gotham, Foundry, Apollo et AIP. Apollo est une couche de contrôle unique qui coordonne la configuration, les mises à jour de sécurité et la livraison de nouvelles fonctionnalités afin d’assurer le fonctionnement continu des systèmes critiques. Gotham permet aux utilisateurs d’identifier des motifs cachés au sein de jeux de données, tandis que Foundry sert de système d’exploitation pour une gestion efficace des actifs et des risques. AIP permet aux entreprises d’exécuter des LLM et d’autres modèles avec un contrôle complet.

Palantir Technologies (PLTR )

Palantir bénéficie de liens étroits avec le gouvernement américain, l’armée et les agences de renseignement. Cette année, elle a obtenu un contrat de 30 millions de dollars pour apporter une analyse IA aux dossiers d’immigration.

Avec une capitalisation boursière de 372 milliards de dollars, les actions PLTR se négocient actuellement à 157,72 $, en hausse de 109,35 % depuis le début de l’année, grâce à la demande d’IA, à l’intérêt massif des particuliers et à l’expansion des contrats gouvernementaux. Son BPA (TTM) est de 0,23, et le PER (TTM) est de 687,90.

Financièrement, Palantir a enregistré une hausse de 39 % d’une année sur l’autre du chiffre d’affaires, atteignant 884 millions de dollars au premier trimestre 2025. Son chiffre d’affaires aux États‑Unis a, quant à lui, progressé de 55 % d’une année sur l’autre pour atteindre 628 millions de dollars, dont 255 millions de dollars de revenus commerciaux américains et 373 millions de dollars de revenus gouvernementaux américains.

Au cours de cette période, l’entreprise a enregistré son plus haut contrat total commercial aux États‑Unis, le reste de la valeur du contrat s’élevant à 2,32 milliards de dollars. 

Le nombre de clients de Palantir au 1T25 a augmenté de 39 % d’une année sur l’autre. Son bénéfice GAAP par action était de 0,08 $, et le BPA ajusté était de 0,13 $. La trésorerie, les équivalents de trésorerie et les titres du Trésor américain à court terme s’élevaient à 5,4 milliards de dollars à la fin du trimestre.

« Nous livrons le système d’exploitation pour l’entreprise moderne à l’ère de l’IA. Nous sommes au cœur d’un bouleversement tectonique dans l’adoption de notre logiciel, notamment aux États‑Unis. »

– PDG Alexander C. Karp

Dernières Palantir Technologies (PLTR) Actualités et Développements

Conclusion

L’avènement de l’intelligence artificielle a completement transformé le monde, les individus et les organisations adoptant de plus en plus la technologie pour améliorer la productivité et optimiser la prise de décision.

Prévue pour contribuer des billions à l’économie mondiale, l’IA n’est pas sans danger. Les deepfakes et leur utilisation pour désinformer et frauder les personnes constituent l’un des risques les plus critiques de l’adoption généralisée de l’IA. 

À mesure qu’il devient plus difficile de distinguer le réel du synthétique, des outils comme UNITE deviennent d’autant plus importants et urgents. Avec ce modèle IA généralisable comme protection contre le contenu falsifié, nous pourrons peut‑être atténuer les effets négatifs de l’IA tout en profitant de ses effets positifs sur notre travail et nos vies.

Cliquez ici pour tout savoir sur l’investissement dans l’intelligence artificielle.

Références :

1. Kundu, R.; Xiong, H.; Mohanty, V.; Balachandran, A.; Roy‑Chowdhury, A. K.; et al. Vers un détecteur vidéo synthétique universel : des manipulations de visage ou d’arrière‑plan au contenu entièrement généré par l’IA. arXiv preprint arXiv:2412.12278 (2024). https://doi.org/10.48550/arXiv.2412.12278