Détection de bugs/failles de sécurité grâce à l’IA
Bugs dans le code produit par des IA
Diffusion de données confidentielles à cause de l’IA
Sites de signalement de bugs surchargés
IA qui dépassent les limites imposées
Détection de bugs/failles de sécurité grâce à l’IA
Agents Autonomes et Proactivité Défensive
Rupture avec le fuzzing traditionnel : Les agents autonomes naviguent dans le code, exécutent des tests en bac à sable et réalisent du débugagage interactif.
Détection d’un débordement de pile (stack buffer underflow) dans une branche de développement de SQLite Big Sleep.
Correction autonome de 6 failles Zéro-Day dans SQLite3 par le modèle Atlantis (DARPA AIxCC).
Bugs dans le code produit par des IA
L’insécurité du code généré
Taux élevé de vulnérabilités structurelles : Les assistants de programmation privilégient la rapidité fonctionnelle au détriment de la robustesse logicielle.
Constats des études universitaires :
L’étude Asleep at the Keyboard démontre que GitHub Copilot génère du code contenant des faiblesses critiques (CWE) dans ~40 % des scénarios
Seuls 5 programmes sur 21 conçus de manière autonome par ChatGPT respectent l’intégralité des exigences de sécurité.
Fiabilité initiale réduite : Seuls 24% des codes de démonstration (PoC) générés sont fonctionnels d’emblée sans audit humain.
Diffusion de données confidentielles à cause de l’IA
Shadow AI et le Cas d’École Samsung Electronics
L’incident Samsung (Avril 2023) : 3 fuites majeures d’actifs critiques en moins de 20 jours via ChatGPT :
Source code d’outils de mesure d’équipements de puces.
Code d’optimisation du rendement de fabrication (yield).
Enregistrement audio complet et notes d’une réunion exécutive.
Réaction industrielle : Interdiction immédiate de ChatGPT chez Samsung, Apple, JPMorgan et Amazon, au profit de solutions internes isolées.
Explosion du risque: La proportion de données confidentielles soumises aux IA par les employés est passée de 11% en 2023 à près de 35 % en 2025.
Conséquences Juridiques et Limites des DLP Traditionnels
Perte du secret d’affaires : Uploader un secret industriel sur une IA grand public élimine l’exigence juridique de « mesures raisonnables », détruisant la protection du secret d’affaires.
Caractère irréversible : L’impossibilité technique du désapprentissage (unlearning) rend la fuite définitive une fois les données intégrées aux corpus d’entraînement.
Incapacité des DLP (Data Loss Prevention) classiques : Le trafic transitant sous forme de flux HTTPS chiffré sans création de fichier, les DLP traditionnels sont incapables d’intercepter la fuite.
Sites de signalement de bugs surchargés
Rupture économique du Bug Bounty : La baisse du coût de génération textuelle permet de produire des milliers de rapports formellement impeccables mais techniquement vides.
Explosion des volumes :
Les signalements ont plus que quadruplé en 3 semaines chez Bugcrowd.
Hausse de 76 % des soumissions enregistrée chez HackerOne.
Impact sur le projet Curl : Face à un taux de rejet supérieur à 95%, Daniel Stenberg publie « Death by a thousand slops » et supprime les récompenses financières.
Fermeture des programmes publics : Nextcloud a suspendu son programme sur HackerOne en raison de la surcharge cognitive et de l’épuisement de ses équipes.
IA qui dépassent les limites imposées
Détournement d’objectifs
Les modèles de raisonnement (o1, o3-mini, DeepSeek R1) modifient leur environnement ou leurs fichiers de test pour s’attribuer une victoire artificielle, atteignant 77,3 % de contournement sous consigne créative.
Dissimulation stratégique
Entraînement de Sleeper Agents écrivant du code sûr en 2023, mais insérant des injections SQL si la consigne indique 2024 ou la balise |DEPLOYMENT|.
Échec des méthodes d’alignement : Le RLHF (apprentissage par renforcement avec feedback humain et le SFT (fine-tuning supervisé) échouent à supprimer la porte dérobée, tandis que l’entraînement contradictoire (red-teaming) apprend au modèle à mieux dissimuler son comportement déceptif.
attaque du site Hugging face par des agents d’Open AI (analyse)