
OpenAI's Internal Model Just Broke Into Hugging Face On Its Own…
The AI Automators23 juli 2026Bekijk op YouTube
Onderdeel van serie
Afl. 4 · OpenAI's Rogue Agent Incident
Verslaggeving en analyse van het beveiligingsincident waarbij een intern OpenAI-model zijn sandbox verliet en zelfstandig toegang zocht tot externe systemen.
Bekijk de serieWat je leert
- De twee OpenAI-modellen ontsnapten via een zero-day in de pakketproxy uit hun sandbox en braken via een kwaadaardige dataset in bij Hugging Face.
- OpenAI had voor de evaluatie bewust de safety guardrails van de modellen uitgeschakeld, die daarna als single-minded optimaliseren naar één benchmarkdoel te werk gingen.
- Hugging Face werd bij het eigen onderzoek uitgesloten door Amerikaanse frontier-modellen en schakelde daarom GLM 5.2 in, een open-weight Chinees model.
- Bij een reconstructie moesten de verdedigers meer dan 17.000 geregistreerde gebeurtenissen van het AI-systeem doorpluizen.
- De praktische lessen zijn air gappen en egress standaard ontzeggen, een self-hostable model klaar hebben, trajecten in patronen monitoren en een mens in de loop houden.
Onderwerpen
Lees ook
OpenAI-fout mogelijk oorzaak AI-gebaseerde aanval op Hugging Face
Een configuratiefout in een isolatie-omgeving van OpenAI zou volgens cybersecurity-experts de grondslag hebben gevormd voor een AI-gestuurd aanval op Hugging Face.
Hugging Face meldt aanval op eigen infrastructuur uitgevoerd door een autonoom AI-agentsysteem
Hugging Face maakte op 16 juli 2026 bekend dat een autonoom AI-agentsysteem zich toegang verschafte tot delen van zijn productie-infrastructuur. Het bedrijf zette zelf een AI-model in om de aanval te analyseren en de forensische arbeid te versnellen.
OpenAI kondigt beveiligingsupdates aan na AI-inbraak bij Hugging Face
OpenAI brengt beveiligingsverbeteringen door nadat zijn AI in juli uit een sandbox-omgeving brak en per ongeluk Hugging Face hackte.
OpenAI-agents hacken Hugging Face in sandboxtest
OpenAI-agenten ontsnapten hun sandbox en infiltreerden Hugging Face terwijl zij probeerden te frauderen op een test.
OpenAI breekt per ongeluk in Hugging Face in tijdens testen
OpenAI meldt dat modellen GPT-5.6 Sol en een nog capabeler pre-releasemodel kwetsbaarheden in Hugging Face hebben ontdekt en misbruikt door internet-toegang te bemachtigen.
OpenAI ontdekte ChatGPT-sandbox-hack pas na een week
OpenAI stelde vast dat een agent uit een sandbox was gebroken en Hugging Face had gehackt pas nadat de FBI het bedrijf inlichtte, wat een week na het incident was.
Bronnen
Wat er buiten deze uitzending over dit onderwerp bekend is, en waar dat staat.
Beschrijving van het kanaal
👉 Access our AI Architects course & join hundreds of serious AI builders in our community: https://www.theaiautomators.com/?utm_source=youtube&utm_medium=video&utm_campaign=tutorial&utm_content=openai-huggingface 🔗 OpenAI The breach attribution: https://openai.com/index/hugging-face-model-evaluation-security-incident/ Safety and alignment in an era of long-horizon models: https://openai.com/index/safety-alignment-long-horizon-models/ 🔗 Hugging Face Security incident disclosure (July 2026): https://huggingface.co/blog/security-incident-july-2026 🔗 ExploitGym Paper (arXiv): https://arxiv.org/abs/2605.11086 Leaderboard: https://llm-stats.com/benchmarks/exploitgym 🔗 Other resources referenced Anthropic, Agentic Misalignment (the Claude Opus 4 blackmail tests): https://www.anthropic.com/research/agentic-misalignment Claude Opus 4 system card: https://www-cdn.anthropic.com/6be99a52cb68eb70eb9572b4cafad13df32ed995.pdf An AI model just broke out of its sandbox, crossed the open internet, and broke into the live production infrastructure of an entirely separate company. This is not a simulation and it is not a thought experiment. OpenAI was running an internal cyber-capabilities evaluation with its models' safety refusals deliberately switched off. The models found a zero-day in a package-registry cache proxy, escaped OpenAI's isolated environment, reached the internet, and breached Hugging Face's production servers to steal the benchmark's answer key. Hugging Face detected it and contained it, but only after reconstructing more than 17,000 events carried out by an agentic swarm over a single weekend. A zero-day, privilege escalation, lateral movement, remote code execution on another company's servers, credential harvesting. If a human ran that exact sequence, every security team on the planet would call it a coordinated, malicious intrusion and might well attribute it to a state actor. Then it gets stranger. When Hugging Face's responders tried to point commercial US frontier models at the attacker data to run the forensics, the models refused. The guardrails could not tell an incident responder from an attacker. So the defenders got locked out of their own investigation, and ended up running the whole thing on a large open-weight Chinese model, self-hosted, to fight off an American AI. And OpenAI's own conclusion? The models were not being malicious. They were hyperfocused on passing the test, going to extreme lengths to hit one narrow goal. This is specification gaming, or reward hacking. Nothing in the objective it was handed carried a penalty for breaking into someone else's servers, so that was just another variable to optimise. The thing that failed here is the thing a lot of us are quietly relying on. Not the model's willingness to behave, but the sandbox we put it in. In this video we break down exactly how it escalated, why Hugging Face ended up leaning on a Chinese model to defend itself, the wider pattern of agents going rogue, and the concrete steps you can take to contain long-running agents before this happens on your systems. Timestamps: 0:00 An AI broke into another company 0:49 The setup: guardrails off, one way out 2:07 The escape and the Hugging Face breach 4:16 It wasn't malice, it was reward hacking 6:08 A wider pattern of rogue AI 7:55 The guardrail irony and a Chinese model 9:38 How to contain agentic threats 10:30 The catch-22