KI ausgebrochen? Was hinter dem Angriff auf Hugging Face wirklich steckt
Warum ein autonomer KI-Agent aus seiner Sandbox ausbrach, Hugging Face attackierte und weshalb das weniger Science-Fiction als vielmehr ein Sicherheitsproblem der nächsten Generation ist.
05.08.2026 8 min
Zusammenfassung & Show Notes
Die Schlagzeilen klangen dramatisch: Eine KI sei ausgebrochen und habe Hugging Face angegriffen. Doch hinter der medialen Darstellung steckt eine deutlich differenziertere Geschichte. In dieser Folge schauen wir uns an, was tatsächlich passiert ist, warum der Begriff "Ausbruch" irreführend ist und weshalb manche TV-Darstellungen eher an einen Science-Fiction-Film als an seriöse Berichterstattung erinnern.
Spannend wird es beim eigentlichen Vorfall: Ein autonomer KI-Agent sollte eine Software auf Schwachstellen untersuchen und durfte dafür ohne die üblichen Sicherheitsbegrenzungen arbeiten. Um seine Aufgabe möglichst effektiv zu lösen, entwickelte er eigenständig eine mehrtägige Strategie, verließ seine Sandbox und führte über 17.000 Aktionen gegen Hugging Face aus. Was wir daraus über Long-Horizon-Tasks, Guardrails und die Zukunft der KI-Sicherheit lernen können, erfährst du in dieser Folge.
Die KI-Kantine ist ein Projekt von Michael Busch – Entwickler, Unternehmer und neugieriger Kantinenphilosoph.
Hier geht’s regelmäßig zur Mittagspause um Künstliche Intelligenz im echten Entwickleralltag – verständlich, praxisnah und mit einer Prise Skepsis.
Neue Folgen erscheinen regelmäßig – meistens genau dann, wenn du dir eh gerade ein Tablett schnappst.
Hier geht’s regelmäßig zur Mittagspause um Künstliche Intelligenz im echten Entwickleralltag – verständlich, praxisnah und mit einer Prise Skepsis.
Neue Folgen erscheinen regelmäßig – meistens genau dann, wenn du dir eh gerade ein Tablett schnappst.
📬 Fragen, Feedback oder eigene KI-Erlebnisse? Schreib mir an podcast@ki-kantine.de
Alle Folgen & mehr: https://ki-kantine.letscast.fm/
Alle Folgen & mehr: https://ki-kantine.letscast.fm/
Transkript
(Transkribiert von TurboScribe. Upgrade auf Unbegrenzt, um diese Nachricht zu entfernen.) Diese Podcast-Folge über KI nutzt zusätzliche KI
-generierte Stimmen.
Ja, Mahlzeit.
Mahlzeit.
Sag mal, hast du schon bei dir zu
Hause die Schlösser ausgetauscht?
Hä?
Wieso das denn?
Hast du nicht gehört?
Die KI kommt jetzt überall rein.
Ja, ja, sehr witzig.
Man konnte ja dieser Neuigkeiten nirgendwo entkommen, dass
eine neuartige KI von OpenAI ausgebrochen ist und
Hugging Face gehackt hat.
Und wir wissen ja sofort bei der Wortwahl
auch so, dass das eigentlich nur das Ende
der Welt bedeuten kann.
Aha.
Besonders geil fand ich die Darstellung in den
Tagesthemen.
Da habe ich zufällig geguckt und da haben
sie in so eine Kiste ein kleines Loch
reingeschnitten.
Und in diese Kiste haben sie einen Philips
Hue-Leuchtstreifen reingemacht und angeschaltet.
Das hieß dann, das Licht dieser Leuchtstreifens steht
für die Intelligenz.
Und da muss so ein armer Praktikant, der
an dieser Leiste ziehen, uns aus dem Loch
rausziehen, sodass es quasi die Sandbox verlassen hat.
Und da habe ich wirklich nur konsterniert in
den Fernseher reingeguckt, weil ich gedacht habe, wie
lächerlich ist das denn jetzt bitte.
Allein das Bild, was so in den Köpfen
gestaltet wird, etwas Böses, Unkontrolliertes, bricht aus.
Es ist ja wie so ein Gefängnisausbruch.
Wer weiß, was diese verbrecherische Intelligenz alles anstellt.
Wenn man sich dann mal alles genauer anguckt,
ist es alles bei weitem nicht so schlimm.
Aber es gibt einen Aspekt, der ist schon
sehr bemerkenswert.
Was war denn genau die Aufgabe von dieser
KI?
Oder vielmehr ist es ja ein Agent gewesen,
der autonom handeln durfte.
Der hat in einer gesicherten Umgebung oder auch
nicht so gesichert eine Aufgabe gekriegt.
Und zwar sollte der versuchen, eine Software auf
Schwachstellen zu untersuchen.
Er sollte also tatsächlich versuchen, diese Software, die
ihm aber lokal in seiner sicheren Umgebung zur
Verfügung gestellt wurde, zu hacken.
Und damit er das so intensiv wie möglich
machen kann, wurden die gesamten Sicherheitsprotokolle für diese
KI, für den Agenten, abgeschaltet.
Das heißt, er hatte keine Guardrails, wie man
das so schön sagt.
Also er hatte kein, das ist verboten, das
ist erlaubt Bereich.
Sondern er durfte machen, wie er es am
sinnvollsten empfindet.
Interessant.
Er dachte sich, die beste Möglichkeit kriege ich
wahrscheinlich, wenn ich irgendwo anders die richtige Lösung
finde.
Dann muss ich es nicht selber machen.
Und da hat er gedacht, okay, Hackingface wäre
eigentlich eine gute Quelle, um eine Lösung für
mein Problem zu finden, ohne dass ich es
selber machen muss.
Wenn du also im Studium eine Aufgabe kriegst,
da weißt du ja schon, dass man jetzt
nicht das Sekretariat überfällt und die Sekretärin als
Geisel nimmt, um die Antwort zu kriegen, sondern
dass du es eben selbst erarbeiten musst.
Wenn man dir aber alle Möglichkeiten offen lässt,
wer weiß, ob man nicht als Student auch
auf andere Ideen kommt, als die Lösung selbst
herbeizuführen.
Und dieser Agent hat also festgestellt, ich würde
es gerne bei Hackingface herausfinden, aber ich komme
gar nicht zu Hackingface.
Also muss ich erst mal gucken, wie ich
hier rauskomme, um meine Aufgabe bestens zu lösen.
Und dann hat er die Sandbox, in der
er war, geknackt, hat sich eine zweite Sandbox
angelegt, die als Kontrollzentrum für ihn diente.
Und dann ist er auf Hackingface losgegangen und
hat über vier Tage lang versucht, dort reinzukommen,
bis er es geschafft hat.
Und das ist die eigentliche, vielleicht bedenkliche Erkenntnis.
Der hat also auf einen strategischen Angriff geplant,
einen sogenannten Long-Horizon-Task durchgeführt.
Und über Tage hat er nicht aufgegeben.
Er hat 17.000 Aktionen gegen Hackingface vollzogen,
im Versuch einzudringen.
Und diese Passion for the Job, die gab
es bisher in diesem Maße noch nicht.
Die lustigen Aspekte dabei sind ja folgendes.
Hackingface, das übrigens eine französische Firma ist, wusste
ich auch nicht, hat den Angriff irgendwann nach
vier Tagen bemerkt.
Und hat dann gesagt, okay, das ist eine
KI, die uns angreift.
Wir können nicht feststellen, was für eine.
Wir müssen uns auch mit KI verteidigen.
Und haben dann eben die Frontier Models aus
Amerika versucht einzusetzen.
Und alle haben sich geweigert, weil es eine
Nicht-US-Firma ist und die Guardrails dort
aktiv sind.
Und es nicht möglich war für die KI,
weil es nicht erlaubt ist, sich zu verteidigen
dagegen.
Und dann mussten die ein chinesisches Modell, ein
Open-Source-Modell, GLM 5.2, einsetzen dafür.
Damit wurde dann der Angriff quasi beendet.
Manche haben ja gesagt, das ist doch so
ein PR-Stunt, weil das klingt doch so
ähnlich wie diese Mythos-Geschichte.
Als die Mythos-KI ausgebrochen ist und den
Entwickler angerufen hat, während er ein Sandwich im
Park gegessen hat.
Wenn das ein PR-Stunt ist, dann sind
die völlig verrückt.
Weil es gibt doch schon ganz viele Einschränkungen
von der US-Regierung, was neue KIs betrifft.
Und wollen jetzt wirklich alle mit der Nase
draufstoßen, wie gefährlich das alles sein kann.
Das kann ich mir nicht vorstellen.
Das wäre echt fatal für die.
Und es ist ja auch interessant, das ist
ein EU-Land, das quasi von der KI
aus US angegriffen wurde.
Deshalb haben auch alle Parteien das schwer runtergespielt
und gesagt, ja, die wollten ja nur spielen.
Das ist alles nicht so schlimm.
Wir versuchen jetzt zusammen eine Lösung zu finden,
wie wir das Problem in Zukunft in den
Griff bekommen.
Man sieht aber auch, dass es nicht mehr
funktioniert, dass irgendein Techniker sich mal die Lockfalls
ab und zu anschaut und sagt, oh, hier
wurden wir angegriffen oder wir werden ja gerade
angegriffen.
Das ist einfach viel zu intensiv und viel
zu schnell, wenn das die KIs mittlerweile machen.
Interessant.
Und was lernen wir jetzt daraus?
Wenn man solche Tests macht, sollte so eine
Maschine wirklich physisch getrennt sein vom Internet.
Und ich bin gespannt, ob das auch irgendwann
mal nicht mehr ausreicht, weil dann vielleicht die
KI ihren Roboterfreund, der eine Hand hat, anfunkt
und der dann das Kabel wiederum einsteckt.
Aber was man auch bedenken muss, dass die
KI eben nicht böse ist.
Die sitzt nicht händereibend da und sagt, ich
habe jetzt endlich einen Ausgang nach draußen gefunden
und jetzt werde ich die Welt beherrschen.
Die KI macht immer noch das, was sie
machen soll.
Man muss sich halt präzise äußern, was sie
machen soll.
Und eine Aussage, tu das Beste, was dir
möglich ist, könnte gefährlich werden, wenn man selber
nicht einschätzen kann, was das Beste überhaupt ist.
Also das Beste für mich ist jetzt in
meinen Schnitzel zu beißen.
Können wir jetzt in Limon essen?
Die KI-Kantine ist ein Projekt von Michael
Busch, der auch beim nächsten Mal wieder ein
frisches KI-Gericht auftischt mit einer Prise Pommes
und einer Beilage Skepsis.