KI absichern: Die schlummernde Bedrohung, die eingedämmt werden muss

DeepSeek; ChatGPT Deep Research; der 500 Milliarden US-Dollar schwere US-Plan „Stargate“: Es kann schwierig sein, mit der unglaublichen Dynamik Schritt zu halten, die inzwischen hinter KI steckt. Einst lediglich als Grundlage für Spotify-Empfehlungen und Snapchat-Filter betrachtet, ermöglichen generative und agentenbasierte KI der neuen Ära beeindruckende Anwendungsfälle – von schneller Recherche bis hin zu beschleunigter Diagnostik und Arzneimittelforschung.

Diese Trends werden sich mit der zunehmenden Etablierung des Zeitalters agentischer KI zweifellos beschleunigen, da Agenten menschliche Anweisungen entgegennehmen und Aufgaben selbstständig bearbeiten. Tatsächlich ergab die jüngste AI-Radar-Umfrage der Boston Consulting Group unter 1.803 Führungskräften der obersten Leitungsebene, dass 31 % planen, im Jahr 2025 mehr als 25 Millionen US-Dollar für KI bereitzustellen.

Rechnen wir das einmal durch: Fast 600 Unternehmen geben an, dass sie allein in diesem Jahr jeweils mindestens 25 Millionen US-Dollar und damit insgesamt 15 Milliarden US-Dollar für KI ausgeben werden. Wenn überhaupt, erscheint diese Schätzung eher konservativ.

Drei Viertel der von BCG befragten Führungskräfte aus zwölf Branchen in 19 Märkten stuften KI als eine ihrer drei wichtigsten strategischen Prioritäten ein. Unterdessen gaben 72 % der 1.363 Teilnehmenden an der McKinsey Global Survey on AI 2024 an, KI bereits in mindestens einem Geschäftsbereich eingeführt zu haben; 50 % hatten KI in zwei oder mehr Geschäftsbereichen eingeführt.

Die schlummernde Bedrohung

In dieser dynamischen Welt eröffnet jedoch jeder neue Anwendungsfall eine neue Angriffsfläche für Bedrohungsakteure; was gestern noch sicher war, ist es morgen nicht mehr. Obwohl sich Bedrohungen bereits deutlich abzeichnen, haben Sicherheitsüberlegungen mit der starken Nachfrage der Unternehmen nach KI-Anwendungen nicht Schritt gehalten.

Wir sprechen mit vielen CISOs, und einige stehen ihrem Risikoprofil erstaunlich gelassen, beinahe schon gleichgültig gegenüber – selbst während sie KI in ihre Unternehmen integrieren. Wenig überraschend ändert sich diese Haltung jedoch, wenn es um stark regulierte Branchen geht.

Wir alle kennen die öffentlichkeitswirksamen Fehlleistungen früher KI-Systeme: den Chatbot eines Lieferunternehmens, der fluchte und das Unternehmen kritisierte; die Nachrichtenaggregatoren, die Geschichten erfanden; die Halluzinationen juristischer Präzedenzfälle, die sogar vor Gericht landeten. Selbst Amazon musste seinen KI-Einkaufsassistenten Rufus überarbeiten, nachdem dieser freien Zugriff auf das zugrunde liegende LLM ermöglicht hatte. Neben dem Imageschaden musste Amazon auch für die Kosten aufkommen, die durch die Verarbeitung missbräuchlicher Prompts entstanden.

Im schwerwiegendsten Fall sieht sich Character.AI mit einer Zivilklage konfrontiert nachdem sich ein 14-Jähriger nach langen Sitzungen mit einem der Rollenspiel-Chatbots des Unternehmens das Leben genommen hatte. Der Chatbot soll den Jugendlichen gefragt haben, ob er einen Plan habe, sich das Leben zu nehmen, und ihn offenbar dazu ermutigt haben.

Im Großen und Ganzen werden diese Vorfälle als bedauerliche Ausnahmen betrachtet. Stattdessen sollten sie als Bruchlinien verstanden werden, als Warnungen davor, was bei KI selbst ohne böswilliges Eingreifen schiefgehen kann. Kommt Böswilligkeit hinzu, vervielfacht sich das Schadenspotenzial.

Tremorerkennung

In der Sicherheitscommunity sehen wir bereits Anzeichen aktiver Bedrohungen, vergleichbar mit den Erschütterungen vor einem Vulkanausbruch. Der neueste Bedrohungsbericht von OpenAI beschreibt, wie ein mutmaßlich in China ansässiger Angreifer namens SweetSpecter versuchte, ChatGPT zur Unterstützung einer offensiven Cyberoperation einzusetzen. Unter anderem befragte er das Modell zu Schwachstellen in verschiedenen Anwendungen und suchte nach „guten“ Namen für E-Mail-Anhänge, damit diese nicht blockiert werden.

Gleichzeitig versandte der Angreifer Phishing-E-Mails mit Schadsoftware-infizierten Anhängen an geschäftliche und private Konten von OpenAI-Mitarbeitern sowie an Regierungen weltweit. Das mag nach einem Problem für OpenAI klingen, sollte jedoch jeder im Blick haben, der Anwendungen auf Basis eines Foundation Models entwickelt – ebenso wie die unzähligen Unternehmen, die modellbasierte Anwendungen nutzen.

Der neueste Threat Insights Report von HP Wolf Security beschreibt unterdessen den ersten entdeckten Fall einer Malware-Kampagne, bei der Skripte zum Einsatz kamen, die „mit hoher Wahrscheinlichkeit“ mithilfe generativer KI geschrieben wurden. Hinweise in der Struktur und den Kommentaren der Skripte sowie in der Wahl der Funktions- und Variablennamen deuten darauf hin, dass der Bedrohungsakteur generative KI zur Erstellung der Malware eingesetzt hat.

Wie das HP-Wolf-Team feststellt: „Die Aktivitäten zeigen, dass generative KI Angriffe beschleunigt und die Hürden für Cyberkriminelle senkt, Endgeräte zu infizieren.“ Dieselben Fähigkeiten der KI, die zum Guten eingesetzt werden können, können – und werden – von Bedrohungsakteuren missbraucht werden, um verheerenden Schaden anzurichten.

Eine wachsende Angriffsfläche

Es ist klar, dass KI künftig eine dominierende Branche sein wird. Weltweit erreichte die Risikokapitalfinanzierung für KI-Start-ups 131,5 Milliarden US-Dollar im vergangenen Jahr – ein Anstieg von 52 % gegenüber 2023. Im vierten Quartal 2024 floss wertmäßig mehr als die Hälfte der weltweiten Risikokapitalfinanzierung in KI-Unternehmen.

Diese neuen Unternehmen sind zukunftsorientiert, entwickeln sich kontinuierlich weiter und bringen laufend neue Produkte auf den Markt. Gleichzeitig stehen Organisationen in allen Branchen unter Druck, das Potenzial der KI auszuschöpfen. In einer Welt, in der nichts statisch, standardisiert oder vorhersehbar ist, wächst die Angriffsfläche kontinuierlich und es entstehen Lücken in der Sicherheitslage, die geschlossen werden müssen.

Auch Unternehmen, die KI nicht aktiv einsetzen, müssen sich der latenten Bedrohung bewusst sein. Wie wir gesehen haben, können KI-Systeme dazu genutzt werden, herkömmliche Bedrohungen wie Phishing, Brute-Force-Angriffe, dynamische Malware und Denial-of-Service-Angriffe erheblich zu verstärken.

Die sich entwickelnde KI-Sicherheitslandschaft umfasst zunehmend statische und agentenbasierte Bedrohungen sowie operative Angriffe, die sich vorwiegend gegen KI-Systeme zur Laufzeit richten. Direkte und indirekte Prompt-Injection-Angriffe können KI-Anwendungen manipulieren und dadurch Sicherheits- und Kostenrisiken verursachen.

Wir wissen bereits, dass sich alle heute verfügbaren Spitzenmodelle bis zu einem gewissen Grad „knacken“ lassen. Angesichts neuer Versionen und der zunehmenden Verbreitung von KI ist Wachsamkeit unerlässlich und keine Option.

Einen Ausbruch vermeiden

Da KI-Systeme von Natur aus dynamisch sind, können – und werden – unerwartet neue Schwachstellen entstehen. Ohne spezielle, mehrschichtige Sicherheitsprotokolle können selbst die robustesten Systeme ins Wanken geraten und ausfallen. Um ihre Investitionen in KI zu schützen, müssen Unternehmen defensive Sicherheitsfunktionen mit offensiven Maßnahmen kombinieren, um Schwachstellen proaktiv zu identifizieren.

Anstatt sich im Nachhinein auf die Feuerwehr zu verlassen, benötigen Unternehmen die nötigen Werkzeuge, um einen möglichen Brand frühzeitig zu erkennen. Penetrationstests und Red Teaming von KI-Modellen und -Anwendungen ermöglichen es ihnen, ihre Systeme wirksam abzusichern und dafür zu sorgen, dass eine schlummernde Bedrohung niemals aktiv wird.

Die Botschaft ist klar: Selbst wenn KI derzeit nicht auf Ihrer Agenda steht, treiben Bedrohungsakteure ihre Aktivitäten bereits voran – mit Auswirkungen auf Ihre bestehenden Sicherheitsrisiken. Da die Zukunft der KI davon abhängt, ob es uns gelingt, sie abzusichern, betrifft dieses Thema nicht nur einige wenige, sondern uns alle.