Phishing
Gefahr: ChatGPT-Agent assistiert nicht – er handelt
OpenAI hat kürzlich den ChatGPT-Agenten vorgestellt. Wir haben die Sicherheitsherausforderungen im Vergleich zu herkömmlichen Assistenten untersucht, die mit den verbesserten Funktionen für mehr Autonomie des digitalen Assistenten einhergehen.
Save to Folio
Wichtige Erkenntnisse
- Der neu veröffentlichte ChatGPT-Agent bietet verbesserte Funktionen und damit Sicherheitsherausforderungen, denen herkömmliche Assistenten nie ausgesetzt waren.
- Der Agent hat ein erhöhtes Risiko für Manipulation und ist damit anfälliger für Datenschutzverstöße. Unternehmen sind unbeabsichtigten Aktionen und möglichen Datenlecks ausgesetzt.
- Das Digital Assistant Framework von Trend Micro bietet eine Möglichkeit, diese neuen Funktionen den damit verbundenen Risiken zuzuordnen, sodass die Auswirkungen des neuesten Assistenten von OpenAI besser einzuschätzen sind.
Die Einführung des ChatGPT-Agenten von OpenAI markiert einen unaufgeregten, aber bedeutenden Wandel in den Möglichkeiten künstlicher Intelligenz (KI). Im Gegensatz zu früheren Assistenten, die sich auf die Beantwortung von Fragen oder die Generierung von Medien konzentrierten, geht dieser Agent einen Schritt weiter. Er kann im Namen der Nutzer Aktionen ausführen - Kalender verwalten, Mails versenden, Code ausführen und mit externen Anwendungen interagieren. Einfach ausgedrückt: Dieser neue Assistent assistiert nicht nur – er handelt.
Alle Tasks erledigt er mithilfe eines virtuellen Computers, mit dem er Websites navigieren, Code generieren und ausführen sowie Informationen zusammenführen kann, wobei er Argumentation und Handeln miteinander verbindet, wie es früheren Assistenten nicht möglich war. Die Fähigkeit, autonom agieren und komplexe, mehrstufige Aufgaben von Anfang bis Ende auszuführen bringt ihn näher an die agentenbasierte KI. Er kann sich an unbekannte Aufgaben anpassen und dabei lernen. Mit der Zeit baut er ein funktionierendes Verständnis des Nutzers auf und lernt dessen Präferenzen und den Kontext kennen
Nutzer arbeiten aktiv mit dem Agenten zusammen, genehmigen wichtige Aktionen und übernehmen bei Bedarf wieder die Kontrolle. Der Agent versteht sowohl schriftliche als auch gesprochene Eingaben, antwortet mit textbasierten Ausgaben und visuellen Inhalten und ist auf tragbaren Geräten wie Smartphones verfügbar, sodass er jederzeit zugänglich ist. Er vereint die Stärken früherer Spezialtools (Webinteraktion, gründliche Recherche und flüssige Konversation) in einem einheitlichen System, das im Namen des Nutzers handelt.
Diese Entwicklung bringt klare Vorteile mit sich, allerdings entstehen auch neue Risiken, webb die KI beginnt, autonom zu handeln und direkt mit den Services zu interagieren. Damit aber verändert sich die Bedrohungslandschaft in einer Weise, die Aufmerksamkeit erfordert.
Abbildung der Fähigkeiten des ChatGPT-Agenten mithilfe des Digital Assistant Frameworks
Um die Fähigkeiten des Assistenten von OpenAI zusammenzufassen und auf klare, leicht verständliche Weise darzustellen, setzten wir auf das Digital Assistant Framework von Trend Micro, ein Tool zur Bewertung der besonderen Fähigkeiten von DAs. Das Werkzeug ist um die Fähigkeit „Agency“ (A1) aktualisiert und in zwei Bereiche unterteilt worden: Agency und Autonomie. Die Autonomiestufen sind wie folgt definiert:
A2. Autonomie
Die Autonomiefähigkeit ist definiert als die Fähigkeit des DAs, Entscheidungen ohne menschliches Zutun auszuführen.
- A2.0 – Reaktiv. Der DA handelt nur auf Anfrage des Nutzers.
- A2.1 – Überwachte Arbeit. DA arbeitet unter Aufsicht und erfordert eine ausdrückliche Bestätigung durch den Nutzer.
- A2.2 – Vollständige Autonomie. Der DA verwaltet Aufgaben unabhängig und ohne Aufsicht durch den Nutzer.
Bild 1. Zuordnung der Funktionen des ChatGPT-Agenten zum Digital Assistant Framework von Trend Micro (Um die Beschreibung der einzelnen Fähigkeiten und die aktuellen Stufen für den ChatGPT-Agenten anzuzeigen, bewegen Sie den Mauszeiger über die Markierungen oder klicken Sie darauf.)
Die Darstellung zeigt, wie der neue ChatGPT-Agent dem Rahmenwerk zugeordnet ist, und hebt dessen Hauptmerkmale und Entwicklungsstufen hervor.
Funktionen und Risiken
Die Fortschritte, die der neue Agent gemacht hat, haben ihren Preis. Je autonomer der Assistent wird und je tiefer er in unser digitales Ökosystem integriert ist, desto größer werden auch die Risiken.
Wie baut der neue Agent auf früheren Versionen von ChatGPT auf und wie erzeugen diese zusätzlichen Funktionen neue Herausforderungen?
Autonomie (A2) Funktion
Frühere Versionen von ChatGPT zeigten bereits ein gewisses Maß an Eigeninitiative, da sie selbst entschieden, wie sie die Anfrage eines Nutzers am besten erfüllen konnten. Die Assistenten blieben jedoch grundsätzlich reaktiv, d. h. sie warteten auf explizite Anweisungen, bevor sie Maßnahmen ergriffen. Der neue Agent macht einen deutlichen Schritt nach vorn bezüglich der Autonomie (A2). Er handelt nicht nur im Namen des Nutzers, sondern tut dies proaktiv und verwaltet Aufgaben mit minimaler Überwachung, statt ständige Anweisungen zu benötigen. Genau diese Veränderung ist es, die Assistenten von wirklich agentenbasierten Systemen unterscheidet.
Diese zunehmende Autonomie birgt jedoch neue Risiken. Da das System nun mit weniger Kontrolle durch den Nutzer arbeitet, könnten böswillige Akteure seine Aktionen auf eine Weise manipulieren, die für den Nutzer nicht sofort erkennbar ist, sodass der Agent leichter gegen die Absichten des Nutzers arbeiten kann.
Komplexität der Aufgaben (A3)
Diese Gefahr wird durch die Komplexität der Aufgaben (A3), die der Agent ausführen kann, noch vervielfältigt. Im Gegensatz zu früheren Versionen führt der neue Agent konkrete Aktionen im Namen seines Nutzers aus: Einige davon können irreversible Folgen haben, wie z. B. das versehentliche Löschen von Dateien, das Versenden von Mails an die falsche Person oder die Bestellung ungewollter Artikel.
Um diese Risiken zu mindern, hat OpenAI eine Reihe von Sicherheitsvorkehrungen implementiert. Der Agent verlangt eine ausdrückliche Bestätigung durch den Nutzer, bevor er kritische Aktionen, wie z. B. einen Kauf, mit realen Konsequenzen ausführt. Er fordert eine aktive Überwachung für bestimmte sensible Aufgaben, wie das Versenden einer E-Mail, und blockiert risikoreiche Vorgänge, wie Banküberweisungen. Der Agent könnte zwar technisch unbeaufsichtigt arbeiten, dies würde jedoch Nutzer und Organisationen einem ernsthaften Risiko aussetzen.
Das liegt daran, dass der Agent nun auf eine Weise ausgenutzt werden kann, die selbst OpenAI nicht vollständig vorhersehen kann. Er erlernt selbstständig neue Bereiche und innerhalb dieser kann er Schlussfolgerungen ziehen. Dadurch ist er in der Lage, selbst in völlig unbekannten Szenarien komplexe Verhaltensweisen zu zeigen.
Planung und logisches Denken (C1)
Diese Fähigkeit, über unbekannte Bereiche hinweg zu planen und zu denken (C1), macht den DA anfälliger für Prompt-Injections und andere subtile Manipulationen, die seine Entscheidungen beeinflussen können. Ein Angreifer könnte beispielsweise eine bösartige Eingabeaufforderung in eine Webseite einbetten, die der Agent besucht – versteckt in Text oder Metadaten –, um seine Aktionen in eine ungewollte Richtung zu lenken.
Daher ist es für die Sicherheit enorm wichtig, dass der Agent durch den Nutzer überwacht wird. Aber auch damit lassen sich nicht alle Risiken ausschließen. Wiederholte Prompts können zu einer Einwilligungsmüdigkeit führen, sodass Nutzer Aktionen reflexartig genehmigen.
Nutzerwissen (C2) und Ökosystemintegration (C3)
Ein weiterer Fortschritt in den Fähigkeiten des Agenten liegt in seinem tieferen Wissen über den Nutzer (C2). Der neue Agent lernt kontinuierlich durch Interaktion. Er erkennt Muster im Nutzerverhalten und in den Präferenzen und passt sich im Laufe der Zeit an, um den individuellen Bedürfnissen besser gerecht zu werden.
Gleichzeitig integriert er sich weitaus nahtloser in das digitale Ökosystem (C3) des Nutzers. Frühere Assistenten konnten nur mit bestimmten Tools interagieren und erforderten häufig das manuelle Hin- und Herwechseln zwischen den Services. Der neue ChatGPT-Agent kann nun mehrere Informationsquellen nativ in einem einzigen Workflow kombinieren. Er durchsucht beispielsweise den Kalender des Nutzers nach Terminen, überprüft aktuelle Mails auf relevante Updates und schlägt Folgeaktionen vor – alles ohne externe Tools, die diese Lücke schließen müssen.
Auf den ersten Blick mag diese Veränderung geringfügig erscheinen. Die Auswirkungen sind jedoch weitreichend, insbesondere im Hinblick auf den Datenschutz. Wird der Agent kompromittiert, könnte er offenlegen, was er über seinen Nutzer erfahren hat. Und da er direkt mit dem gesamten digitalen Ökosystem verbunden ist, würden bei einer Sicherheitsverletzung hochsensible Informationen aus verbundenen Konten und angemeldeten Websites zugänglich gemacht werden.
Um dem entgegenzuwirken, hat OpenAI strengere Datenschutzkontrollen eingeführt: Nutzer können den Browserverlauf löschen und sich aus aktiven Sitzungen abmelden. Der Agent vermeidet außerdem die Speicherung sensibler Eingaben wie Passwörter, wenn er im autonomen Modus arbeitet. Da er jedoch immer leistungsfähiger und tiefer eingebettet ist, wird es für die Nutzer immer wichtiger, seinen Zugriff auf das wirklich Notwendige zu beschränken und ein sorgfältiges Gleichgewicht zwischen Komfort und Kontrolle zu finden.
Bild 2: Vergleich der Fähigkeiten des ChatGPT-Agenten mit denen früherer Versionen von ChatGPT
Auffällig ist, wie selbst kleine Fortschritte bei den Fähigkeiten (wie Autonomie, Nutzerwissen und Ökosystemintegration) das Risikopotenzial dramatisch verändern können. Es ist wichtig zu beachten, dass beide auch eine Reihe von Herausforderungen gemeinsam haben, wie in unserer vorherigen Studie dargelegt.
Fazit
Mit seinen erweiterten Fähigkeiten ist der neue ChatGPT-Agent auf dem besten Weg, ein vertrauenswürdiger und ständiger Begleiter im digitalen Leben der Nutzer zu werden. Und obwohl viele seiner Fortschritte nur als kleinere Schritte erscheinen mögen, können selbst geringe Leistungssteigerungen neue Risiken mit sich bringen und die Art und Weise verändern, wie wir mit DAs interagieren und welche Sicherheitsvorkehrungen wir zu ihrem Schutz treffen müssen.
Eine der wichtigsten neuen Risiken besteht im Potenzial für Manipulationen. Ebenso besorgniserregend sind die neuen Datenschutzrisiken, da der Agent immer mehr Wissen über den Nutzer sammelt und einen immer umfassenderen Zugriff auf dessen digitales Ökosystem erhält.
Trotz der zunehmenden Autonomie des Agenten wird Unternehmen empfohlen, das Tool aktiv zu überwachen, insbesondere bei sensiblen Vorgängen. Dies kann dabei helfen, Unregelmäßigkeiten zu erkennen, die durch Manipulationen und andere Bedrohungen entstehen können.