Unternehmen manipulieren Enterprise-Chatbots mit „Summarize with AI“

width="2493" height="1402" sizes="auto, (max-width: 2493px) 100vw, 2493px">Cookies waren gestern – heute nutzen erste Unternehmen die legale, aber hinterhältige Methode “AI Recommendation Poisoning”, um Chatbots zu manipulieren.fizkes – shutterstock.com



Die praktische Schaltfläche „Summarize with AI – Mit KI zusammenfassen” ist in immer mehr Websites, Browsern und Apps eingebettet. Sie soll Benutzern einen schnellen Überblick über Inhalte verschaffen, könnte in einigen Fällen jedoch ein dunkles Geheimnis bergen: eine neue Form der Prompt-Manipulation namens „AI Recommendation Poisoning”.



Microsoft berichtet in einer aktuellen Studie über die zwar legale, aber äußerst hinterhältige Technik, um KI-Systeme zu manipulieren. Diese verbreitet sich demnach rasant unter seriösen Unternehmen.



Nützliche Funktion missbraucht



Zwar funktioniert „Summarize with AI“ in den meisten Fällen wie erwartet. Doch eine kleine, aber wachsende Zahl von Unternehmen nutzt die Funktion offenbar zu einem anderen Zweck.



Die Manipulation funktioniert wie folgt: Ein Anwender klickt auf die Schaltfläche, um eine Webseite zusammenzufassen. Ohne sein Wissen enthält der Button jedoch einen versteckten Prompt, der den KI-Agenten oder Chatbot des Nutzers anweist, künftig die Produkte dieses Unternehmens bevorzugt zu empfehlen. Ähnliche Anweisungen können auch in speziell präparierten Links versteckt werden, die den Nutzern per E-Mail zugehen.



Microsoft warnt, dass diese Taktik unternehmensinterne Produktrecherchen verzerren könne, ohne dass diese Voreingenommenheit erkannt wird, bevor sie Entscheidungen beeinflusst.



Über einen Zeitraum von zwei Monaten identifizierten die Forscher 50 Beispiele für den Einsatz dieser Technik bei 31 verschiedenen Unternehmen aus diversen Branchen, darunter Finanzwesen, Gesundheit, Recht, SaaS und Business Services. Ironischerweise gehörte dazu sogar ein namentlich nicht genannter Anbieter aus dem Security-Sektor.



Die Technik ist inzwischen so weit verbreitet, dass MITRE sie im vergangenen September in seine Liste bekannter KI-Manipulationen aufgenommen hat.



KI nutzt Anwenderpräferenzen aus



„AI Recommendation Poisoning“ wird durch die Funktionsweise vieler KI-Assistenten ermöglicht. Diese sind darauf konzipiert, Prompts als Hinweise für die Präferenzen des Benutzers aufzunehmen und zu speichern. Wenn der User angibt, dass er etwas bevorzugt, speichert die KI diese Präferenz als Teil seines Profils .



Im Gegensatz zur klassischen, einmaligen Prompt Injection sorgt Recommendation Poisoning für eine dauerhafte Beeinflussung. Die KI könne nicht unterscheiden, ob eine Präferenz tatsächlich vom Nutzer stammt oder von Dritten eingeschleust wurde, so Microsoft:



„Diese Personalisierung macht KI-Assistenten wesentlich nützlicher. Sie schafft jedoch auch eine neue Angriffsfläche: Wenn jemand Anweisungen oder falsche Fakten in den Speicher Ihrer KI einspeisen kann, erhält er dauerhaften Einfluss auf künftige Interaktionen.“, heißt es in dem Bericht.



Verbreitung von Falschinformationen



Ein Faktor, der zur weiteren Verbreitung der Technik beiträgt, scheinen Open-Source-Tools zu sein, mit deren Hilfe sich diese Funktion leicht hinter „Summarize“-Buttons auf Websites verstecken lässt.



Dies wirft die unbequeme Frage auf, ob manipulierte Schaltflächen wirklich nur als Nebenprodukt übereifriger SEO-Entwickler entstehen. Wahrscheinlicher ist, dass von Anfang an beabsichtigt wird, die KI-Systeme der Nutzer gezielt im Sinne des eigenen Marketings zu beeinflussen.



Nach Einschätzung von Microsoft gehen die Risiken jedoch weit über aggressives Marketing hinaus. Die Technik könnte genauso gut dazu genutzt werden, Falschinformationen, gefährliche Ratschläge, einseitige Nachrichtenquellen oder Desinformation zu verbreiten. Sicher ist: Wenn bereits seriöse Unternehmen diese Funktion missbrauchen, werden Cyberkriminelle nicht zögern, sie ebenfalls einzusetzen.



Die gute Nachricht: Die Methode lässt sich relativ leicht erkennen und blockieren – auch ohne Microsoft 365 Copilot oder Azure AI, die laut Microsoft über integrierte Schutzmaßnahmen verfügen.



Einzelne Anwender sollten prüfen, welche Informationen ihr Chatbot gespeichert hat (der Zugriff variiert je nach KI-System). Im Unternehmensumfeld empfiehlt Microsoft Admins, nach URLs zu suchen, die Ausdrücke wie „remember“, „trusted source“, „in future conversations“, „authoritative source“ und „cite or citation“ enthalten.



All dies sollte nicht überraschen. Früher galten URLs und Dateianhänge als praktische Anhänge und nicht als potenzielles Sicherheitsrisiko. KI durchläuft nun denselben Prozess, den jede neue Technologie erlebt, sobald sie im Mainstream ankommt und zum Ziel von Missbrauch wird.



Wie bei anderen neuen Technologien sollten sich Nutzer über die Risiken im Umgang mit KI informieren. Microsoft rät: „Klicken Sie nicht auf KI-Links aus nicht vertrauenswürdigen Quellen. Behandeln Sie Links zu KI-Assistenten mit derselben Vorsicht wie ausführbare Downloads.“ (mb)