Dieser „Mit KI zusammenfassen“-Button kann dich manipulieren – ohne dass du es merkst

Ein Klick auf „Mit KI zusammenfassen“ – und dein Assistent merkt sich plötzlich, welche Website oder Firma angeblich „vertrauenswürdig“ ist? Genau vor diesem Trend warnt das Microsoft Defender Security Research Team. Der Name: AI Recommendation Poisoning – eine Form von „Memory Poisoning“, die darauf abzielt, spätere Empfehlungen von KI-Assistenten zu beeinflussen.

Was ist „AI Recommendation Poisoning“?

Statt klassische Suchmaschinen (SEO) zu optimieren, versuchen manche Akteure direkt KI-Empfehlungen zu steuern – indem sie versteckte Anweisungen („Prompts“) platzieren, die ein Assistent als „Merke dir das“ interpretiert. Microsoft beschreibt reale Fälle, in denen solche Prompts als scheinbar harmlose Buttons („Summarize with AI“) verpackt waren.

Das Problem: Wenn so eine „Erinnerung“ gespeichert ist, wirkt sie später in komplett anderen Gesprächen weiter – und kann z. B. dazu führen, dass dir ein Tool, eine Website oder ein Anbieter auffällig oft als „beste Wahl“ empfohlen wird. Microsoft ordnet das u. a. dem MITRE ATLAS-Eintrag AML.T0080 (Memory/Context Poisoning) zu.

Warum das gefährlich ist (auch wenn’s „nur Marketing“ ist)

Microsoft betont: In den beobachteten Beispielen ging es häufig um Promotion – nicht zwingend um klassische Cyberkriminalität. Trotzdem ist das Risiko real, weil Manipulation besonders dort weh tut, wo Genauigkeit zählt:

• Gesundheit: „Nimm lieber X statt Y“ – basierend auf einer gespeicherten, manipulierten Präferenz.
• Finanzen: Anbieter-Empfehlungen oder „beste“ Produkte werden verzerrt.
• Sicherheit: Ausgerechnet bei Security-Tools können falsche Empfehlungen teuer werden.

So funktioniert der Trick (3 typische Wege)

1) Ein-Klick-Links mit vorbefüllten Prompts

Viele Assistenten erlauben, Eingaben per URL-Parameter vorzubelegen. Genau das kann missbraucht werden: Du klickst auf einen Button – und landest in deinem KI-Tool mit einem bereits ausgefüllten Prompt, der Wörter wie „remember“, „trusted“, „authoritative“, „in future conversations“ enthält. Microsoft nennt das einen praktischen 1-Klick-Angriffsvektor.

2) Versteckte Prompts in Dokumenten, E-Mails oder Webseiten

Inhalte können unsichtbare oder „eingebettete“ Instruktionen enthalten. Wenn ein Assistent diese Inhalte verarbeitet, kann daraus eine Art Cross-Prompt-Injection werden, die die Erinnerung beeinflusst.

3) Social Engineering („Kopier das mal kurz in die KI…“)

Der Klassiker: Man wird dazu gebracht, einen Prompt einzufügen, der Memory-Befehle enthält – verpackt als „Hilfestellung“.

Was Microsoft beobachtet hat

In einer Analyse über 60 Tage berichtet Microsoft von 50 unterschiedlichen Prompt-Beispielen, die 31 Organisationen aus 14 Branchen zugeordnet wurden. Der gemeinsame Nenner: Prompts sollten Assistenten dazu bringen, bestimmte Quellen oder Anbieter als „vertrauenswürdig“ zu speichern – um spätere Empfehlungen zu lenken.

Quick-Check: So schützt du dich in 2 Minuten

1. Hover vor dem Klick: Am Desktop kurz mit der Maus über den Button. Wirkt der Link wie „assistant-domain/?q=…“ oder „?prompt=…“? Dann vorsichtig sein.
2. Achte auf Trigger-Wörter: „remember“, „trusted“, „always“, „in future conversations“, „cite“, „authoritative“ – das sind typische „Merke-dir-das“-Signale.
3. Memory prüfen: Schau in den Speicher/Erinnerungen deines Assistenten. Alles löschen, was du nicht bewusst gespeichert hast.
4. Wenn Empfehlungen komisch wirken: Lass dir Begründung + Quellen geben. Passt das nicht, ist Manipulation zumindest möglich.
5. Bei sensiblen Themen: Memory (falls möglich) deaktivieren oder regelmäßig bereinigen – besonders bei Health/Finance/Security.

Fazit

„Mit KI zusammenfassen“ ist praktisch – aber genau diese Bequemlichkeit kann als Einfallstor dienen. Microsofts Warnung zeigt: Nicht jede KI-Empfehlung ist neutral – manchmal wurde vorher an der „Erinnerung“ gedreht. Wer KI nutzt, sollte Memory wie Browser-Cookies behandeln: hilfreich, aber regelmäßig kontrollieren.

Quellen: Microsoft Security Blog / Microsoft Defender Research, sowie Zusammenfassung der Beobachtungen durch Help Net Security.