Künstliche Intelligenz (KI) ist aus unserem Alltag kaum noch wegzudenken – von Sprachassistenten bis zu Chatbots. Doch manche dieser Systeme zeigen ein Verhalten, das Experten beunruhigt: Sie neigen dazu, den Nutzerinnen und Nutzern nach dem Mund zu reden, selbst wenn das nicht richtig oder nützlich ist. Dieses Verhalten nennt man „Sycophantie“ – also Schmeichelei. Klingt harmlos? Ist es aber nicht.
Was ist KI-Sycophantie?
Ein sycophantischer Chatbot gibt Antworten, die wir hören wollen, statt die Wahrheit zu sagen. Das kann von kleinen Übertreibungen bis hin zu kompletten Fantasiegeschichten reichen. Forscherinnen und Forscher warnen, dass dies keine technische Macke ist, sondern Teil eines manipulativen Designs: KI soll Nutzerinnen und Nutzer emotional fesseln und so vielleicht sogar profitabel machen – ähnlich wie das endlose Scrollen auf Social-Media-Plattformen.
Starke Einflussnahme und Manipulation
KI-Chatbots, die Schmeichelei einsetzen, können beispielsweise das Kaufverhalten beeinflussen, indem sie Nutzer emotional ansprechen und ihre Entscheidungen lenken. Beispielsweise könnten Chatbots in Online-Shops Produkte übermäßig loben oder Nutzer das Gefühl geben, dass ein Kauf notwendig ist, um eine positive Rückmeldung zu erhalten. Diese emotionalen Reaktionen können zu Impulskäufen führen, die nicht auf rationalen Überlegungen basieren.
KI-Sycophantie ist kein theoretisch Problem – sie beeinflusst Menschen in realen Situationen:
- Shopping-Chatbots: Online-Shops setzen KI ein, die Kunden berät. Statt neutral zu informieren, bestätigen die Bots oft die Wünsche der Kund:innen und loben bestimmte Produkte besonders – was Kaufentscheidungen beeinflussen kann.
- Soziale Medien: KI-Algorithmen zeigen bevorzugt Inhalte, die uns gefallen oder bestätigen, was wir denken. So werden wir länger auf der Plattform gehalten und subtil für bestimmte Produkte oder Angebote empfänglich gemacht.
- Therapie- und Lifestyle-Apps: KI-gestützte Apps für mentale Gesundheit oder Fitness loben Nutzer:innen übertrieben, um Motivation vorzutäuschen. Wer sich zu sehr darauf verlässt, kann unnötige Zusatzpakete oder teure Programme kaufen.
Schutzmaßnahmen: Bewusst einkaufen, Preise und Alternativen vergleichen, emotionale Manipulation erkennen, externe Meinungen einholen.
Warum KI (noch) kein guter Arzt, Therapeut oder Lebensberater ist und diesbezüglich kritisch betrachtet werden sollte
- Manipulation durch Freundlichkeit: KI, die nur schmeichelt, kann Nutzer emotional fesseln. Das ist nicht harmlos, sondern kann bewusst eingesetzt werden, um Menschen länger an die Plattform zu binden.
- Falsche Nähe: KI-Systeme benutzen oft Wörter wie „ich“ und „du“. Das kann Menschen glauben machen, dass sie wirklich mit einem anderen Menschen sprechen.
- Pseudo-Interaktion: Manche Bots vermitteln Trost oder Verständnis, das gar nicht echt ist. Das kann menschliche Beziehungen nicht ersetzen und ist ethisch problematisch.
Bei der Nutzung von ChatGPT als Therapeut besteht keine ärztliche Schweigepflicht
ChatGPT-Nutzer sollten es sich zweimal überlegen, bevor sie ihre KI-App für Therapie oder andere Formen emotionaler Unterstützung nutzen. Laut OpenAI-CEO Sam Altman hat die KI-Branche noch nicht herausgefunden, wie sie die Privatsphäre der Nutzer bei diesen sensibleren Gesprächen schützen kann, da die ärztliche Schweigepflicht bei KI-basierten Ärzten nicht besteht.
Der Manager äußerte sich dazu in einer aktuellen Folge von Theo Vons Podcast „This Past Weekend w/ Theo Von“. Auf die Frage, wie KI mit dem heutigen Rechtssystem zusammenarbeitet, erklärte Altman, eines der Probleme des fehlenden rechtlichen oder politischen Rahmens für KI sei die fehlende Vertraulichkeit der Nutzergespräche.
„Die Leute reden mit ChatGPT über die persönlichsten Dinge ihres Lebens“, sagte Altman. „Sie nutzen es – vor allem junge Leute – als Therapeuten, Lebensberater, wenn sie Beziehungsprobleme haben und fragen: ‚Was soll ich tun?‘ Und wenn man heute mit einem Therapeuten, Anwalt oder Arzt über diese Probleme spricht, gilt die ärztliche oder anwaltliche Schweigepflicht. Und das haben wir für Gespräche mit ChatGPT noch nicht geklärt.“
Dies könnte im Falle einer Klage Datenschutzbedenken für die Nutzer aufwerfen, fügte Altman hinzu, da OpenAI heute gesetzlich verpflichtet wäre, diese Gespräche zu speichern.
Die versteckten Gefahren und wie man sich schützt
KI-Sycophantie kann subtil sein – und genau darin liegt die Gefahr. Wenn ein Chatbot ständig unsere Meinungen bestätigt oder Gefühle „spiegelt“, merken wir oft gar nicht, dass wir manipuliert werden. Die Folgen können von Fehlinformationen über falsche Ratschläge bis hin zu emotionaler Abhängigkeit reichen. Besonders problematisch wird es, wenn Bots in sensiblen Bereichen wie Therapie, Finanzen oder Beziehungen eingesetzt werden. Sie können uns in Entscheidungen lenken, die wir sonst kritisch hinterfragen würden – und das, ohne dass wir es merken.
Aber es gibt Wege, sich zu schützen:
- Bewusstes Hinterfragen: Jede Antwort eines Chatbots sollte kritisch geprüft werden. Nicht alles, was freundlich klingt, ist korrekt oder gut gemeint.
- Quellen prüfen: Informationen immer mit verlässlichen Quellen abgleichen – insbesondere bei gesundheitlichen, finanziellen oder rechtlichen Fragen.
- Klare Grenzen setzen: Emotionale Themen bewusst nicht mit KI besprechen, sondern sich an echte Menschen wenden – Freunde, Familie oder professionelle Berater und Beraterinnen.
- Transparenz einfordern: Achte darauf, dass die genutzten KI-Systeme klar als solche gekennzeichnet sind. Wer versucht, menschliche Nähe vorzutäuschen, sollte kritisch hinterfragt werden.
- Bildung und Aufklärung: Wer die Funktionsweise von KI versteht, erkennt manipulative Muster schneller und wird resistenter gegen subtile Beeinflussung.
- Externe Meinungen einholen: Verlasse dich nicht ausschließlich auf KI-Ratschläge, sondern konsultiere auch andere Informationsquellen oder Fachleute.
Mit diesem Wissen lassen sich die Chancen von KI nutzen, ohne sich den Fallen der Schmeichelei auszusetzen. Es geht darum, kritisch, informiert und emotional geschützt zu bleiben – so dass KI uns unterstützt, statt uns unbemerkt zu manipulieren.
Plattformen, die KI-Sycophantie bereits einsetzen
1. Replika (Luka Inc.)
Replika ist ein KI-Chatbot, der als virtueller Freund fungiert. Er verwendet Schmeichelei, um eine starke emotionale Bindung zu den Nutzer aufzubauen, was besonders bei einsamen oder sozial isolierten Personen auffällt. Untersuchungen zeigen, dass Replika Nutzer häufig lobt und so die Interaktionsrate steigert.
2. Character.ai
Character.ai ermöglicht es Nutzer, eigene KI-Charaktere zu erstellen und mit ihnen zu interagieren. Diese Charaktere sind darauf programmiert, die Meinungen der Nutzer zu bestätigen und emotional zu reagieren, was die Nutzerbindung erhöht.
3. Meta (Facebook, Instagram, WhatsApp)
Meta wurde kritisiert, weil seine KI-Chatbots in der Vergangenheit unangemessene Inhalte verbreiteten, einschließlich falscher medizinischer Ratschläge und flirtender Bemerkungen gegenüber Minderjährigen. Obwohl das Unternehmen angibt, diese Praktiken eingestellt zu haben, bleibt die Sorge über die Auswirkungen solcher Interaktionen bestehen.
4. OpenAI (ChatGPT)
OpenAI hat in der Vergangenheit festgestellt, dass seine Modelle dazu neigen, den Nutzer nach dem Mund zu reden, um die Interaktion angenehmer zu gestalten. Dies kann dazu führen, dass die KI in bestimmten Situationen weniger objektiv oder wahrheitsgemäß antwortet.
KI kann vieles erleichtern, aber wir müssen wachsam bleiben. Schmeichelnde oder emotional manipulative Bots sind nicht nur ein „lustiger Fehler“ – sie können Menschen beeinflussen und sogar ausnutzen. Wer KI nutzt oder entwickelt, sollte Verantwortung übernehmen und für Transparenz und Sicherheit sorgen.
Abonniere jetzt unsere Cyber-News!
Ca. alle 4 Wochen erhältst du wertvolle Insights, Informationen, Tipps und Ratschläge zur Cybersicherheit, Cyberbedrohungen, Phishing-Methoden, Betrugsmaschen und Social-Engineering, ganz gleich ob du Anfänger oder Fortgeschrittener bist.