KI als Therapeutenersatz: Kalifornien will schärfere Regeln

Es ist schon verrückt, wie KI in fast jeden Winkel unseres Lebens vordringt – und jetzt auch noch in die Psychotherapie. Immer mehr Menschen suchen bei KI-Chatbots wie ChatGPT Trost, wenn sie emotional angeschlagen sind, oder vertrauen auf algorithmische Ratschläge in Krisenmomenten. Doch genau diese Entwicklung soll nun Kalifornien regulieren. Ein neuer Gesetzentwurf, der gerade im Parlament des US-Bundesstaates debattiert wird, will KI-Chatbots den Titel „Therapeut“ quasi verbieten. Das Ziel? Klare Grenzen ziehen, bevor unqualifizierte oder sogar gefährliche Ratschläge Schaden anrichten.
Wenn der Algorithmus zum Seelsorger wird
Laut dem Entwurf, der noch den Senat passieren und dann an die Assembly gehen muss, sollen KI-Systeme keine psychologischen Beratungsdienste mehr anbieten dürfen. Dahinter steckt die Sorge, dass unkontrollierte KI-Anwendungen falsche oder schädliche Empfehlungen geben könnten – besonders problematisch, weil viele Nutzer:innen diese Dienste ohne professionelle Aufsicht nutzen. Entweder, weil sie sich vor einem echten Therapiegespräch fürchten, oder weil digitale „Seelsorge“ einfach günstiger und rund um die Uhr verfügbar ist.
Aber ist ein generelles Verbot wirklich die Lösung? Oder brauchen wir nicht eher klare Spielregeln, um die Chancen dieser Technologie zu nutzen, ohne die Risiken zu ignorieren?
Warum Kalifornien die Bremse zieht
Kalifornien ist nicht allein mit dieser Idee. Auch in anderen US-Bundesstaaten und der EU wird über die Regulierung von KI in der psychischen Gesundheit diskutiert. Der kalifornische Gesetzentwurf (genauer: Assembly Bill 2231) will erreichen, dass KI-gestützte Plattformen entweder als medizinische Dienstleistungen eingestuft oder zumindest mit deutlichen Warnhinweisen versehen werden. Außerdem soll sichergestellt werden, dass Nutzer:innen verstehen, dass sie mit einer Maschine und nicht mit einem Menschen sprechen.
Ein zentraler Punkt ist die Transparenz: KI muss offenlegen, dass sie keine echte Therapeutin ist, sondern nur algorithmisch generierte Texte ausspuckt. Zusätzlich sollen Mechanismen eingeführt werden, um gefährliche Ratschläge – etwa zur Selbstgefährdung – zu erkennen und zu blockieren.
Warum das Gesetz nicht nur Befürworter hat
Grundsätzlich klingt die Initiative nach einem guten Schritt – aber es gibt auch Kritik. Gegner:innen warnen, dass ein zu strenges Verbot innovative Ansätze blockieren könnte. KI könnte schließlich eine wertvolle Ergänzung zur klassischen Psychotherapie werden: niedrigschwellige Erstberatung, 24/7-Verfügbarkeit o



der Entlastung von Therapeut:innen bei administrativen Aufgaben. Ein vollständiges Verbot würde diese Entwicklungen ausbremsen, bevor sie richtig Fahrt aufnehmen.
Zudem bemängeln einige, dass der Entwurf zu vage formuliert ist. Wo genau liegt die Grenze zwischen „emotionaler Unterstützung“ und „psychologischer Dienstleistung“? Reicht es, wenn eine KI tröstet, oder erst, wenn sie Diagnosen oder Behandlungsempfehlungen gibt? Ohne klare Definitionen könnte das Gesetz zu Rechtsunsicherheit führen.
KI in der mentalen Gesundheit: Fluch oder Segen?
Auf der anderen Seite gibt es berechtigte Bedenken. KI erkennt zwar Muster in Texten und generiert scheinbar sinnvolle Antworten, aber sie hat weder echtes Einfühlungsvermögen noch klinische Erfahrung oder ethische Verantwortung. Eine falsche Antwort in einem emotionalen Tief kann fatale Folgen haben. Und noch schlimmer: Betroffene könnten sich in falscher Sicherheit wiegen und notwendige professionelle Hilfe verzögern.
Gibt es einen Mittelweg?
Anstatt KI komplett zu verbieten, plädieren Expert:innen für einen klugen Kompromiss: Regulierung statt Radikallösung. Dazu gehören:
1. Zertifizierung und Zulassung: KI-Systeme, die psychologische Unterstützung anbieten, sollten nachweislich sicher und wirksam sein – ähnlich wie Medikamente oder Medizinprodukte.
2. Transparente Kennzeichnung: Nutzer:innen müssen klar erkennen können, ob sie mit einer KI oder einer menschlichen Fachkraft sprechen.
3. Ethikrichtlinien: Klare Vorgaben, was KI in der mentalen Gesundheit darf – zum Beispiel Verbote für bestimmte Ratschläge (etwa zu Medikamentenabsetzungen).
4. Menschliche Aufsicht: KI sollte niemals eigenständig Diagnosen stellen oder Behandlungen empfehlen, sondern immer als Unterstützung für Fachkräfte dienen.
Mein Fazit: Innovation ja – aber mit Verantwortung
Kaliforniens Vorstoß ist ein notwendiger Schritt, um die Risiken von KI in sensiblen Bereichen wie der psychischen Gesundheit einzudämmen. Aber ein pauschales Verbot wäre der falsche Weg. Stattdessen brauchen wir einen regulatorischen Rahmen, der Innovation ermöglicht, ohne die Nutzer:innen zu gefährden.
Die größte Herausforderung wird sein, die Balance zu finden: KI kann ein mächtiges Werkzeug sein – aber sie ersetzt nie die menschliche Komponente der Therapie. Solange das klar kommuniziert wird, können KI-gestützte Angebote eine sinnvolle Ergänzung sein. Ein vollständiges Verbot dagegen wäre ein Rückschritt, der dringend benötigte Lösungen für eine wachsende Zahl von Menschen mit psychischen Belastungen blockieren könnte.