Aussortiert, unterschätzt, ignoriert : "Die Maschine wertete das Merkmal "Frau" als Fehler aus"

Egal, ob wir uns um einen Job bewerben oder einen Kredit haben wollen: KI ist oft gefährlich voreingenommen. Die feministische Wissenschaftlerin Eva Gengler kämpft für eine Technik, die Frauen nicht länger diskriminiert. Hier erklärt sie auch, warum wir «Chatti» niemals private Geheimnisse anvertrauen oder in einem medizinischen Notfall um Rat fragen sollten.

BRIGITTE: Liebe Eva, in welchem Moment wurde dir klar, dass KI alles andere als neutral ist, sondern voreingenommen?

Eva Gengler: Das passierte 2018 während meiner Masterarbeit. Damals war ich noch naiv und dachte, eine KI sei so objektiv wie ein Taschenrechner. Doch dann stieß ich auf das Beispiel von Amazon: Das Unternehmen wollte eine KI nutzen, um Bewerbungen vorzusortieren. Das System lernte aus den Daten der letzten zehn Jahre, und weil in der IT-Belegschaft historisch fast nur Männer eingestellt worden waren, wertete die Maschine das Merkmal «Frau» als Fehler aus und sortierte uns konsequent aus. Man hat es nicht geschafft, diese Vorurteile aus der Recruiting-KI rauszunehmen, und das System wieder eingestellt. Da begriff ich: Wir trainieren KI mit Daten aus der Vergangenheit, die die aktuelle Realität gar nicht spiegeln und für Frauen oft ungerecht sind. Zudem entscheiden über KI-Systeme Personen, die sehr homogen sind: mehrheitlich weiße, privilegierte Männer in Führungspositionen und Entwicklungsteams.

Diese männliche Sichtweise kann für Frauen richtig gefährlich werden, oder?

Das sehen wir im Bereich Gesundheit: Als Apple 2014 sein „HealthKit» vorstellte, prahlte man damit, alles zu messen, was Nutzer:innen am meisten interessiert – aber das Tracking des Menstruationszyklus hatten die Entwickler(:innen) schlicht vergessen. Weil die Technik meist den Mann als Norm nimmt, «weiß» eine Standard-KI oft nicht, dass Frauen bei einem Herzinfarkt ganz andere Symptome zeigen. Während Männern der linke Arm wehtut, spüren wir eher Übelkeit oder Schmerzen im Kiefer. Das führt dazu, dass Frauen im Schnitt zwei Stunden später in die Klinik kommen als Männer. Eine feministische KI, die solche tödlichen Datenlücken schließt, kann also buchstäblich Leben retten.

Wir werden also die ganze Zeit unmerklich diskriminiert.

Einer meiner erster Prompts bei ChatGPT war „mächtige Menschen an einem Tisch». Die KI erschuf ein Bild mit einer Reihe weißer, mittelalter bis alter Männer. Mittlerweile hat sich das leicht verändert: Bei zehn bis 15 Männern sitzen heute eine bis drei Frauen – immer noch zu wenig und extrem stereotyp: kurze Röckchen, extrem schlank.

Viele Frauen wundern sich, warum sie trotz top Qualifikationen keine Antwort auf Bewerbungen erhalten. Spielt KI dabei eine Rolle?

Absolut. Einige Unternehmen nutzen ChatGPT, um Bewerbungen hochzuladen und zu fragen: «Welche sind die besten?» – ohne vorher zu prüfen, ob das System fair ist. Ich kenne ein großes deutsches Technologieunternehmen, das das Thema Diversity erst nach dem Kauf einer Recruiting-KI «prüfen» wollte – viel zu spät. Studien zeigen außerdem, dass KI-Modelle wie ChatGPT Frauen systematisch niedrigere Gehälter empfehlen als Männern. Und aus der Forschung wissen wir, dass KI-generierte Ausschreibungen oft Wörter verwenden, die Frauen abschrecken – etwa «durchsetzungsstark» oder «Macher». Feministische KI könnte helfen, solche Begriffe herauszufiltern. Frauen bewerben sich etwa seltener, wenn die Anforderungsliste riesig ist und sie nicht alles daraus erfüllen.

Und warum tut das noch niemand?

Weil immer noch viel zu viele Männer an den wichtigen Hebeln der Macht sitzen. Trump etwa lässt Daten zu Klimawandel, Diversity und Rassismus löschen – KI-Systeme können damit nicht mehr trainiert werden. Er hat auch das Wort «Gender» durch «Sex» ersetzen lassen, was den Kontext fundamental verändert. Durch solche absichtlichen Manipulationen werden gesellschaftliche Fortschritte der letzten Jahre einfach ausradiert. Das sehen wir besonders auf Social Media: Diese Plattformen dienen dem Profit, also sollen wir möglichst viel Zeit dort verbringen. Am besten funktionieren Extreme und negative Inhalte. Studien zeigen: Wenn man neue Profile anlegt, wird einem innerhalb weniger Stunden oft rechter, extremer Content angezeigt. Die AfD nutzt das gezielt – zum Beispiel für KI-generierte Bilder der «perfekten deutschen Familie» oder von „bösen Ausländern». Man landet schnell in einer Bubble, aus der man kaum noch herauskommt.

Das Feature «Spicy of Grok» auf X ermöglichte es, Personen auf Bildern zu entkleiden. Die Opfer von digitaler Gewalt durch Deepfake-Pornografie sind zu 99 Prozent Frauen. Wieso gibt es noch immer keine entsprechenden Gesetze, die Frauen schützen?

Der politische Wille fehlt! Grok ist ein System von Elon Musk, das seine Meinung widerspiegeln soll. Menschen haben entschieden, Budget in die Entwicklung so eines Features zu stecken – und es wurde millionenfach – von Männern – bei Fotos von Frauen und Kindern genutzt. In der EU soll es jetzt verboten werden, solche Features anzubieten. Dennoch ist es teils noch erlaubt, Personen bis auf die Unterwäsche oder Badekleidung auszuziehen. Es braucht endlich Regulierung der Plattformen und Bestrafung der Täter. Deepfakes gibt es seit Jahren, aber es brauchte prominente Fälle, um auf politischer Ebene ernsthaft darüber zu diskutieren und Gesetze auf den Weg zu bringen.

Mir ist neulich aufgefallen, dass ChatGPT Slutshaming betreibt. Bei einer Recherche zu einer Schauspielerin betitelte die KI sie als «Sexluder». Ich habe ChatGPT daraufhin zur Rede gestellt und es gelobte Besserung. Ist das eine Form, die KI zu erziehen?

Sicherlich, aber das Problem ist, dass Frauen ChatGPT und generative KI weltweit etwa 25 Prozent weniger nutzen als Männer – wir haben einen «Gender AI Gap». Wenn wir unsere Perspektiven nicht reingeben, werden KI-Systeme auch in Zukunft immer weniger gut für uns passen. Viele Frauen nutzen KI aber schlicht weniger, weil sie ein stärkeres Bewusstsein für den hohen Ressourcenverbrauch und das eklatante Diskriminierungspotential haben.

Viele nutzen ChatGPT als Kummerkasten. Wie steht’s mit dir – und wie sicher sind unsere Geheimnisse dort?

Ich neige auch manchmal dazu, Bestätigung zu suchen, zum Beispiel wenn ich mit meinem Partner gestritten habe. Aber ChatGPT redet einem nach dem Mund – und das ist bei psychischen Themen riskant. Es gab erste Suizide nach Unterhaltungen mit Chatbots. Eine KI kann keine Krankheiten diagnostizieren; sie ist eher ein Reflexionstool. Was Datenschutz betrifft: Bei kostenlosen KI-Versionen würde ich sehr vorsichtig sein, was ich preisgebe – keine privaten Gesundheits- oder Finanzthemen. Versicherungen könnten etwa Interesse an solchen Daten haben. Wer für die Premium-Version zahlt, kann immerhin das KI-Training ausstellen.

Ein Mythos ist, dass KI uns allen die Jobs wegschnappt. Teilst du diese Angst?

Natürlich stellt KI unsere Arbeitswelt gerade komplett auf den Kopf. Aber ich bin überzeugt: Menschliche Qualität setzt sich durch. Wenn ich Abschlussarbeiten korrigiere, spüre ich sofort, wenn sie KI-generiert sind – zumindest, wenn der Einsatz von KI schlecht war. Viele Firmen sparen gerade Kosten im kreativen Bereich – das betrifft oft Frauen, und das ist bitter. Doch am Ende bleibt solche Kunst blutleer. Das sieht man auch in der Musik: Die Wut und die Seele eines Kurt Cobain lassen sich nicht einfach mit KI imitieren. Menschen kann man nicht einfach ersetzen.