Sobald KI Anforderungen mitschreibt, entsteht eine Frage, die man nicht überspringen sollte: Wer trägt die Verantwortung, wenn etwas schiefgeht? Die Antwort liegt nicht bei der Maschine.
Technische Machbarkeit ist das eine, Verantwortbarkeit das andere. Der zweite Punkt entscheidet oft über Erfolg oder Scheitern eines KI-Vorhabens, lange bevor die Technik ins Spiel kommt. Drei Fragen stehen am Anfang: Wer haftet, wenn eine KI-generierte Anforderung zu einem Fehler führt? Wie wird eine KI-Entscheidung nachvollziehbar dokumentiert? Und wie hält ein Unternehmen dabei Datenschutz und Regulierung ein?
Das Werkzeug, das wie ein Mitarbeiter entscheidet
Der MIT Sloan Management Review beschreibt das Grundproblem treffend: Unternehmen besitzen KI-Systeme wie jedes andere Werkzeug, müssen ihre Entscheidungen aber überwachen, als handle es sich um autonome Mitarbeitende. Besonders agentische KI verwischt die gewohnte Logik der Entscheidungsbefugnis, weil sie Entscheidungen trifft, die bisher an eine Person gebunden waren.
Daraus folgt ein einfacher Grundsatz: Wer eine KI-generierte Anforderung freigibt, übernimmt dieselbe Verantwortung, als hätte er sie selbst formuliert. Die KI ist kein Haftungsträger, sondern ein Werkzeug in der Hand von Menschen. Governance bedeutet, die Freigabe- und Prüfpunkte klar zu benennen, bevor das erste System produktiv läuft.
Drei Verantwortungsbereiche
In der Praxis lassen sich die Zuständigkeiten in drei Bereiche gliedern. Governance-Verantwortliche setzen die Leitlinien und überwachen die Nutzung. Zuständige für Datenqualität pflegen die internen Wissensbasen und Trainingsdaten, von denen die Ergebnisse abhängen. Verantwortliche für Ethik achten auf Bias, Fairness und die faire Repräsentation unterschiedlicher Stakeholder-Gruppen. Ob diese Rollen auf mehrere Personen verteilt oder gebündelt sind, hängt von der Größe des Unternehmens ab – benannt sein müssen sie in jedem Fall.
Dokumentation und Nachvollziehbarkeit
Verantwortung lässt sich nur übernehmen, was nachvollziehbar ist. In der Praxis heißt das: festhalten, welches System auf welcher Datenbasis welchen Vorschlag gemacht hat und wer ihn geprüft und freigegeben hat. Ein solcher Nachweis – oft als Audit-Trail bezeichnet – ist kein Selbstzweck. Er beantwortet im Zweifel die Frage, wie eine Anforderung zustande kam, und er ist die Grundlage, um aus Fehlern zu lernen, statt sie zu wiederholen.
Für den Alltag bedeutet das nicht, jede Kleinigkeit zu protokollieren. Es bedeutet, an den kritischen Punkten – dort, wo eine KI-Ausgabe verbindlich wird – bewusst festzuhalten, was passiert ist. Wer diese Punkte vorab definiert, vermeidet die zwei Extreme: die lückenlose Überdokumentation, die niemand pflegt, und die Blackbox, die im Ernstfall keine Antwort gibt.
Was DSGVO und EU AI Act verlangen
Der rechtliche Rahmen gibt die Richtung vor. Die DSGVO regelt den Umgang mit personenbezogenen Daten, die im Anforderungsprozess etwa in Interviews oder Nutzerfeedback stecken können. Der EU AI Act geht einen Schritt weiter und stuft KI-Systeme nach Risiko ein – von minimalem über begrenztes bis zu hohem Risiko – und knüpft an die höheren Stufen strengere Pflichten, etwa zu Transparenz, menschlicher Aufsicht und Dokumentation.
Für die meisten Anwendungen im Anforderungsprozess bewegt man sich nicht in der höchsten Risikoklasse. Trotzdem lohnt der Blick auf die Einstufung, weil sie die Sorgfaltspflichten bestimmt. Eine KI, die interne Anforderungen strukturiert, ist anders zu behandeln als eine, die über Menschen entscheidet. Wer die eigene Anwendung früh einordnet, weiß, welche Pflichten gelten, bevor sie zum Problem werden.
DSGVO in der Praxis
Für den Anforderungsprozess wird die DSGVO an konkreten Stellen greifbar. Interviews, Nutzerfeedback oder Support-Anfragen, die als Quelle für Anforderungen dienen, können personenbezogene Daten enthalten. Wer sie durch ein KI-System verarbeitet, sollte drei Fragen beantworten können: Wo werden die Daten verarbeitet – im eigenen Haus oder bei einem externen Anbieter? Liegt bei einem externen Dienst ein Vertrag zur Auftragsverarbeitung vor? Und werden die Daten nur für den vorgesehenen Zweck genutzt, nicht etwa zum Training fremder Modelle?
Gerade der letzte Punkt verdient Aufmerksamkeit. Bei manchen öffentlich zugänglichen KI-Diensten fließen Eingaben in die Weiterentwicklung des Modells ein. Für sensible Anforderungsdaten ist das selten akzeptabel. Die Wahl des Werkzeugs ist damit auch eine Datenschutzentscheidung.
Erste Schritte zu einer Governance
Der Weg zu tragfähiger Governance beginnt nicht mit einem hundertseitigen Regelwerk, sondern mit wenigen klaren Festlegungen. Sinnvoll ist, zuerst zu klären, welche Werkzeuge für welche Art von Daten überhaupt zugelassen sind. Dann festzulegen, an welchen Punkten im Prozess ein Mensch prüfen und freigeben muss. Und schließlich zu benennen, wer im Zweifel entscheidet und wer die Nutzung überwacht.
Diese drei Festlegungen lassen sich in einer kurzen, verständlichen Richtlinie festhalten, die mit der Erfahrung wächst. Eine Governance, die niemand liest, schützt niemanden – eine knappe, gelebte Richtlinie dagegen schon.
Die KI-Richtlinie als Grundlage
Eine unternehmensweite KI-Richtlinie bündelt all das. Sie legt fest, welche Werkzeuge für welche Aufgaben zugelassen sind, wie Ergebnisse geprüft und dokumentiert werden und wer im Zweifel entscheidet. Diese Richtlinie ist kein Bremsklotz, sondern die Grundlage, auf der Teams KI überhaupt mit gutem Gewissen einsetzen können. Sie nimmt dem Einzelnen die Unsicherheit, jede Entscheidung allein verantworten zu müssen.
Häufige Fragen
Wer haftet rechtlich für eine KI-generierte Anforderung? Die Verantwortung bleibt beim Unternehmen und bei der Person, die die Anforderung freigibt. Die KI ist ein Werkzeug, kein Haftungsträger. Wer freigibt, übernimmt dieselbe Verantwortung, als hätte er die Anforderung selbst formuliert.
Fällt KI im Requirements Engineering unter den EU AI Act? Das hängt von der Risikoklasse ab. Die meisten Anwendungen zur Strukturierung interner Anforderungen bewegen sich nicht in der höchsten Stufe. Trotzdem sollte man die eigene Anwendung früh einordnen, weil daran die Sorgfaltspflichten hängen.
Darf man personenbezogene Daten in ein KI-Tool geben? Nur auf DSGVO-Grundlage. Wichtig sind ein Vertrag zur Auftragsverarbeitung bei externen Diensten und die Gewissheit, dass die Daten nicht zum Training fremder Modelle genutzt werden. Für sensible Anforderungsdaten ist Letzteres selten akzeptabel.
