KI Governance – Verantwortungsvoller KI-Einsatz im Unternehmen

KI Governance umfasst die Gesamtheit aller Strukturen, Richtlinien, Prozesse und Verantwortlichkeiten, die den Einsatz künstlicher Intelligenz in einem Unternehmen steuern und überwachen. Angesichts des EU AI Acts und wachsender regulatorischer Anforderungen wird ein professionelles KI-Governance-Framework für Unternehmen jeder Größe unverzichtbar.

Die DATUREX GmbH berät Unternehmen in Sachsen und bundesweit beim Aufbau von KI-Governance-Strukturen, die sowohl den rechtlichen Anforderungen als auch den geschäftlichen Zielen gerecht werden.

Was ist KI Governance?

KI Governance definiert den organisatorischen Rahmen für den verantwortungsvollen Einsatz von KI-Systemen. Im Kern geht es darum, sicherzustellen, dass KI-Anwendungen ethisch, transparent, sicher und regelkonform eingesetzt werden. Während klassische IT-Governance sich auf die Verwaltung von Hardware, Software und Daten konzentriert, adressiert KI Governance spezifische Herausforderungen, die durch die Eigenart von KI-Systemen entstehen.

Anders als klassische IT-Governance umfasst KI Governance folgende spezifische Herausforderungen:

• Intransparenz – KI-Entscheidungen sind oft schwer nachvollziehbar (Black-Box-Problem). Insbesondere Deep-Learning-Modelle treffen Entscheidungen, deren Logik selbst für die Entwickler nicht vollständig erklärbar ist
• Bias und Diskriminierung – Trainingsdaten können zu unfairen Ergebnissen führen. Wenn historische Daten gesellschaftliche Vorurteile widerspiegeln, reproduziert die KI diese Verzerrungen in ihren Entscheidungen
• Dynamische Risiken – KI-Systeme verändern sich durch Lernen und neue Daten. Ein Modell, das bei der Inbetriebnahme einwandfrei funktioniert, kann durch veränderte Eingabedaten unzuverlässig werden (Model Drift)
• Regulatorische Komplexität – EU AI Act, DSGVO, branchenspezifische Vorgaben und internationale Standards müssen gleichzeitig beachtet werden
• Verantwortungslücken – Wer haftet bei fehlerhaften KI-Entscheidungen? Die Zuordnung von Verantwortung ist bei autonomen Systemen besonders herausfordernd

Warum ist KI Governance wichtig?

Rechtliche Anforderungen

Der EU AI Act trat 2024 in Kraft und verpflichtet Unternehmen zu einem risikobasierten Umgang mit KI-Systemen. Hochrisiko-KI-Systeme unterliegen strengen Anforderungen an Transparenz, Dokumentation und menschliche Aufsicht. Die Durchsetzung erfolgt schrittweise — ab Februar 2025 gelten die Verbote für inakzeptable KI-Praktiken, ab August 2025 die Anforderungen für General Purpose AI, ab August 2026 die Transparenzpflichten, und die Hochrisiko-Pflichten folgen nach dem KI-Omnibus (Verordnung (EU) 2026/1744) ab Dezember 2027 (Anhang III) bzw. August 2028 (Anhang I). Verstöße können Bußgelder von bis zu 35 Millionen Euro oder 7% des weltweiten Jahresumsatzes nach sich ziehen.

Datenschutz und DSGVO

KI-Systeme verarbeiten häufig personenbezogene Daten. Die DSGVO stellt klare Anforderungen an automatisierte Entscheidungsfindung (Art. 22), Transparenz und Datenminimierung. Betroffene Personen haben das Recht auf eine Erklärung automatisierter Entscheidungen und können menschliche Intervention verlangen. Ein KI-Governance-Framework muss den Datenschutz von Anfang an integrieren — Privacy by Design ist keine Option, sondern eine gesetzliche Pflicht.

Reputationsrisiken

Fehlerhafte oder diskriminierende KI-Entscheidungen können erhebliche Reputationsschäden verursachen. Beispiele aus der Praxis zeigen, dass mangelnde KI-Governance zu öffentlichkeitswirksamen Skandalen führen kann — von diskriminierenden Kreditvergabesystemen bis zu voreingenommenen Bewerbungsfiltern. In Zeiten sozialer Medien kann ein einziger Vorfall nachhaltigen Imageschaden verursachen.

Wettbewerbsvorteil

Unternehmen mit professioneller KI Governance können KI schneller und sicherer einsetzen, gewinnen das Vertrauen von Kunden und Partnern und reduzieren regulatorische Risiken. Ein transparenter, verantwortungsvoller KI-Einsatz wird zunehmend zum Differenzierungsmerkmal im Wettbewerb.

Kernelemente eines KI-Governance-Frameworks

1. KI-Strategie und Richtlinien

• KI-Nutzungsrichtlinie – Klare Regeln für den Einsatz von KI-Tools im Unternehmen, einschließlich der Frage, welche Daten in welche KI-Systeme eingegeben werden dürfen
• Ethische Leitlinien – Prinzipien für Fairness, Transparenz und Verantwortung, die als Kompass für alle KI-Entscheidungen dienen
• Risikotoleranz – Definition akzeptabler Risiken beim KI-Einsatz, abgestimmt auf die Risikobereitschaft der Organisation
• Datengovernance – Regeln für Datenqualität, -zugang und -nutzung, insbesondere für Trainingsdaten

2. Organisationsstruktur

• KI-Verantwortlicher/AI Officer – Zentrale Ansprechperson für KI-Governance mit direktem Berichtsweg zur Geschäftsführung
• KI-Ethik-Board – Interdisziplinäres Gremium für ethische Bewertungen mit Vertretern aus IT, Recht, Fachbereichen und ggf. externen Experten
• Klare Verantwortlichkeiten – Rollen in Entwicklung, Betrieb und Überwachung von KI-Systemen klar definiert
• Berichtswege – Regelmäßiges Reporting an die Geschäftsführung über KI-Risiken, Compliance-Status und Governance-Aktivitäten

3. Risikomanagement

• KI-Risikobewertung – Systematische Bewertung aller KI-Anwendungen nach EU AI Act Risikoklassen und unternehmensspezifischen Kriterien
• Impact Assessments – Folgenabschätzungen vor dem Einsatz neuer KI-Systeme (Algorithmic Impact Assessment)
• Monitoring – Kontinuierliche Überwachung der KI-Performance, Fairness und Genauigkeit im Produktivbetrieb
• Incident Response – Prozesse für KI-spezifische Vorfälle wie Bias-Entdeckungen, Datenlecks durch KI-Systeme oder adversariale Angriffe

4. Transparenz und Dokumentation

• KI-Register – Inventar aller eingesetzten KI-Systeme mit Risikoklassifizierung, Verantwortlichen und Einsatzzweck
• Technische Dokumentation – Beschreibung der Funktionsweise, Trainingsdaten, Leistungsmetriken und bekannten Limitierungen
• Erklärbarkeit – Maßnahmen zur Nachvollziehbarkeit von KI-Entscheidungen (Explainable AI / XAI)
• Audit Trail – Lückenlose Protokollierung von KI-Entscheidungen für Compliance-Nachweise und Vorfallsanalysen

KI Governance nach EU AI Act

Der EU AI Act klassifiziert KI-Systeme in vier Risikoklassen:

• Verbotene KI-Praktiken – Social Scoring, manipulative Systeme, biometrische Echtzeit-Überwachung in öffentlichen Räumen. Diese Systeme dürfen in der EU nicht betrieben werden
• Hochrisiko-KI – Systeme in Bereichen wie Personalrekrutierung, Kreditvergabe, kritische Infrastruktur, Strafverfolgung und Bildung. Diese erfordern umfangreiche Governance-Maßnahmen
• Begrenzte Risiko-KI – Chatbots und Systeme mit Transparenzpflichten (Kennzeichnung als KI-generiert)
• Minimales Risiko – Die meisten KI-Anwendungen, für die nur freiwillige Verhaltenskodizes empfohlen werden

Für Hochrisiko-KI-Systeme verlangt der EU AI Act unter anderem:

• Qualitätsmanagementsystem für KI mit dokumentierten Prozessen
• Risikomanagement über den gesamten Lebenszyklus des KI-Systems
• Daten-Governance für Trainingsdaten mit Anforderungen an Qualität und Repräsentativität
• Technische Dokumentation und Aufzeichnungspflichten für Rückverfolgbarkeit
• Menschliche Aufsicht und Überwachung mit der Möglichkeit zum Eingriff
• Robustheit, Genauigkeit und Cybersicherheit des KI-Systems

KI Governance und Shadow IT

Eine der größten Herausforderungen für die KI Governance ist die unkontrollierte Nutzung von KI-Tools durch Mitarbeiter — sogenannte KI-Shadow-IT. Mitarbeiter nutzen ChatGPT, Claude, Copilot oder andere KI-Dienste, um ihre Arbeit effizienter zu erledigen, geben dabei aber möglicherweise vertrauliche Unternehmensdaten, Kundendaten oder Quellcode ein. Ohne klare Richtlinien und genehmigte Alternativen wird dieses Risiko weiter wachsen.

KI Governance und Informationssicherheit

KI Governance ist eng mit der Informationssicherheit verknüpft. KI-Systeme können sowohl Sicherheitsrisiken darstellen als auch zur Verbesserung der Sicherheit beitragen.

Relevante Schnittstellen:

• ISMS-Integration – KI-spezifische Risiken im bestehenden ISMS abbilden und in den Risikomanagementprozess integrieren
• KI-Sicherheit – Schutz vor Adversarial Attacks, Data Poisoning, Model Stealing und Prompt Injection
• KI-Risikomanagement – Systematische Bewertung und Steuerung von KI-Risiken als Teil des übergreifenden Risikomanagements
• Zero Trust – Auch KI-Systeme sollten dem Zero-Trust-Prinzip unterliegen, mit minimalen Zugriffsrechten und kontinuierlicher Verifizierung
• Datenschutz – Enge Zusammenarbeit mit dem Datenschutzbeauftragten bei personenbezogenen Daten in KI-Systemen

KI Governance implementieren — Schritt für Schritt

1. Bestandsaufnahme – Alle KI-Systeme und -Projekte im Unternehmen identifizieren, einschließlich der von Mitarbeitern eigenständig genutzten KI-Tools
2. Risikoklassifizierung – Einstufung nach EU AI Act Risikoklassen und unternehmensspezifischer Risikobewertung
3. Governance-Struktur – Verantwortlichkeiten, Gremien und Berichtswege festlegen und personell besetzen
4. Richtlinien entwickeln – KI-Nutzungsrichtlinie, ethische Leitlinien, Datenschutzkonzept für KI erstellen
5. Prozesse etablieren – Impact Assessments, Genehmigungsverfahren, Monitoring-Workflows und Eskalationswege definieren
6. Dokumentation aufbauen – KI-Register, technische Dokumentation, Audit Trails und Compliance-Nachweise erstellen
7. Schulungen durchführen – Mitarbeiter, Entwickler und Führungskräfte für den verantwortungsvollen KI-Einsatz sensibilisieren
8. Kontinuierliche Verbesserung – Regelmäßige Reviews, Audits und Anpassungen an regulatorische Entwicklungen

KI Governance und internationale Standards

Neben dem EU AI Act gibt es weitere internationale Standards und Frameworks, die Unternehmen bei der Implementierung von KI Governance unterstützen:

• ISO/IEC 42001 – Der internationale Standard für KI-Managementsysteme (AIMS). Definiert Anforderungen für die Einrichtung, Implementierung, Aufrechterhaltung und kontinuierliche Verbesserung eines KI-Managementsystems
• NIST AI Risk Management Framework – Das US-amerikanische Framework bietet einen strukturierten Ansatz zur Identifikation, Bewertung und Steuerung von KI-Risiken
• OECD AI Principles – Internationale Grundsätze für verantwortungsvolle KI, die als Basis für viele nationale Regulierungen dienen
• IEEE 7000 Series – Technische Standards für ethische KI-Systeme, insbesondere für die Berücksichtigung ethischer Aspekte im Systementwurf

Die Kombination von EU AI Act Compliance mit der ISO 27001 Zertifizierung und ISO 42001 bietet Unternehmen einen vollständigen Governance-Rahmen, der sowohl Informationssicherheit als auch KI-spezifische Risiken abdeckt.

KI-Nutzungsrichtlinie — Praxisbeispiel

Eine wirksame KI-Nutzungsrichtlinie sollte folgende Bereiche konkret regeln:

Erlaubte und verbotene Nutzung

• Erlaubt – Einsatz genehmigter KI-Tools für Textbearbeitung, Recherche und Codegenerierung mit anonymisierten oder öffentlichen Daten
• Eingeschränkt – KI-Nutzung mit internen Dokumenten nur über vom Unternehmen bereitgestellte Enterprise-Versionen mit Datenschutzvereinbarung
• Verboten – Eingabe von Kundendaten, personenbezogenen Daten, Geschäftsgeheimnissen, Quellcode oder Finanzdaten in öffentliche KI-Dienste

Qualitätssicherung

• KI-generierte Inhalte müssen vor der Verwendung durch einen qualifizierten Mitarbeiter geprüft werden
• Bei kritischen Entscheidungen (Personalauswahl, Kreditvergabe, medizinische Empfehlungen) ist menschliche Letztentscheidung zwingend erforderlich
• KI-generierte Ergebnisse sind als solche zu kennzeichnen, wenn sie extern kommuniziert werden

Verantwortlichkeiten

• Jeder Mitarbeiter ist für die ordnungsgemäße Nutzung der KI-Tools verantwortlich
• Führungskräfte stellen sicher, dass ihre Teams die KI-Richtlinie kennen und einhalten
• Der KI-Verantwortliche oder ISB wird bei Unsicherheiten konsultiert

Herausforderungen bei der KI-Governance-Implementierung

Die Einführung von KI Governance stößt in der Praxis auf verschiedene Herausforderungen, die Unternehmen vorausschauend adressieren sollten:

• Geschwindigkeit vs. Kontrolle – Innovation und agile KI-Entwicklung stehen im Spannungsfeld mit Governance-Anforderungen. Ein risikobasierter Ansatz verhindert, dass Governance zur Innovationsbremse wird — niedrigrisiko-Anwendungen benötigen weniger Kontrolle als Hochrisiko-Systeme
• Fehlende KI-Expertise – Viele Unternehmen verfügen nicht über ausreichendes Know-how zur Bewertung von KI-Risiken. Externe Unterstützung und gezielte Schulungen schließen diese Lücke
• Dezentrale KI-Nutzung – KI wird zunehmend in allen Abteilungen genutzt, nicht nur in der IT. Die Governance muss deshalb die gesamte Organisation einbeziehen
• Sich verändernde Regulierung – Der EU AI Act und weitere regulatorische Initiativen entwickeln sich weiter. Das Governance-Framework muss anpassungsfähig sein und regelmäßig überprüft werden
• Technische Komplexität – Die Bewertung von Bias, Erklärbarkeit und Robustheit erfordert technisches Verständnis, das über klassisches IT-Wissen hinausgeht

DATUREX GmbH — Ihr Partner für KI Governance

Die DATUREX GmbH verbindet Expertise in Informationssicherheit und Datenschutz mit fundiertem KI-Wissen:

• KI-Governance-Framework – Entwicklung individueller Governance-Strukturen für Ihre Organisation
• EU AI Act Compliance – Risikoklassifizierung und Umsetzung der regulatorischen Anforderungen
• KI-Risikoanalyse – Bewertung bestehender und geplanter KI-Systeme nach Sicherheits- und Compliance-Kriterien
• Richtlinien und Schulungen – KI-Nutzungsrichtlinien und Awareness-Programme für alle Mitarbeiterebenen
• ISMS-Integration – Einbettung von KI-Governance in bestehende Managementsysteme nach ISO 27001