EU AI Act: Nutzen Sie ChatGPT? Das müssen Sie beachten

Kaum ein Thema bewegt den deutschen Mittelstand derzeit so stark wie Künstliche Intelligenz. ChatGPT, Microsoft Copilot, Google Gemini – KI-Tools sind in vielen Unternehmen bereits im täglichen Einsatz. Oft ohne, dass die Geschäftsführung davon weiß. Und fast immer ohne klare Datenschutzregeln.

Eine Studie der Cyberhaven Labs zeigt: 63 % aller Prompts, die Mitarbeitende in ChatGPT eingeben, enthalten personenbezogene Daten. Kundennamen, E-Mail-Adressen, Vertragsdaten, interne Strategiepapiere – alles landet im Trainingsdatensatz eines US-amerikanischen Anbieters. Ab August 2026 kommt mit dem EU AI Act eine neue regulatorische Schicht hinzu.

Der EU AI Act im Überblick

Der EU AI Act ist das weltweit erste umfassende KI-Gesetz. Er wurde im März 2024 vom EU-Parlament verabschiedet und tritt stufenweise in Kraft. Für die meisten Unternehmen sind die Pflichten ab August 2026 relevant.

Die Risikoklassen

Der AI Act kategorisiert KI-Systeme in vier Risikoklassen:

• Verbotene KI: Social Scoring, manipulative Techniken, biometrische Echtzeit-Überwachung in öffentlichen Räumen (seit Februar 2025 verboten)
• Hochrisiko-KI: KI in Bereichen wie Personalauswahl, Kreditvergabe, Bildung, Strafverfolgung – strenge Pflichten zu Transparenz, Dokumentation und menschlicher Aufsicht
• Begrenztes Risiko: KI-Systeme mit Transparenzpflichten – z.B. müssen Chatbots offenlegen, dass sie KI-gesteuert sind
• Minimales Risiko: Keine besonderen Pflichten (z.B. Spam-Filter, Autovervollständigung)

General Purpose AI – ChatGPT, Copilot & Co.

ChatGPT, GPT-4, Claude und ähnliche Large Language Models (LLMs) fallen unter die Kategorie General Purpose AI (GPAI). Für deren Anbieter gelten besondere Pflichten:

• Technische Dokumentation und Transparenz
• Einhaltung des EU-Urheberrechts
• Zusammenfassung der verwendeten Trainingsdaten
• Bei Modellen mit "systemischem Risiko" (z.B. GPT-4): zusätzliche Sicherheitstests und Meldepflichten

Für Sie als Anwender dieser Tools gelten zwar keine direkten GPAI-Pflichten, aber: Wenn Sie ChatGPT in einem Hochrisiko-Kontext einsetzen (z.B. für Personalentscheidungen oder Kundenbewertungen), müssen Sie die Hochrisiko-Anforderungen erfüllen.

Das DSGVO-Problem: Warum ChatGPT Ihr Datenschutz-Risiko ist

Unabhängig vom AI Act gilt die DSGVO bereits heute – und ChatGPT ist ein erhebliches Datenschutzrisiko, das viele Unternehmen unterschätzen.

Personenbezogene Daten in Prompts

Wenn Mitarbeitende ChatGPT nutzen, um E-Mails zu formulieren, Verträge zu prüfen oder Kundengespräche zusammenzufassen, landen personenbezogene Daten bei OpenAI. Das ist eine Übermittlung in ein Drittland (USA), die eine Rechtsgrundlage und angemessene Schutzmaßnahmen erfordert.

Konkret müssen Sie prüfen:

• Rechtsgrundlage: Auf welcher Basis übermitteln Sie die Daten? Eine Einwilligung der betroffenen Kunden liegt in der Regel nicht vor
• Auftragsverarbeitung: Haben Sie einen AVV mit OpenAI abgeschlossen?
• Datenschutz-Folgenabschätzung (DSFA): Bei systematischer Verarbeitung personenbezogener Daten durch KI ist eine DSFA nach Art. 35 DSGVO in der Regel erforderlich
• Informationspflichten: Haben Sie Ihre Kunden darüber informiert, dass ihre Daten an einen KI-Anbieter übermittelt werden?

Microsoft Copilot: EU Data Residency ist Opt-In

Viele Unternehmen setzen auf Microsoft 365 Copilot in der Annahme, dass Daten in der EU bleiben, weil ihr Microsoft-365-Tenant in der EU gehostet ist. Das ist ein gefährlicher Irrtum.

Die EU Data Boundary für Microsoft 365 ist vorhanden, aber:

• Die EU Data Residency für Copilot-Anfragen muss aktiv konfiguriert werden
• Standardmäßig können Daten zur Verarbeitung die EU verlassen
• Die technische Umsetzung der Datengrenzen ist komplex und nicht immer vollständig transparent
• Microsoft aktualisiert die Bedingungen regelmäßig – Sie müssen am Ball bleiben

Prüfen Sie Ihre Microsoft-365-Konfiguration genau und dokumentieren Sie die Einstellungen.

Schatten-KI: Das unsichtbare Risiko

Als "Schatten-KI" bezeichnen wir den unkontrollierten Einsatz von KI-Tools durch Mitarbeitende – ohne Wissen oder Genehmigung des Unternehmens. Studien zeigen, dass in bis zu 70 % der Unternehmen KI-Tools genutzt werden, ohne dass es eine offizielle Richtlinie gibt.

Das Problem: Sie können nicht schützen, was Sie nicht kennen. Und Sie können nicht nachweisen, was Sie nicht dokumentieren.

Die häufigsten Schatten-KI-Szenarien

• Mitarbeitende kopieren Kundendaten in die kostenlose ChatGPT-Version (kein AVV, Daten werden für Training genutzt)
• Marketing erstellt Texte mit KI, ohne dies zu kennzeichnen
• HR nutzt KI zur Vorauswahl von Bewerbungen (potenziell Hochrisiko nach AI Act)
• Vertrieb lässt Angebote von KI erstellen – inklusive vertraulicher Preisinformationen
• Entwicklung nutzt KI-Coding-Assistenten, die internen Quellcode an Dritte übermitteln

Was Sie jetzt tun sollten: KI-Richtlinie erstellen

Die wichtigste Maßnahme, die Sie sofort umsetzen können, ist die Erstellung einer internen KI-Richtlinie. Diese sollte folgende Punkte abdecken:

1. Bestandsaufnahme

Welche KI-Tools werden in Ihrem Unternehmen bereits genutzt? Führen Sie eine Befragung durch – ohne Schuldzuweisungen. Ziel ist Transparenz, nicht Bestrafung.

2. Freigabeprozess

Definieren Sie, welche KI-Tools für welche Zwecke genutzt werden dürfen. Unterscheiden Sie zwischen:

• Zugelassene Tools: Geprüft, AVV vorhanden, Konfiguration dokumentiert
• Eingeschränkte Tools: Nur für bestimmte Zwecke ohne personenbezogene Daten
• Verbotene Tools: Nicht zugelassen, z.B. kostenlose Versionen ohne Unternehmens-AVV

3. Verhaltensregeln für Prompts

Schulen Sie Ihre Mitarbeitenden in sicherem KI-Einsatz:

• Keine personenbezogenen Daten in Prompts (Namen, E-Mail-Adressen, Kundennummern)
• Keine vertraulichen Geschäftsinformationen (Preise, Strategien, Verträge)
• Ergebnisse prüfen – KI halluziniert, besonders bei Rechtsthemen und Zahlen
• KI-generierte Inhalte kennzeichnen, wo erforderlich

4. Technische Maßnahmen

• Aktivieren Sie Enterprise-Versionen mit AVV und Opt-Out aus dem Training
• Konfigurieren Sie Data Loss Prevention (DLP) Policies in Microsoft 365
• Nutzen Sie Microsoft Purview oder ähnliche Tools zur Überwachung
• Prüfen Sie die EU Data Residency-Einstellungen für Copilot

5. Datenschutz-Folgenabschätzung

Für den systematischen Einsatz von KI in Geschäftsprozessen ist eine DSFA in der Regel Pflicht. Dokumentieren Sie:

• Zweck und Umfang der KI-Nutzung
• Art der verarbeiteten Daten
• Risiken für die Betroffenen
• Ergriffene Schutzmaßnahmen

Fazit: Handeln Sie vor August 2026

Der EU AI Act gibt Ihnen noch ein Zeitfenster bis August 2026 – aber die DSGVO gilt bereits heute. Jeder Tag, an dem Ihre Mitarbeitenden unkontrolliert personenbezogene Daten in KI-Tools eingeben, ist ein Compliance-Risiko.

Die gute Nachricht: Sie müssen KI nicht verbieten. Im Gegenteil – KI kann ein enormer Produktivitätsvorteil sein. Aber Sie müssen den Einsatz regeln, dokumentieren und überwachen.

Buchen Sie ein kostenloses Erstgespräch mit unseren Experten. Wir helfen Ihnen bei der Erstellung einer KI-Richtlinie, der Durchführung einer DSFA und der DSGVO-konformen Konfiguration Ihrer KI-Tools. Praxisnah, verständlich und auf den Mittelstand zugeschnitten. Erfahren Sie mehr über unsere AI-Act-Beratung in Hamburg und unsere Datenschutzberatung.