Die ersten KI-Anwendungen in der Produktion sitzen selten im Rechenzentrum. Sie sitzen an der Linie: ein Assistent, der bei einer Störung die wahrscheinliche Ursache vorschlägt, eine Kamera, die Auffälligkeiten markiert, ein System, das dem Schichtleiter die nächste Charge empfiehlt. Für die Mannschaft ist das eine Erleichterung. Für die Geschäftsleitung ist es eine neue Verantwortung.
Vorschlag oder Entscheidung
Der wichtigste Unterschied ist schlicht: Schlägt die KI etwas vor, oder entscheidet sie? Solange ein Mensch den Vorschlag prüft und bewusst annimmt oder verwirft, bleibt die Verantwortung dort, wo sie hingehört. Sobald ein Vorschlag ohne echte Prüfung übernommen wird, weil er meistens stimmt und die Zeit knapp ist, entscheidet faktisch die Maschine.
Das passiert nicht absichtlich. Es passiert, wenn die Bestätigung so umständlich ist, dass niemand sie ernst nimmt, oder so beiläufig, dass sie zum Reflex wird. Beides ist ein Gestaltungsfehler, kein Fehler der Mannschaft.
Menschliche Aufsicht muss bedienbar sein
Der EU AI Act verlangt für Hochrisiko-Systeme eine wirksame menschliche Aufsicht. Unabhängig von der Einstufung ist das auch für jede andere KI an der Linie eine gute Leitlinie. Wirksam heißt: Die Person an der Anlage versteht, was das System vorschlägt, kann es in ihrer Arbeitssituation überprüfen und kann es übergehen, ohne dafür einen Umweg zu gehen.
Daraus folgen drei Gestaltungsregeln:
- Der Vorschlag zeigt seinen Grund. Nicht als Modellerklärung, sondern als kurzer Hinweis, worauf er beruht: welcher Messwert, welches Bild, welche frühere Störung.
- Annehmen und Ablehnen sind gleich schnell. Wer ablehnen will, darf nicht mehr Schritte brauchen als jemand, der zustimmt.
- Die Entscheidung wird festgehalten. Wer hat wann welchen Vorschlag angenommen oder verworfen? Das ist der Nachweis, dass ein Mensch entschieden hat.
Zweckbestimmung vor Einführung
Bevor eine KI an die Linie kommt, gehört ihr Zweck auf ein Blatt Papier: Wofür ist sie bestimmt, wofür ausdrücklich nicht, welche Daten nutzt sie, und wer ist für sie verantwortlich? Diese Zweckbestimmung ist die Grundlage für alles Weitere. Ohne sie lässt sich weder einstufen, ob es sich um ein Hochrisiko-System handelt, noch testen, ob das System tut, was es soll.
In einem KI-Managementsystem nach ISO/IEC 42001 ist das kein Zusatzaufwand, sondern der Kern: Jede KI-Anwendung ist erfasst, hat einen Zweck, eine Risikobewertung und einen Verantwortlichen.
Die Mannschaft muss die KI verstehen
Seit Februar 2025 verlangt der EU AI Act von Unternehmen, die KI einsetzen, dass ihre Beschäftigten über ausreichende KI-Kompetenz verfügen. An der Linie heißt das nicht Theorie. Es heißt: Jede Person, die mit dem System arbeitet, weiß, wofür es gedacht ist, wo seine Grenzen liegen und wann sie ihm nicht folgen soll. Eine kurze, praktische Einweisung am Arbeitsplatz leistet mehr als ein allgemeiner Onlinekurs.
Was daraus folgt
- Jede KI an der Linie erfassen, auch die, die in zugekaufter Software steckt.
- Den Zweck schriftlich festlegen und die Einstufung nach dem EU AI Act darauf stützen.
- Die Aufsicht bedienbar gestalten: Grund sichtbar, Ablehnen so schnell wie Annehmen, Entscheidung protokolliert.
- Die Mannschaft einweisen, am Arbeitsplatz und mit dem echten System.
So wird aus einem Assistenten, der meistens recht hat, ein Werkzeug, dessen Einsatz sich belegen lässt.