Die KI-Verordnung (KIVo) der Europäischen Kommission kommt und fällt zeitgleich mit einem dramatischen Umbruch in der Art und Weise, wie wir Lehren und Lernen verstehen, zusammen. Seit nahezu zwei Jahren diskutieren Lehrkräfte darüber, wie förderlich oder hinderlich Anwendungen wie ChatGPT, Gemini, Claude und Co. sind. Large Language Modelle, als derzeit populärste und der breiten Masse zugänglichsten Systeme der künstlichen Intelligenz, fordern zahlreiche Annahmen heraus, wie Schule organisiert ist. Neben Fragen zur Prüfungskultur, dem Umgang mit Heterogenität und der Verbindung von Lehren mit Fragen der Gestaltung und Handhabung digitaler Tools und Systeme, rücken zunehmend rechtliche Fragen in den Mittelpunkt. Digitalisierung im Bildungswesen greift bereits jetzt grundlegende Fragen zur Umsetzung der DSGVO auf. Die von der EU beschlossene KI-Verordnung stellt ein weiteres Regelwerk dar, um den Einsatz von künstlicher Intelligenz zu regulieren. Die Verordnung, die noch in nationales deutsches Recht und vermutlich auch in Landesgesetze übersetzt werden muss, hat in bestimmten Teilen bereits jetzt Gültigkeit. Grund genug, einen ersten Blick auf die Kernaspekte zu werfen.
Was ist eigentlich KI und was reguliert die KI-Verordnung?
In Artikel 3 der KI-Verordnung definiert der Gesetzgeber die Arten von Arbeitsprozessen, die er in Verbindung mit KI sieht. Konkret heißt das: Es geht um Systeme, die anpassungsfähig sind und zum Beispiel Vorhersagen oder Entscheidungen treffen, Inhalte erstellen oder Empfehlungen aussprechen, die physische oder virtuelle Umgebungen beeinflussen. Diese Prozesse unterliegen der KI-Verordnung mit dem Bestreben, den Einsatz so sicher wie möglich zu gestalten und Missbrauch vorzubeugen. Ziel ist es, die freiheitlichen Grundrechte der europäischen Bürger:innen zu schützen. KI-Systeme für Social Scoring sind in China bereits lange im Einsatz und führen zu einem umfangreichen Überwachungsregime und zu einer vielfältigen Verknüpfung persönlicher Daten, die dazu genutzt werden, Vorhersagen über menschliches Verhalten zu treffen. So entsteht ein digitales Panoptikum. Daher sind Verarbeitungsprozesse, die ein solches Gewicht entfalten können, grundsätzlich verboten. Während Social Scoring mit KI (zu Recht) scharf in der Kritik steht, sind die Meinungen zu anderen Verarbeitungstätigkeiten jedoch durchaus differenzierter. Es muss stets herausgearbeitet werden, wie Grundrechte europäischer Bürger:innen bei der Einführung und Nutzung von KI-Systemen geachtet werden. Daher reguliert die KI-Verordnung gar nicht so stark Anbieter wie OpenAI, die KI-Modelle zur Verfügung stellen, sondern eher die Zweit- und Dritt-Nutzer dieser Modelle. Im Bildungskontext haben bereits eine ganze Reihe von Anbietern KI-Modelle in ihre Systeme integriert – darunter schulKI, Fiete oder auch Fobizz.
Verantwortlichkeiten – es kommt auf die Landesstrukturen an
Für Schulen, die KI-Systeme bei sich einführen wollen, ist es daher interessant, das Akteursgerüst zu verstehen, in dem die KIVo denkt. Hier ist anzumerken, dass Gesetze wie die KI-Verordnung, ähnlich wie die DSGVO, nicht mit Bildungsprozessen im Hinterkopf geschrieben wurden. Es ist daher auch nicht hilfreich, dass unter den Bundesländern die Verantwortlichkeiten variieren. Während im Stadtstaat Hamburg das Land auch gleichzeitig Schulträger ist und somit sämtliche Schritte der KI-Verordnung verantwortet, sind es in Thüringen die Schulleitungen, die sowohl datenschutzrechtlich als auch für die KIVo verantwortlich sein werden. Ein Austausch mit dem verantwortlichen Schulträger und Kultusministerium ist daher nur zu empfehlen. Denn, ob Sie:
- Betreiber | Verwendung in eigener Verantwortung,
- Einführer der Software | Vertreter einer KI-Handelsmarke,
- Händler | Person innerhalb der Lieferkette,
- Anbieter | eine Stelle, die ein KI-System entwickelt oder entwickeln lässt, oder
- Inverkehrbringer | Stelle, die ein KI-Modell oder KI-System erstmalig auf den Markt bringt,
sind, macht einen erheblichen Unterschied für den eigenen Workload. Je nach Kontext können diese Rollen in einem Land auch wechseln. Eine stetige Prüfung der Rolle der Beteiligten ist daher wichtig. Alle Rollen sind im Art. 3 der KI-Verordnung beschrieben.
Bildung als Hochrisiko – sich der Verantwortung bewusst sein
Darüber hinaus entscheidet sich der Workload zur Einführung einer KI auch daran, in welche Risikogruppe diese eingeordnet wird. Die diskursive Faustregel im September 2024 lautet: Bildungs-KI ist Hochrisikotechnologie. Doch was ist das Hochrisiko in Bildungsfragen? Der Gesetzgeber sieht die Gefahr, dass automatisierte Datenverarbeitungsprozesse darüber entscheiden, dass
- Menschen Zugang zu Bildung gewährt wird oder nicht,
- KI-Systeme über Bewertungen entscheiden und damit über die zukünftigen Teilhabemöglichkeiten an der Gesellschaft,
- KI-Systeme zur Einschätzung von Bildungsniveaus eingesetzt werden und damit weitere Zugänge zu Bildungseinrichtungen steuern.
Im Anhang 3 der KI-Verordnung sind diese Aspekte definiert. Neben pädagogischen und didaktischen Aufgaben haben Lehrkräfte häufig auch diagnostische Aufgaben. Es ist nicht unwahrscheinlich, dass diagnostische KI-Systeme perspektivisch in Lernsoftwares eingebaut werden. Sie geben dann Rückmeldungen, ob Schüler:innen ggfs. therapeutisch gefördert werden sollten. Systeme könnten zum Beispiel zur Erfassung von Lese-Rechtschreib- oder Rechenschwächen sowie bei logopädischen Herausforderungen eingesetzt werden. Auch diese Art von KI-Systemen gilt als Hochrisiko. Die Notwendigkeit ergibt sich aus Anhang I der Verordnung.
Was ist konkret zu tun?
Was heißt es aber genau, eine Hochrisiko-KI zu betreiben? Zunächst einmal gilt es zu erkennen, dass man eine Hochrisiko-KI betreibt. Es gilt, einen Schritt von der alltäglichen Praxis als Lehrkraft zurückzutreten. Neben der wichtigen Arbeit, junge Menschen bestmöglich zu fördern, ist der Alltag von Lehrkräften auch durch Verwaltungsakte geprägt. Schüler:innen erhalten Noten und damit gewissermaßen eine Zuteilung von Lebenschancen. Auch die Entscheidung, dass Schüler:innen Förderangebote wahrnehmen oder in einen Fortgeschrittenen-Kurs zugeteilt werden, sind Entscheidungen, die zukünftige Teilhabechancen von Schüler:innen beeinflussen. Das heißt, es muss ein Prüfprozess für jedes KI-System geben, das diese grundsätzlichen Fragen berühren könnte. Dabei hilft Erwägungsgrund 56 der KI-Verordnung. Erwägungsgründe sind kommentierende Texte zur Verordnung. Diese helfen Leser:innen, die Intentionen der Kommission und des Parlaments zu verstehen. Neben Erwägungsgrund 56 sind auch 26, 46 und 48 zentral, denn sie erläutern die Risikoanalyse und die Abwägung von Freiheitsrechten der Bürger:innen. Ableitbare Faustregeln zum Stand September 2024 sind:
- Hochrisiko-Systeme dürfen nur von geschultem Personal benutzt werden.
- Die Art, wie Hochrisiko-Systeme eingesetzt werden, muss eng definiert werden. Eine Abweichung von diesen definierten Grenzen ist untersagt.
- KI-Systeme mit Hochrisiko sollen extern mit dem CE-Label zertifiziert sein.
- Ganz generell sollte es zu den Systemen eine Grundrechte-Abwägung geben. Sind Kinder von der Datenverarbeitung betroffen, gilt es, Artikel 24 der Charta der Vereinten Nationen über die Rechte des Kindes (UNCRC) anzuwenden.
- Der Zugriff von Mitarbeitenden auf KI-Hochrisiko-Systeme soll protokolliert werden.
Ganz generell gilt auch, dass von KI-Betroffene immer das Recht haben, die Logiken der KI-Anwendungen mitgeteilt zu bekommen. Was generell einfach klingt, ist tatsächlich eine knifflige Angelegenheit. Denn häufig machen die Anbieter von KI-Modellen, genauso wie die Anbieter von KI-Systemen, ein Geheimnis daraus, wie ihre Systeme funktionieren – das gilt als Geschäftsgeheimnis. Anbieter wie openAI und Google behaupten sogar, sie wüssten gar nicht wie ihre Modelle Entscheidungen treffen. Im Bildungssektor müssen aber z. B. Lehrkräfte, die zu KI-Expert:innen fortgebildet wurden, Eltern und Schüler:innen zügig die involvierten Logiken der Datenverarbeitung mitteilen können. Das zeigt auch, dass nicht die Anbieter, sondern die Anwender die Kontrolle über das technische Geschehen haben. Daher wäre es ratsam, wenn technische Lösungen im Bildungssektor nicht auf Ebene der Lehrkraft oder Schule angeschafft und verantwortet würden, sondern es einheitliche Systeme, wenigstens schulträgerweit, gäbe. Denn so könnten gerade die Zertifizierung und Auskunftspflichten gemeinsam gemeistert werden.
An den Fortbildungen aller Lehrkräfte hingegen führt kein Weg vorbei. Da die Fortbildung zum Ziel haben muss, dass Grundrechte von Bürger:innen geschützt werden, gilt es, vertiefte Kenntnisse zum Thema künstliche Intelligenz und den spezifischen Systemen aufzubauen, aussagefähig zu sein und den KI-Einsatz in notwendiger Form zu beaufsichtigen sowie nachweisen zu können, dass man in diesen Dingen kompetent ist – zum Beispiel in Form einer Prüfung zum Ende der Schulung.
Es ist Zeit, aber es muss dennoch jetzt losgehen
Alles in allem ist die KI-Verordnung sehr jung. Details der Ausgestaltung werden sich erst noch herausbilden, wenn in Deutschland eine Aufsichtsbehörde benannt ist, ein nationales Gesetz zur Implementierung der KI-Verordnung verabschiedet und auch erste Gerichtsverfahren letztinstanzlich durchlaufen wurden. Bis dahin gilt: In 5 Monaten sind Bildungs-KIs als Hochrisiko eingestuft, in knapp zwei Jahren gilt die KI-Verordnung vollständig. Wer als Schulteam damit plant KI einzusetzen, sollte sich im Kollegium jetzt abstimmen. Dass Lehrkräfte eigene Konten bei Anbietern nutzen, ist mit der KI-Verordnung vorbei. Die Schule muss als Ganzes diskutieren ob und wie sie KI in einem klar definierten Rahmen einsetzen will. Lehrkräfte sind in der Verantwortung, sich Schulungen bei qualifizierten Anbietern zu suchen. Statt auf YouTube-Videos zu setzen, empfehlen wir, die Anbieter der Systeme, die in Schule zum Einsatz kommen sollen, nach Qualifizierungen, Nutzer:innenhandbüchern und Systemdokumentationen zu fragen. Hat Ihr Anbieter die letzten beiden Punkte nicht, suchen Sie sich einen neuen Anbieter. Gute Ansprechpartner:innen für die Qualifizierung des Personals sind auch die Landesfortbildungsinstitute oder kommunalen Bildungswerke. Personen in Schlüsselpositionen sollten nicht davor zurückschrecken auch Anbieter wie den TÜV für Qualifizierungen zu nutzen.
Das alles kann zwar zeitlich entspannt realisiert werden während die KIVo in Kraft tritt, doch schon jetzt sollte ein strukturierter Prozess gestartet werden.
