Die KI-Verordnung der Europäischen Union, auch bekannt als AI Act, ist das weltweit erste umfassende Gesetz zur Regulierung von künstlicher Intelligenz und wurde im Jahr 2024 nach intensiven Verhandlungen beschlossen. Die Verordnung ist unmittelbar in allen Mitgliedstaaten anzuwenden und betrifft alle öffentlichen und privaten Stellen, die KI-Systeme in der EU entwickeln, vertreiben oder einsetzen. Damit erfasst sie auch die Träger und Einrichtungen der Sozialwirtschaft, sobald dort Systeme zum Einsatz kommen, die unter die Definition künstlicher Intelligenz nach der Verordnung fallen. Der Anwendungsbereich ist dabei weit gefasst und reicht von automatisierten Bewertungssystemen, intelligenten Assistenzfunktionen bis hin zu lernenden Analyseinstrumenten für Verwaltungsentscheidungen oder die Unterstützung in pädagogischen Prozessen.

Zentrales Prinzip der KI-Verordnung ist ein risikobasierter Ansatz, bei dem KI-Systeme anhand ihres potenziellen Schadens für die Rechte und Freiheiten von Menschen in verschiedene Risikoklassen eingeteilt werden. Verboten sind Anwendungen mit unannehmbarem Risiko, etwa solche, die das menschliche Verhalten manipulieren, biometrische Echtzeit-Überwachung im öffentlichen Raum betreiben oder Menschen nach sozialen Kriterien bewerten. Hochrisiko-KI-Systeme hingegen dürfen verwendet werden, wenn sie bestimmten rechtlichen Vorgaben entsprechen. Diese Vorgaben beinhalten umfassende Pflichten zur Dokumentation, Risikobewertung, Qualitätssicherung, Transparenz gegenüber betroffenen Personen, kontinuierlicher Überwachung sowie zur Sicherstellung menschlicher Aufsicht. Für die Sozialwirtschaft bedeutet dies konkret, dass etwa ein System zur automatisierten Einschätzung von Unterstützungsbedarfen, zur Steuerung von Hilfemaßnahmen oder zur Personalauswahl unter Umständen als Hochrisiko-KI eingestuft wird. Der Betreiber, also die Einrichtung, trägt in diesem Fall die Verantwortung für die Einhaltung aller Anforderungen.

Einrichtungen, die Hochrisiko-KI nutzen, sind verpflichtet, vor dem Einsatz eine umfassende Risikoanalyse vorzunehmen und sicherzustellen, dass alle organisatorischen und technischen Voraussetzungen zur Kontrolle der Systeme gegeben sind. Diese Systeme müssen in einem zentralen Register der EU-Kommission eingetragen werden. Die Einrichtung muss nachweisen können, dass sie die Kontrolle über das System behält, die Entscheidungen nachvollziehbar sind und jederzeit menschlich überprüft werden können. Damit einher geht eine konkrete Schulungspflicht. Alle Mitarbeitenden, die mit Hochrisiko-KI-Systemen arbeiten, sie bewerten oder ihre Ergebnisse anwenden, müssen über die Funktionsweise, die Risiken und die rechtlichen Grundlagen dieser Systeme informiert und fortlaufend geschult werden. Diese Pflicht ergibt sich unmittelbar aus der KI-Verordnung und ist darauf ausgelegt, Missverständnisse, fehlerhafte Bewertungen und verantwortungslose Anwendungen zu vermeiden. Auch das Leitungspersonal ist verpflichtet, die rechtlichen Rahmenbedingungen zu verstehen und den KI-Einsatz in der eigenen Organisation aktiv zu steuern.

Die KI-Verordnung enthält darüber hinaus auch Transparenzpflichten für sogenannte generative KI, also Systeme, die eigenständig Inhalte erzeugen können, wie zum Beispiel Text, Bild, Ton oder Video. Einrichtungen, die solche Systeme einsetzen, etwa zur Erstellung von Berichten, Protokollen oder Schulungsmaterialien, müssen sicherstellen, dass die Inhalte als KI-generiert erkennbar sind und keine täuschende Wirkung entfalten. Die Nutzer müssen darüber informiert werden, dass sie mit einem KI-System interagieren. Auch wenn generative KI nicht zwingend als Hochrisikosystem gilt, besteht für ihre Betreiber dennoch eine rechtliche Pflicht zur Sorgfalt und zur Einhaltung von Transparenzstandards.

In der sozialwirtschaftlichen Praxis wird der AI Act künftig erhebliche Auswirkungen auf die Einführung digitaler Werkzeuge und Prozesse haben. Datenschutz, IT-Sicherheit und ethische Verantwortung müssen beim Einsatz von KI eng zusammen gedacht werden. In vielen Fällen wird zudem eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO erforderlich sein, vor allem dann, wenn automatisierte Entscheidungen über Menschen getroffen werden oder wenn sensible Daten wie Gesundheitsinformationen oder Angaben zu psychosozialen Hintergründen verarbeitet werden. Die IJOS Datenschutzmanagement-Software (DSM) bietet dafür ein spezialisiertes Modul zur Durchführung und Dokumentation von Datenschutz-Folgenabschätzungen, zur Risikobewertung von KI-Prozessen und zur Entwicklung geeigneter Schutzmaßnahmen. Schulungen, Verantwortlichkeitszuweisungen und Kontrollmechanismen können systematisch abgebildet werden. Zudem bietet die Whistleblower-Plattform der IJOS GmbH eine rechtssichere Möglichkeit, Missstände oder nicht genehmigte KI-Nutzung intern zu melden.

Die KI-Verordnung stellt damit nicht nur einen rechtlichen Rahmen dar, sondern auch einen kulturellen Wendepunkt im Umgang mit algorithmischen Systemen. Einrichtungen der Sozialwirtschaft sind gut beraten, sich frühzeitig mit den Anforderungen vertraut zu machen, ihre digitalen Vorhaben rechtlich zu prüfen und eine institutionelle KI-Kompetenz aufzubauen. Wer KI-Systeme verantwortungsvoll und rechtssicher nutzen will, muss nicht nur technische Lösungen implementieren, sondern auch personelle und strukturelle Voraussetzungen schaffen. Nur so kann das Potenzial künstlicher Intelligenz im sozialen Bereich im Sinne der Betroffenen genutzt werden – unter Achtung ihrer Rechte, ihrer Würde und der hohen Schutzbedürftigkeit ihrer Daten.