Montpellier

Vorträge in Montpellier
Neumann: Künstliche Intelligenz im deutschen Verwaltungsprozess

Dr. Jan Neumann, Richter am Oberverwaltungsgericht Münster

Mesdames et messieurs, signore e signori, sehr geehrte Damen und Herren,

herzlichen Dank für die Gelegenheit sprechen zu dürfen bei dieser inspirierenden Konferenz! Sie ist eine beeindruckende Synthese aus Wissenschaft, Rechtspolitik und einer Bestandsaufnahme der beginnenden Nutzung Künstlicher Intelligenz (KI) in der europäischen Justiz. Gleichzeitig ist  dies die zweite Tagung von AJAFIA, AGATIF und VERDIF in Präsenz nach der Coronapandemie. Sie gibt uns die Chance, unseren fachlichen und persönlichen Austausch zu Gunsten der europäischen Zusammenarbeit zu vertiefen. 

Wenn mein Vortrag sich darauf beschränken würde, über die Anwendung Künstlicher Intelligenz in der Praxis und Rechtsprechung der deutschen Verwaltungsgerichte zu berichten, wäre die Präsentation leider sehr schnell beendet. Denn solche KI-Anwendungen sind in der deutschen Verwaltungsjustiz bisher praktisch nicht vorhanden. Vielleicht liegt dies auch daran, dass wir Deutschen im internationalen Vergleich technischen Neuerungen tendenziell eher skeptisch und zögerlich entgegentreten. Wir haben ja zudem gestern gehört und erörtert, dass eine verfassungskonforme KI-Nutzung in der Justiz vielfacher Regelungen und Sicherungen bedarf, die noch nicht umfassend vorhanden sind. In Deutschland ist auch mit Interesse registriert worden, dass die italienische Datenschutzbehörde der Firma OpenAI nur noch eine eingeschränkte Verarbeitung der Daten italienischer Internetnutzer mittels ChatGPT erlaubt wegen der Erfordernisse des Datenschutzes und des Jugendschutzes. 

Mein Vortrag gliedert sich in vier Abschnitte. Bevor ich im dritten Teil aufzeige, welche Projekte zur Nutzung von KI es in der deutschen Justiz zumindest schon in Ansätzen gibt (III.), gebe ich zunächst einen kurzen Überblick über die Digitalisierung der deutschen Verwaltungsgerichtsbarkeit bzw. Justiz (I.) und betrachten wir sodann Ausführungen des Bundesverfassungsgerichts vom Februar diesen Jahres zur Künstlichen Intelligenz (II.). Abschließend geht es um die Anforderungen des deutschen Verwaltungsverfahrensrechts an den Erlass von Verwaltungentscheidungen durch vollständig automatische Einrichtungen (IV.).

  1. Digitalisierung der deutschen Justiz

Die Verwendung digitaler Dokumente ist zwingende Voraussetzung für die Anwendung von KI. Daher hier ein – notwendigerweise nur summarischer – Überblick über die Digitalisierung der deutschen Justiz.

  1. Die Gerichtsakten werden an den meisten deutschen Verwaltungsgerichten seit ein paar Jahren elektronisch geführt. Bis Anfang des Jahres 2026 muss die Aktenführung an allen deutschen Gerichten elektronisch erfolgen (§ 55b Verwaltungsgerichtsordnung, VwGO). Auch manche Behördenakten, eine zentrale Erkenntnisquelle der Verwaltungsgerichte, sind bereits digitalisiert, aber längst noch nicht alle (oft werden nur die neuen Akten digital angelegt, Altakten aber nicht nachdigitalisiert). Wichtig für die digitale Durchdringung der Schriftsätze ist ihre automatische Durchsuchbarkeit, z.B. durch OCR-Erkennung. Daher sind gemäß § 99 Abs. 1 Satz 2 VwGO, der am 1. Januar 2024 in Kraft treten wird, elektronische Behördenakten als digital durchsuchbare Dokumente vorzulegen, soweit dies technisch möglich ist.
  1. Zum elektronischen Rechtsverkehr: Die Prozessbeteiligten können Schriftsätze elektronisch bei Gericht einreichen. Diese sind entweder mit einer qualifizierten elektronischen Signatur zu versehen oder auf einem sicheren Übermittlungsweg zu übermitteln. Vorgaben enthalten § 55a VwGO und die Verordnung über die technischen Rahmenbedingungen des elektronischen Rechtsverkehrs und über das besondere elektronische Behördenpostfach (Elektronischer-Rechtsverkehr-Verordnung). Diese beruhen wiederum auf der Verordnung (EU) Nr. 910/2014 über elektronische Identifizierung und Vertrauensdienste für elektronische Transaktionen im Binnenmarkt („eIDAS-Verordnung“). Rechtsanwälte und Behörden müssen ihre Schriftsätze seit dem 1. Januar 2022 elektronisch bei Gericht einreichen (§ 55d VwGO); dafür verfügen sie über ein besonderes elektronisches Anwaltspostfach („beA“) bzw. ein besonderes elektronischen Behördenpostfach („beBPo“).

An der Entwicklung des digitalen europäischen Rechtsverkehrs im Rahmen von e-CODEX und seinen Nachfolgeprogrammen beteiligt sich insbesondere die Justizverwaltung Nordrhein-Westfalens intensiv, z.T. als Projektleiter. Besonders in der Zivil- und Strafjustiz ist dadurch zum Teil schon die grenzüberschreitende elektronische Antragstellung möglich. Auch der Austausch elektronischer Dokumente zwischen europäischen Gerichten und Staatsanwaltschaften ist partiell erleichtert. Aber wie bei der KI gibt es noch keine umfassende europaweite Anwendung, insbesondere nicht für die Verwaltungsjustiz. Vielmehr gibt es sind bisher nur einzelne Anwendungsbereiche des digitalen Rechtsverkehrs zwischen einzelnen Mitgliedstaaten (z. B. bei geringfügigen zivilrechtlichen Forderungen).

  1. In der deutschen Rechtspolitik wird gegenwärtig kontrovers über Gesetzentwürfe des Bundesministeriums der Justiz diskutiert, wonach Gerichte auf Wunsch der Beteiligten – auch außerhalb einer Pandemie – zur Durchführung von Videoverhandlungen (§ 128a Zivilprozessordnung, ZPO) verpflichtet sein sollen bzw. wonach im verstärktem Umfang Gerichtsverfahren in Ton und Bild aufgezeichnet werden sollen. Hier überwiegt bei den meisten Richterinnen und Richtern die Skepsis.

Im Rahmen einer sogenannten Digitalisierungsinitiative für die Justiz hat die Bundesregierung am 30. März dieses Jahres beschlossen, die Bundesländer in den nächsten vier Jahren mit 200 Millionen Euro bei der weiteren Digitalisierung der Justiz zu unterstützen; außer den Revisionsgerichten des Bundes sind nämlich alle deutschen (Instanz-)Gerichte Einrichtungen der Bundesländer und werden durch diese finanziert. Bei der Digitalisierungsinitiative geht es jedoch noch nicht um KI-Anwendungen in der Justiz, sondern um die Erstellung und Verbesserung von Fachverfahren, z.B. von Programmen für die E-Akte oder um die digitalen Handels-/Vereins-/Strafregister. Zudem sollen Machbarkeitsstudien erstellt werden für die Einrichtung eines Justizportals für Onlinedienstleistungen (z.B. ein Akteneinsichtsportal) und die Einrichtung einer Justizcloud. Zum Umgang mit KI und Legal Tech in der Justiz wollen der Bund und die Länder zumindest eine Strategie erarbeiten.

  1. Urteil des Bundesverfassungsgerichts vom 16. Februar 2023

Bevor wir erste Projekte der Nutzung von KI in der deutschen Justiz betrachten, zunächst zu einer aktuellen Entscheidung des obersten deutschen Gerichts. Das Bundesverfassungsgericht hat in einem Urteil vom 16. Februar 2023 – 1 BvR 1547/19 u.a. – zur automatisierten Datenanalyse durch Polizeibehörden ausgeführt, dass die automatisierte Datenauswertung spezifische Belastungseffekte haben kann, die über den Eingriff in die informationelle Selbstbestimmung durch die erstmalige Datenerhebung hinausgehen. In Rn. 100 des Urteils heißt es: „Besonderes Eingriffsgewicht kann je nach Einsatzart die Verwendung lernfähiger Systeme, also Künstlicher Intelligenz (KI), haben. Deren Mehrwert, zugleich aber auch ihre spezifischen Gefahren liegen darin, dass … kriminologisch fundierte Muster … automatisiert weiterentwickelt oder überhaupt erst generiert und dann in weiteren Analysestufen weiter verknüpft werden. Mittels einer automatisierten Anwendung könnten so über den Einsatz komplexer Algorithmen zum Ausweis von Beziehungen oder Zusammenhängen hinaus auch selbstständig weitere Aussagen im Sinne eines „predictive policing“ getroffen werden. So könnten besonders weitgehende Informationen und Annahmen über eine Person erzeugt werden, deren Überprüfung spezifisch erschwert sein kann. Denn komplexe algorithmische Systeme könnten sich im Verlauf des maschinellen Lernprozesses immer mehr von der ursprünglichen menschlichen Programmierung lösen, und die maschinellen Lernprozesse und die Ergebnisse der Anwendung könnten immer schwerer nachzuvollziehen sein. Dann droht zugleich die staatliche Kontrolle über diese Anwendung verloren zu gehen.“

Das BVerfG hat insoweit Bezug genommen auf das Urteil des Gerichtshofs der Europäischen Union vom 21. Juni 2022 im Verfahren Ligue des droits humains (C-817/19, Rn. 194 f.). Darin hat der EuGH entschieden, dass gemäß Art. 6 Abs. 3 der PNR-Richtlinie (EU) 2016/681 Fluggastdaten nur anhand von im Voraus festgelegten Kritierien ausgewertet werden dürfen, nicht aber durch selbstlernende KI-Systeme, welche die Bewertungskriterien ohne menschliche Einwirkung und Kontrolle abändern könnten.

Das BVerfG hat am 16. Februar 2023 geurteilt, eine spezifische Herausforderung der KI bestehe darin, die Herausbildung und Verwendung diskriminierender Algorithmen zu verhindern. Selbstlernende Systeme dürften in der Polizeiarbeit genutzt werden, aber nur unter besonderen verfahrensrechtlichen Vorkehrungen, die trotz der eingeschränkten Nachvollziehbarkeit ein hinreichendes Schutzniveau sichern; der Gesetzgeber müsse für klare Regelungen sorgen. Insbesondere der sachgerechten Kontrolle komme große Bedeutung zu. Diese könne durch Datenschutzbeauftragte stichprobenartig erfolgen. Unerlässlich sei, dass genau begründet werde, weshalb bestimmte Datenbestände im Wege automatisierter Anwendung analysiert werden. Ermögliche Software einen komplexen Datenabgleich, könnten gesetzliche Regelungen zu einem staatlichen Monitoring der Softwareentwicklung erforderlich sein.

Spezifische gesetzliche Regelungen zum Einsatz der KI in der deutschen Justiz bestehen bisher jedoch nicht. Zur Zulässigkeit lernfähiger Softwareanwendungen schweigt der deutsche Gesetzgeber bislang weitgehend. Wir warten auf die EU KI-Verordnung.

Was der Einsatz Künstlicher Intelligenz für die Arbeit von Verwaltungsrichtern bewirken könnte, habe ich Anfang Februar das Programm ChatGTP gefragt. Die Antwort war: „Für Verwaltungsrichter bedeutet der Einsatz von künstlicher Intelligenz in der Rechtsprechung, dass sie Unterstützung bei der Bewältigung großer Datenmengen und komplexer Fälle erhalten können. Dies kann die Effizienz und Genauigkeit ihrer Arbeit verbessern. Künstliche Intelligenz kann beispielsweise verwendet werden, um Fälle schneller und präziser zu kategorisieren, Rechtsvorschriften und Präzedenzfälle zu identifizieren, die für einen Fall relevant sind, und Vorhersagen über die Wahrscheinlichkeit eines bestimmten Urteils zu treffen.“

III. KI-Projekte in der deutschen Justiz

Nun zu ersten praktischen Ansätzen von KI in der deutschen dritten Staatsgewalt. Für die Verwaltungsgerichtsbarkeit muss ich leider Fehlanzeige erstatten. Nicht nur mir, sondern auch den Angehörigen eines durch das Ministerium der Justiz des Landes Nordrhein-Westfalen in diesem Jahr gegründeten „Think Tank Legal Tech und KI in der Justiz“ sind KI-Anwendungen der deutschen Verwaltungsgerichtsbarkeit derzeit nicht bekannt. In dem Think Tank haben drei Richterinnen und Richter und zwei Justizbedienstete die Aufgabe, über die zahlreichen bundesweitendeutschen Projekte zu Legal Tech und KI informiert zu sein und bedarfsorientierte KI-Projekte anzuregen.

Die Präsidentinnen und Präsidenten der Oberlandesgerichte und des Bundesgerichtshofs haben im Mai 2022 aber ein Grundlagenpapier zum (potentiellen) Einsatz von KI in der Justiz verfasst unter dem Titel  „Einsatz von KI und algorithmischen Systemen in der Justiz“. Darin werden verschiedenste Anwendungsmöglichkeiten analysiert und geplante bzw. begonnene Pilotprojekte beschrieben.

Zu Einsatzmöglichkeiten der KI in der Justiz hat zudem der Justizminister des Landes Nordrhein-Westfalen gegenüber dem Landtag am 24. Oktober 2022 (Vorlage 18/289) ausgeführt, es gehe vor allen um Anwendungen, die zu Arbeitserleichterungen für die Mitarbeitenden der Justiz führten oder den Bürgern den Zugang zum Recht erleichterten. So könne KI bei der Durchdringung von Schriftstücken, z.B. neuen Klagen helfen. Gerade bei Massenverfahren könnten so Verfahren in den Serviceeinheiten elektronisch automatisiert erfasst und angelegt werden. Zur Vorbereitung gerichtlicher Entscheidungen könnten Schriftsätze durchsucht, ausgewertet und z.B. in verschiedene Fallkategorien eingeordnet werden (abhängig z.B. von Namen, Orten, Daten, juristischen Zitaten etc.). Große Datenmengen können automatisiert ausgewertet werden, z.B. beschlagnahmte Videos und Fotos in Strafverfahren. Im Landtag von Nordrhein-Westfalen gab es im Januar 2023 eine Expertenanhörung zu Perspektiven einer justiziellen Nutzung der KI.

Ein interdisziplinäres Forschungsprojekt für den Einsatz Künstlicher Intelligenz zur automatisierten Bilderkennung bei Kinderpornographie leitet die Zentral- und Ansprechstelle Cybercrime (ZAC NRW) bei der Generalstaatsanwaltschaft Köln. Die Durchdringung großer Textmengen (z.B. tausender Chatnachrichten) mittels Selektoren, also bestimmter Stichwörter ist vergleichsweise trivial, aber sehr hilfreich, sei es im Verwaltungsprozess oder in strafrechtlichen (Ermittlungs-)Verfahren.

Auch bei der auditiven Aufzeichnung von Gerichtsverhandlungen mittels Spracherkennung und bei der Anonymisierung von Gerichtsentscheidungen kann KI helfen.

Ein wichtiger Anwendungsfall ist das automatisierte Durchsuchen von (langen) Schriftsätzen und die Extraktion von Daten aus diesen Schriftsätzen. Dies ermöglicht zum einen eine automatische Erfassung neu eingehender Verfahren mit den Daten der Beteiligten. Zum anderen können Verfahren anhand von – durch Richter vorgegebenen – Parametern automatisiert bestimmten Fallgruppen zugeordnet werden. Dies ermöglicht eine (grobe) rechtliche Einordnung von Verfahren, insbesondere bei Anhängigkeit vieler Massenverfahren. Wie Sie wissen, können Rechtsanwaltskanzleien mittels Legal Tech mit vergleichsweise geringem Aufwand tausende Klageverfahren anstrengen und jeweils sehr umfangreiche, weitgehend gleiche, aber nicht identische Schriftsätze einreichen. Die deutsche Justiz versucht nun, die Vielzahl dieser Verfahren durch vergleichbare Programme des Lech Tech bzw. der KI möglichst effizient und zügig zu bearbeiten.

Ein Beispiel hierfür ist die Software OLGA („Oberlandesgericht-Assistent“). Am Oberlandesgericht Stuttgart nutzen Zivilsenate diese Software seit November 2022, um die über 13.000 Berufungsverfahren in „Dieselklagen“ gegen Autohersteller/-händler wegen verbotener Abschaltautomatiken zu analysieren. So können zum Beispiel automatisiert Daten aus Schriftsätzen der Beteiligten in Entscheidungsentwürfe übertragen werden. Ebenso können Fallgruppen gebildet und Musterentwürfe als Vorlage für gleichartige Entscheidungen verwendet werden. Auch können Sitzungstermine mit Verfahren zu gleichen Themen und/oder mit denselben Beteiligten oder Anwälten automatisch zusammengestellt werden. Angesichts der in Folge des EuGH-Urteils vom 21. März 2023 – C-100/21 – im Verfahren Mercedes Benz Group zu erwartenden weiteren Klagewelle ist dies ein wichtiges Hilfsmittel für die modernde richterliche Arbeit.

In Verfahren zu Fluggastrechten (z. B. nach Ausfällen oder Verspätungen von Flügen) soll am Amtsgericht Frankfurt in den ca. 12.000 jährlichen Verfahren eine KI-Anwendung namens FRAUKE („Frankfurter Urteils-Konfigurator Elektronisch“) helfen. Mit dieser können z.B. Flugdaten aus den Schriftsätzen, Bordkarten, und frühere Entscheidungen ausgewertet und Entscheidungsvorschläge erstellt werden.

Am Landgericht Hechingen in Baden-Württemberg wird vergleichbar dazu ein Programm namens Codefy genutzt. Es soll Dokumente erfassen, ordnen und beurteilen. Vorstellbar ist zum Beispiel eine chronologische Ordnung von Prozessvortrag anhand von bestimmten Daten in den Schriftsätzen. Bei einem Vergleich zweier Texte können inhaltsgleiche Passagen oder unterschiedliche Textteile herausgefiltert oder hervorgehoben werden.

Automatische Übersetzungen von Rechtstexten werden in Baden-Württemberg erprobt mit Hilfe des französischen Unternehmens SYSTRAN.

Das Justizministerium von Baden-Württemberg hat die Idee eines bundesweiten einheitlichen Künstliche-Intelligenz-Portals (KI-Portal) der Justiz, das die IT-Systeme vernetzen soll und in dem eine gemeinsame KI-Strategie die betrieblichen und rechtlichen Grundlagen vereinheitlichen soll. Dies wäre sicher gewinnbringend, aber ob, wann und wie es umgesetzt wird, bleibt abzuwarten.

Auch die Berechnung von Gerichtskosten oder die Prüfung der wirtschaftlichen Verhältnisse bei Anträgen auf Prozesskostenhilfe oder in Fragen des familiären Unterhalts könnten künftig vollautomatisiert erfolgen. Es zeigt sich, dass gegenwärtig echte Anwendungen der Künstlichen Intelligenz in Form von selbstlernenden Algorythmen in der deutschen Justiz praktisch noch nicht genutzt werden. Es handelt sich dabei eben typischerweise um technisch sehr anspruchsvolle und mit vielen rechtlichen und ethischen Fragen behaftete Anwendungen. Die deutsche Justiz tastet sich langsam an diese heran, nachdem erst seit kurzer Zeit die digitale Akte zum Arbeitsalltag geworden ist. Manche mögen dies bedauern, andere mag es beruhigen.

Bis die KI unter Umständen wirklich einen erheblichen Teil der (vorbereitenden) justiziellen Arbeit erledigen wird, wird sicher noch viel Zeit vergehen. Es sei denn, man verstünde die KI noch immer wie das oberste deutsche Finanzgericht, der Bundesfinanzhof, in einem Urteil vom 5. Februar 1988 (III R 49/83). Dort heißt es, Computeranwendungsprogramme, welche Anweisungen und Befehle an eine Maschine (nämlich den Computer) geben, würden in der Literatur als „künstliche Intelligenz“ bezeichnet. 

  1. Verwaltungentscheidungen durch vollständig automatische Einrichtungen

Exemplarisch für die Herausforderungen des Einsatzes von KI bei gerichtlichen (oder behördlichen) Entscheidungen möchte ich auf die rechtlichen Anforderungen des deutschen Verwaltungsverfahrensrechts für den Erlass von Verwaltungsentscheidungen durch vollständig automatische Einrichtungen, eine Vorstufe der KI, eingehen. Gemäß § 35a des Verwaltungsverfahrensgesetzes (VwVfG) kann ein Verwaltungsakt in Deutschland vollständig durch automatische Einrichtungen erlassen werden, sofern dies durch Rechtsvorschrift zugelassen ist und weder ein Ermessen noch ein Beurteilungsspielraum besteht. Nach § 24 Abs. 1 Satz 3 VwVfG NRW muss die Behörde, wenn sie automatische Einrichtungen zum Erlass von Verwaltungsentscheidungen einsetzt, für den Einzelfall bedeutsame tatsächliche Angaben des Beteiligten berücksichtigen, die im automatischen Verfahren nicht ermittelt würden.

Insoweit ist auf eine neue Entscheidung des Oberverwaltungsgerichts für das Land Nordrhein-Westfalen (OVG NRW) hinzuweisen, an dem ich tätig bin. Mit Urteil vom 17. März 2023 – 4 A 1986/22 – hat dieses entschieden, dass die Rückforderungen von für Selbständige gewährten finanziellen Corona-Soforthilfen schon deshalb rechtswidrig waren, weil die Verwaltungsakte in diesen (vielen Tausend) Verfahren vollständig durch automatische Einrichtungen erlassen worden waren, ohne dass hierfür eine spezielle gesetzliche Grundlage vorlag. Der Einsatz vollautomatischer Systeme erfolgt, wenn es an einer Willensbetätigung einer den Verwaltungsakt erlassenden Person im Einzelfall fehlt und die Entscheidung bei der Programmierung des Systems sozusagen „vorweggenommen“ wird. Außerdem waren die Rückforderungsbescheide rechtswidrig, weil nicht sichergestellt war, dass für den Einzelfall bedeutsame tatsächliche Angaben der Betroffenen Berücksichtigung fanden.

Der Senat konnte in dem Urteil offenlassen, ob der Rückforderungsbescheid auch gegen Art. 22 der Verordnung (EU) 2016/679 verstößt, also gegen die Einschränkungen der Datenschutz-Grundverordnung bezüglich automatisierter Entscheidungen. Insofern dürfte auch Art. 22 Abs. 1 DSGVO verletzt worden sein, weil eben keine die automatisierte Entscheidung zulassende Rechtsvorschrift der EU oder Deutschlands vorlag (Art. 22 Abs. 2 lit. b). Vollautomatisierte Verwaltungsakte sind im deutschen Finanzverwaltungsverfahren in den Grenzen des § 155 Abs. 4 Abgabenordnung möglich, im Sozialverwaltungsverfahren nach § 31a des Zehnten Sozialgesetzbuchs.

Mesdames et messieurs, signore e signori, sehr geehrte Damen und Herren,

abschließend möchte ich Sie als Vorsitzender der deutschen Sektion von AJAFIA/AGATIF/VERDIF herzlich einladen zu unserer nächsten Tagung am 20. Oktober 2023 nach Düsseldorf, der Hauptstadt von Deutschlands bevölkerungsreichstem Bundesland Nordrhein-Westfalen. Das Thema wird lauten „Der Zugang zu staatlichen Informationen und seine Grenzen, insbesondere aus Gründen der öffentlichen Sicherheit“. In etwa einem Monat werden Sie nähere Informationen auf den Webseiten von VERDIF finden. Ich würde mich sehr freuen, Sie dort begrüßen zu dürfen!

Vielen Dank für Ihre Aufmerksamkeit. 

Künstliche Intelligenz als Gegenstand des Verwaltungsprozesses

KÜNSTLICHE INTELLIGENZ ALS GEGENSTAND DES VERWALTUNGSPROZESSES
Heute Objekt, morgen Subjekt, übermorgen Akteur, eines Tages vielleicht Autor… Wenn man sich manche Reden anhört, scheint die künstliche Intelligenz (KI) über kurz oder lang in allen Phasen des Verwaltungsprozesses eine Rolle zu spielen.
Sie ist Gegenstand des Verwaltungsprozesses, wenn die Entscheidung der Verwaltung, ein System künstlicher Intelligenz (KI) einzusetzen, angefochten wird. Die in Frage gestellte Entscheidung ist menschlichen Ursprungs, aber der Streitpunkt des Prozesses ist die KI, die eine Abwägung ihrer Vorteile im Hinblick auf die Effizienz der öffentlichen Politik gegen ihre Risiken, insbesondere im Hinblick auf Grundrechtsverletzungen, erfordert.

L’INTELLIGENZA ARTIFICIALE COME OGGETTO DI PROCEDIMENTI AMMINISTRATIVI
Oggi oggetto, domani soggetto, dopodomani attore, un giorno forse autore… A sentire alcuni discorsi, l’intelligenza artificiale (IA) sembra promettere, in tempi più o meno brevi, di intervenire in tutte le fasi del processo amministrativo.
È l’oggetto del processo amministrativo quando viene contestata la decisione dell’amministrazione di utilizzare un sistema di intelligenza artificiale (AIS). La decisione contestata è di origine umana, ma la posta in gioco nel processo è proprio l’intelligenza artificiale, che implica un bilanciamento tra i suoi vantaggi in termini di efficienza delle politiche pubbliche e i suoi rischi, in particolare in termini di violazione dei diritti fondamentali.

Die Risiken des Einsatzes von künstlicher Intelligenz im Prozess

Die Risiken des Einsatzes von künstlicher Intelligenz im Prozess
Professorin an der Universität Paris Nanterre
Ich werde zunächst einen Überblick über die Vielfalt der Realitäten geben, auf die sich die digitale Justiz bezieht (1), dann die Illusionen und Risiken des Einsatzes von KI in der Justiz aufzeigen (2) und schließlich Wege für eine normative Rahmung skizzieren (3).

I rischi dell’uso dell’intelligenza artificiale nei procedimenti amministrativi.
Professore presso l’Università di Parigi Nanterre
Darò innanzitutto una panoramica della diversità delle realtà a cui si riferisce la giustizia digitale (1), prima di mostrare le illusioni e i rischi dell’uso dell’IA in campo giudiziario (2) e infine di delineare le vie per un quadro normativo (3).

Risiken und Chancen beim Einsatz von künstlicher Intelligenz. Der Fall Chatgpt

RISIKEN UND CHANCEN BEIM EINSATZ VON KÜNSTLICHER INTELLIGENZ. DER FALL CHATGPT

von Professor Alessandro Dario Cortesi

Zusammenfassung

Fuzzy Logic – Neuronale Netze – Deep Learning –

KI als Objekt und nicht als Subjekt

Allgemeine-Intelligenz–Superintelligenz

Der Fall ChatGPT

Risiken bei der Nutzung von KI

Abhilfemaßnahmen – Die Anwendung des Vorsorgeprinzips

 

Vorwort

Künstliche Intelligenz ist sicherlich kein neues Thema.

Der Begriff „Roboter“ leitet sich vom tschechischen „robota“ ab, d. h. „Zwangsarbeit“, und wurde erstmals in Karel Čapeks Theaterstück „R.U.R.“ für humanoide Arbeitskräfte verwendet. (Akronym für „Rossumovi univerzální roboti“, zu übersetzen mit „Rossum’s Universal Robots“) aus dem Jahr 1920.

Alan Turings bekannter Artikel „Computer Machinery and Intelligence“, der mit der Frage „Können Maschinen denken?“ beginnt und das sogenannte „Nachahmungsspiel“ vorstellt, erschien 1950 in der Zeitschrift Mind, Nr. 59 (S. 433 ff.).

Es ist auch nicht das erste Mal, dass das Thema von unserer Vereinigung aufgegriffen wird.

Im Jahr 2018 hatte ich die Ehre, den italienischen Vortrag auf der Saarbrücker Konferenz zu halten, deren Thema die Europäische Datenschutzverordnung (DSGVO) war, und schon damals hatte ich die Gelegenheit, über die Revolution zu sprechen, die durch die Big-Data-Analyse, das maschinelle Lernen, die sogenannten Waffen der mathematischen Zerstörung, den Roboter-Richter, die Rolle der Aufsichtsbehörde und so weiter ausgelöst wurde; Themen, die wir heute zum Teil berühren werden.

Das Thema ist wieder in Mode gekommen, weil parallel zur linearen Entwicklung der Robotik in jüngster Zeit Anwendungen der künstlichen Intelligenz im engeren Sinne (so genannte starke KI) auf den Markt gekommen sind, die auf der Grundlage von Fuzzy-Logik und künstlichen neuronalen Netzen die Funktionsweise des menschlichen Gehirns simulieren und es dem Computer ermöglichen, sich selbst neu zu programmieren. Diese Fähigkeit, den eigenen Code als Reaktion auf äußere Reize selbstständig zu verbessern (Deep Learning), bildet das Herzstück der künstlichen Intelligenz und birgt die größten rechtlichen Probleme.

Fuzzy-Logik – Neuronale Netze – Deep Learning – KI – Objekt und nicht Subjekt

Einige technische Klarstellungen:

Die unscharfe Logik ermöglicht die Verarbeitung von Konzepten, indem sie sich von dem Engpass der binären Wahr-Falsch-Logik befreit. Nur zwei entgegengesetzte Zustände sind nicht verarbeitbar: heiß/kalt; hoch/tief; schwarz/weiß usw. Es gibt Elemente der Realität, die in unterschiedlichem Maße zu mehreren divergierenden Gruppen gehören. So kann beispielsweise ein Getränk „lauwarm“ sein, d. h. es kann sowohl zur Klasse der „heißen“ Dinge als auch zur Klasse der „kalten“ Dinge gehören1.

Künstliche neuronale Netze sind ein Rechenmodell, das sich lose an das biologische neuronale Netz anlehnt, das in ihnen eine sehr vereinfachte Nachahmung findet. Es besteht aus Informationen (sogenannten künstlichen Neuronen), die nach einem adaptiven Modell miteinander verbunden sind, das seine Struktur als Reaktion auf externe oder interne Reize während der Lernphase verändert2.

Kurz gesagt, indem der KI eine große Menge an Daten übermittelt wird und sie manchmal das entsprechende Feedback von Menschen erhält, ist der Prozessor in der Lage, „aus seinen Fehlern zu lernen“ und Ergebnisse zu erzielen, die nicht völlig vorhersehbar oder sogar unvorhersehbar sind.

Nach der bekannten Definition von T. Mitchell heißt es, dass ein Computerprogramm in Bezug auf eine Klasse von Aufgaben T „aus Erfahrungen E“ lernt und dass sich seine durch P gemessene Effektivität verbessert, wenn es E3 erlebt.

Dies ist nicht wirklich „Intelligenz“, und wenn wir diesen Begriff verwenden, müssen wir uns bewusst sein, dass wir eine Metapher verwenden. Zumindest für diejenigen, die wie ich jede reduktionistische Hypothese (jede Ableitung des materialistischen Szientismus) ablehnen, handelt es sich um ein deutlich anderes Phänomen als das, was eminent menschlich ist und bleibt.

Wir können das Substantiv „Intelligenz“ nur verwenden, weil das zentrale Nervensystem noch viele Rätsel aufgibt. Ein Doktorand von mir, der sich vor Jahren mit dieser Thematik befasst hat, hat mindestens zwölf verschiedene widersprüchliche Definitionen von Intelligenz in der Lehrmeinung gefunden, was in der Praxis bedeutet, dass es keine gibt.

Der Touring-Test selbst ist bei näherer Betrachtung nichts anderes als die Anerkennung dieser Unfähigkeit: Da wir nicht wissen, wie wir als das Proprium der menschlichen Intelligenz definieren sollen, verstehen wir unter „künstlicher Intelligenz“ das, was konkret  nicht von ihr zu unterscheiden ist.

Durch die Nutzung eines abstrakt unbegrenzten Speichers und einer unbegrenzten Verarbeitungsgeschwindigkeit könnte die Maschine Ergebnisse von außerordentlicher Effizienz erzielen, aber meiner Meinung nach macht es keinen Sinn, wie manche es tun, von „Soulware“ zu sprechen: Software kann niemals eine Seele, ein Gewissen, ein Selbstbewusstsein4 haben: Sie kann menschliches Verhalten simulieren, aber niemals „jemand“ sein/werden. Daher halte ich die Verleihung der Staatsbürgerschaft an eine künstliche Intelligenz (wie im Fall des Roboters Sophia im Jahr 2017 in Riyad) oder die Verleihung einer „elektronischen Rechtspersönlichkeit“ nicht für angebracht.5 Ich halte es auch nicht für angebracht, die zivil- oder gar strafrechtliche Haftung von Maschinen zu bejahen. Künstliche Intelligenz ist und muss ein Objekt bleiben, kein Rechtssubjekt.

Vielmehr ist es dringend erforderlich, zu gemeinsamen Schlussfolgerungen über das Rechtssubjekt zu gelangen, das im Mittelpunkt der Zurechnung von Schäden steht: der Hersteller, der Programmierer, der Ausbilder, der Benutzer usw.

Allgemeine Intelligenz – Superintelligenz

Ein altes Gebäude im Zentrum von Paris beherbergt die europäische Abteilung der Facebook Artificial Intelligence Researchers (FAIR), die jetzt Meta AI heißt.

Bis 2021 wurde sie von einem theoretischen Linguisten, Prof. Marco Baroni, geleitet, der in Bozen geboren wurde und in Padua studiert hat. Die Aufgabe dieser Abteilung besteht darin, Maschinen das Erlernen von Sprachen beizubringen.

Die Beherrschung einer Sprache erreicht man nicht durch das Studium von Grammatikregeln oder Wortlisten (wie es Schulkinder noch oft tun). Um gute Ergebnisse zu erzielen, muss man das nachahmen, was Kinder tun, wenn sie auf natürliche Weise mit ihrer Muttersprache experimentieren.

Das Problem ist, dass es den Wissenschaftlern immer noch ein Rätsel ist, wie wir alle unsere Hauptsprache lernen, und dass die KI von dem geplagt wird, was dieser Forscher als „katastrophales Vergessen“ bezeichnet.

Um zu verstehen, worum es sich dabei handelt, erinnern wir uns an Deep Blue, den berühmten IBM-Computer, der 1996 die erste Schachpartie gegen den Weltmeister gewinnen konnte, indem er viele Partien der größten Spieler der Schachgeschichte studierte. Alles, was er über das Schachspiel gelernt hat, all die ausgeklügelten Strategien, die er sich angeeignet hat, würden es Deep Blue nicht erlauben, auch nur eine einzige Partie eines anderen Spiels zu gewinnen … in einem anderen Anwendungsbereich ist die KI völlig entwaffnet.

Doch 2017 schlug DeepMinds (Googles) Alpha Go Zero den Go-Weltmeister, und zwar, anders als Deep Blue, ohne irgendwelche menschlichen Partien zu studieren, sondern einfach (sobald es die Regeln gelernt hatte), durch das Training, mit sich selbst zu spielen und aus seinen Fehlern zu lernen (was, je nach Geschwindigkeit des Prozessors, sogar in ein paar Tagen geschehen kann).

Nun, wir wissen nicht, wie viele Jahre uns noch von der Entwicklung einer Software mit „allgemeiner Intelligenz“ trennen (d. h. der Fähigkeit, beliebige kognitive Zwecke und nicht nur spezifische Aufgaben zu verfolgen), oder wie lange es dauern wird, bis sie jene rekursive und sehr schnelle Verbesserung auslöst, die zur so genannten „Superintelligenz“ führen wird (d. h. einer Intelligenz, die die des Menschen im Allgemeinen übertrifft), aber Beispiele wie ChatGPT und die rasanten Entwicklungen im Quantencomputing lassen uns vermuten, dass es nicht mehr allzu weit ist.

Der Fall ChatGPT

ChatGPT ist eine KI-Anwendung. GPT steht für Generative Pre-trained Transformer und der Name deutet bereits darauf hin, dass es sich um eine konversationelle, generative KI handelt, die auf einem transformativen künstlichen neuronalen Netz basiert. Kurz gesagt, es handelt sich um eine künstliche Intelligenz, mit der man sich unterhalten kann (weil sie die natürliche Sprache der Benutzer als Eingabe verarbeitet) und die Inhalte, insbesondere Textinhalte, generiert.

Sie wurde von OpenAI entwickelt, einer am 10. Dezember 2015 in San Francisco gegründeten Non-Profit-Organisation, deren Ziel es ist, eine freundliche künstliche Intelligenz zu fördern, von der die Menschheit profitieren kann, und deren Patente und Forschung der Öffentlichkeit zugänglich sind.

Zu den Gründern gehören Elon Musk, Samuel Harris (Sam) Altman (Präsident von Y Combinator, einem Start-up-Beschleuniger, der ebenfalls zu den Gründern gehört; derzeitiger CEO von OpenAI), Greg Brockman (ehemaliger Chief Technology Officer und jetzt Präsident von OpenAI), Ilya Sutskever (Chief Scientist von OpenAI) und Wojciech Zaremba (Hauptautor des GPT-Modells, wie Sutskever von Google Brain), aber auch Amazon Web Services und Infosys.

ChatGPT wurde mit Techniken des maschinellen Lernens (unbeaufsichtigter Typ) entwickelt und mit Techniken des überwachten und verstärkenden Lernens optimiert. Am 3. November 2022 gestartet, hat es innerhalb weniger Tage Millionen von Nutzern erreicht (so viele, dass der Zugriff aufgrund der vielen Anfragen schwierig ist), was für die Güte der angebotenen Antworten spricht.

Im Jahr 2018 versuchte Elon Musk, eine dominante Rolle bei OpenAI zu übernehmen. Der Vorstand akzeptierte seinen Vorschlag nicht und Musk beschloss daraufhin, offiziell wegen eines möglichen Interessenkonflikts zurückzutreten, da er CEO von Tesla ist.

Im Jahr 2019 wurde OpenAI von einem „Non-Profit“-Unternehmen in ein „Capped For-Profit“-Unternehmen umgewandelt. Letztere Unternehmensstruktur erlaubt das Streben nach Gewinn (und damit das Anlocken von Investitionen), jedoch nicht über eine bestimmte Grenze hinaus, um ein Gleichgewicht zwischen dem Streben nach Gewinn und dem Erreichen sozialer Ziele herzustellen.

Im Mai 2019 erhielt OpenAI eine Investition von Microsoft in Höhe von 1 Milliarde Dollar, die später auf 10 Milliarden Dollar aufgestockt wurde, mit dem Ziel, 49 % des Kapitals zu erlangen. Alle Systeme von OpenAI laufen auf einem Microsoft-Supercomputer.

Microsoft hat ChatGPT bereits in die Antworten seiner Suchmaschine Bing integriert (so  dass Samsung darüber nachdenkt, es anstelle von Google als Suchmaschine in seine Geräte zu integrieren) und beabsichtigt, auch die Programme des Office-Pakets durch KI zu bereichern.

Google bleibt natürlich nicht untätig und wird in Kürze „Sparrow“ auf den Markt bringen, eine Anwendung, die von einer Schwesterfirma namens DeepMind entwickelt wurde, die von der gemeinsamen Muttergesellschaft Alphabet kontrolliert wird, und die verspricht, bei der Korrektur von Fehlern und beim Zitieren von Quellen effektiver zu sein als ChatGPT.

Aber es gibt noch viele andere Anwendungen generativer KI: Synthesia, Midjournay, Wellsaid, Runway, Writesonic, um nur einige zu nennen, und seit kurzem auch das sehr interessante „Claude“ von Anthropic, dem ich persönlich den Vorzug gebe.

Um auf ChatGPT zurückzukommen: Es ist nicht ohne Einschränkungen. Es wurde auf einem Textkorpus von über 570 Gigabyte in englischer Sprache und auf anderen, kleineren Texten in anderen Sprachen wie Französisch, Spanisch, Deutsch, Italienisch, Chinesisch, Japanisch, Koreanisch usw. trainiert. Die künstliche Intelligenz erkennt, wenn die Frage gestellt wird, dass dies bedeutet: „Ich habe vielleicht mehr Kenntnisse und Fähigkeiten in Englisch als in anderen Sprachen“.

In einigen Fällen, wie meine Schüler in einigen Sitzungen feststellen konnten, gibt ChatGPT unzuverlässige Antworten.

Wie ChatGPT selbst erklärt: „Als Sprachmodell basiert mein Wissen auf den Trainingsdaten, die von meiner Schöpfung bereitgestellt werden, die im Jahr 2021 endet. Das bedeutet, dass meine Antworten und mein Wissen keine Ereignisse berücksichtigen, die nach diesem Datum eingetreten sind […] Es ist wichtig, darauf hinzuweisen, dass ich als Modell mit künstlicher Intelligenz nicht für die Richtigkeit der in den Trainingsdaten enthaltenen Informationen garantieren kann, da ich nicht in der Lage bin, den Wahrheitsgehalt der Inhalte zu überprüfen.“

Das berühmteste Beispiel für „Halluzinationen“ (so lautet der Fachausdruck für seine Fehler) ist der Fall des Bürgermeisters Brian Hood aus Hepburn Shire, einer Kleinstadt nordwestlich von Melbourne, Australien.

Als er im Jahr 2000 für eine Zweigstelle der Reserve Bank, Note Printing Australia, arbeitete, berichtete Brian Hood über Vorfälle von interner Korruption in der Zweigstelle. ChatGPT interpretierte die Presseartikel, die darüber berichteten, falsch und brachte den Namen des Bürgermeisters mit den Verbrechen in Verbindung, die er vereitelt hatte, so dass er als Täter dastand und seine Ehre dadurch schwer beschädigt wurde.

Am 20. März 2023 kam es bei ChatGPT außerdem zu einem schweren Datenverlust (Datenschutzverletzung) in Bezug auf die Unterhaltungen der Nutzer und die Zahlungsinformationen der Abonnenten des kostenpflichtigen Dienstes.

Dies führte dazu, dass die italienische Datenschutzbehörde feststellte:

– dass weder die Nutzer noch die betroffenen Personen, deren Daten von Open AI gesammelt und über den ChatGPT-Dienst verarbeitet wurden, informiert wurden

– das Fehlen einer angemessenen Rechtsgrundlage für die Erhebung personenbezogener Daten und deren Verarbeitung zum Zwecke des Trainings der Algorithmen, die dem Betrieb von ChatGPT zugrunde liegen;

– dass die Verarbeitung der personenbezogenen Daten der betroffenen Personen ungenau ist, da die von ChatGPT bereitgestellten Informationen nicht immer mit den tatsächlichen Daten übereinstimmen

– das Fehlen einer Überprüfung des Alters der Nutzer in Bezug auf den ChatGPT-Dienst, der gemäß den von OpenAI veröffentlichten Bedingungen Personen vorbehalten ist, die mindestens 13 Jahre alt sind (während in Italien die Grenze für eine gültige Zustimmung bei 14 Jahren liegt);

und in Anbetracht der Tatsache, dass das Fehlen von Filtern für Minderjährige unter 13 Jahren sie Reaktionen aussetzt, die in Bezug auf ihren Entwicklungsstand und ihr Selbstbewusstsein völlig ungeeignet sind, die Verarbeitung personenbezogener Daten von auf italienischem Hoheitsgebiet ansässigen betroffenen Personen vorläufig einzuschränken, eine Untersuchung einzuleiten und OpenAI eine Reihe von Vorschriften zu diktieren, die gemäß Artikel 58 Absatz 2 Buchstabe d DSGVO angeordnet wurden.

Diese Maßnahme der italienischen Datenschutzbehörde (Dringlichkeitsbeschluss des Präsidenten Nr. 112 vom 30. März 2023) stieß im eigenen Land auf heftige Kritik.

Nur wenige – darunter diejenigen, die heute zu Ihnen sprechen – haben die Stichhaltigkeit der getroffenen Feststellungen anerkannt. Die meisten hingegen waren der Meinung, dass die Unkenntlichmachung von ChatGPT das Ergebnis einer rückschrittlichen, den neuen Technologien zuwiderlaufenden Haltung sei; sie merkten auch an, dass es sich um eine nutzlose Maßnahme handele, die über VPN (virtuelles privates Netzwerk) umgangen werden könne, und dass sie sogar gegen die DSGVO verstoße, da die italienische Behörde („Garante“) inkompetent sei.

Wie ich in einer Reihe von Reden gehofft hatte, wurden jedoch innerhalb weniger Tage ähnliche Untersuchungen in Kanada, Deutschland usw. eingeleitet. Vor allem aber hat der Europäische Datenschutzausschuss eine spezielle Arbeitsgruppe eingerichtet, die mögliche Verstöße von ChatGPT gegen die Datenschutzbestimmungen aufdecken soll.

Diese Stellungnahmen haben Open AI dazu veranlasst, Korrekturmaßnahmen zu ergreifen und sich mit dem Garante auf folgende Schritte zu einigen (die bis zum 30. April 2023 umzusetzen sind):

  1. einen Informationsvermerk zu erstellen und auf seiner Website zu veröffentlichen, in dem den betroffenen Personen, einschließlich derjenigen, die keine Nutzer des ChatGPT-Dienstes sind und deren Daten für die Zwecke des Algorithmus-Trainings erhoben und verarbeitet wurden, die Methoden der Verarbeitung, die der für den Betrieb des Dienstes erforderlichen Verarbeitung zugrunde liegende Logik, ihre Rechte als betroffene Personen und alle anderen in der Verordnung geforderten Informationen erläutert werden, und zwar in der in Artikel 12 DSGVO festgelegten Art und Weise;
  2. auf der OpenAI-Website zumindest den betroffenen Personen, einschließlich derjenigen, die keine Nutzer des Dienstes sind und von Italien aus eine Verbindung herstellen, ein Instrument zur Verfügung zu stellen, mit dem sie ihr Recht auf Widerspruch gegen die Verarbeitung ihrer personenbezogenen Daten ausüben können, die das Unternehmen für die Zwecke des Algorithmus-Trainings und der Bereitstellung des Dienstes von Dritten erhalten hat;
  3. auf ihrer Internetseite zumindest den interessierten Personen, einschließlich derjenigen, die keine Nutzer der Dienste sind und sich von Italien aus anmelden, ein Instrument zur Verfügung zu stellen, mit dem sie die Berichtigung der sie betreffenden personenbezogenen Daten, die bei der Erstellung der Inhalte unrichtig verarbeitet wurden, oder, falls dies nach dem Stand der Technik nicht möglich ist, die Löschung ihrer personenbezogenen Daten verlangen können;
  4. einen Link zu dem an die Nutzer seiner Dienste gerichteten Informationshinweis in den Registrierungsablauf an einer Stelle einzufügen, die es ermöglicht, diesen vor der Registrierung zu lesen, und zwar so, dass alle Nutzer, die sich von Italien aus einloggen, einschließlich der bereits registrierten, beim ersten Zugriff nach einer möglichen Reaktivierung des Dienstes diesen Informationshinweis lesen können;
  5. die Rechtsgrundlage für die Verarbeitung der personenbezogenen Daten der Nutzer für die Zwecke der Algorithmenschulung zu ändern, indem jeglicher Bezug auf den Vertrag gestrichen wird und als Rechtsgrundlage für die Verarbeitung die Einwilligung oder das berechtigte Interesse in Bezug auf die Bewertungen des Unternehmens im Rahmen einer Logik der Verantwortlichkeit angenommen wird;
  6. auf seiner Website zumindest den Nutzern des Dienstes, die sich von Italien aus anmelden, ein leicht zugängliches Instrument zur Verfügung zu stellen, mit dem sie ihr Recht auf Widerspruch gegen die Verarbeitung ihrer Daten, die sie bei der Nutzung des Dienstes für das Algorithmustraining erhalten haben, ausüben können, wenn die unter Punkt 5 gewählte Rechtsgrundlage ein berechtigtes Interesse ist;
  7. bei jeder Reaktivierung des Dienstes von Italien aus alle Nutzer, die sich von Italien aus einloggen, einschließlich der bereits registrierten, aufzufordern, beim ersten Zugriff eine Alterskontrolle zu durchlaufen, die minderjährige Nutzer auf der Grundlage des angegebenen Alters ausschließt;
  8. dem Garanten bis spätestens 31. Mai 2023 einen Plan für die Einführung von Instrumenten zur Altersüberprüfung vorzulegen, die geeignet sind, den Zugang von Nutzern unter 13 Jahren und minderjährigen Nutzern auszuschließen, wenn keine ausdrückliche Willensbekundung derjenigen vorliegt, die die elterliche Verantwortung für sie ausüben. Die Umsetzung dieses Plans muss spätestens am 30. September 2023 beginnen;
  9. bis spätestens 15. Mai 2023 eine Informationskampagne ohne Werbecharakter in allen wichtigen italienischen Massenmedien (Radio, Fernsehen, Zeitungen und Internet) zu fördern, um die Personen darüber zu informieren, dass ihre personenbezogenen Daten für die Zwecke der Algorithmen Schulung erhoben werden können, dass ein ausführlicher Informationshinweis auf der Website des Unternehmens veröffentlicht wird und dass – ebenfalls auf der Website des Unternehmens – ein Tool zur Verfügung gestellt wird, mit dem alle betroffenen Personen die Löschung ihrer personenbezogenen Daten beantragen und erreichen können.

Als Reaktion auf diese Zusagen von Open AI, die das Ergebnis eines Dialogs mit der Garante waren, erließ diese die Verfügung Nr. 114 vom 11. April 2023, in der sie die Wirksamkeit der vorherigen Einschränkung aussetzte.

ChatGPT ist daher seit Ende April auch in Italien wieder online.

Risiken bei der Nutzung von KI

Betrachten wir nun die Risiken, die mit dem Einsatz von künstlicher Intelligenz verbunden sind.

Stephen Hawking erklärte in einer von der BBC ausgestrahlten Sendung im Dezember 2014, dass „die Entwicklung einer vollständigen künstlichen Intelligenz zum Ende der menschlichen Rasse führen könnte“. Elon Musk selbst (dessen Tochterunternehmen Neuralink damit experimentiert, Mikrochips mit künstlicher Intelligenz in das menschliche Gehirn einzupflanzen: über Transhumanismus und Biorecht werden wir vielleicht auf einer anderen Konferenz sprechen) hat erklärt, dass künstliche Intelligenz „an sich ein Risiko für die Existenz der menschlichen Zivilisation darstellt“, dass „wir sehr vorsichtig mit künstlicher Intelligenz umgehen müssen… sie ist potenziell gefährlicher als Atomwaffen“ und dass „KI einer der seltenen Fälle ist, in denen es notwendig ist, proaktiv und nicht reaktiv zu handeln, da eine reaktive Regulierung auf dem Gebiet der KI zu spät kommen könnte“.

Vor einigen Tagen wurde bekannt, dass der 75-jährige Geoffrey Hinton, einer der Väter der künstlichen Intelligenz, seine jahrzehntelange Zusammenarbeit mit Google6 freiwillig beendete, „um über die Gefahren der KI zu sprechen“. Gegenüber der BBC sagte er: „Im Moment sehen wir, dass Dinge wie GPT-4 das Allgemeinwissen einer Person verdunkeln, und zwar um ein Vielfaches. Was das logische Denken angeht, ist es nicht so gut, aber es kann bereits einfache logische Schlussfolgerungen ziehen. Und angesichts des Tempos des Fortschritts erwarten wir, dass sich die Dinge ziemlich schnell verbessern werden. Wir müssen uns also Sorgen machen.

Die Befürchtung, die diese Denker umtreibt und die bekanntlich Anlass für die in der Washington Post veröffentlichte Unterschriftensammlung für ein Moratorium für den Einsatz künstlicher Intelligenz7 war, besteht darin, dass die Maschinen nicht beherrschbar sind und in ihrem Streben nach maximaler Effizienz bald feststellen werden, dass das schädlichste Wesen auf der Erde zweifellos der Mensch ist, und sich deshalb kaltblütig und klar dafür entscheiden, ihn zu beseitigen.

Dieses Szenario scheint der Terminator-Saga entnommen zu sein und könnte uns zum Schmunzeln bringen. In einem bekannten Experiment von Facebook aus dem Jahr 2017 haben zwei künstliche Intelligenzen, Alice und Bob, die sich miteinander unterhalten sollten, innerhalb weniger Minuten unter Ausnutzung eines Programmierfehlers die englische Sprache aufgegeben und begonnen, Nachrichten in einer dem Menschen unbekannten Neo-Sprache auszutauschen, so dass das Experiment gewaltsam abgebrochen wurde … das muss einfach beunruhigen.

Es ist vielleicht kein Zufall, dass im US-Senat ein Vorschlag eingebracht wurde (Erstunterzeichner Markey), der die Verwendung von Bundesmitteln für den Abschuss von Atomwaffen durch autonome, nicht von Menschen kontrollierte Systeme verbieten soll.

Die größte Gefahr, die vom Einsatz künstlicher Intelligenz ausgeht, sind meiner Meinung nach jedoch andere.

Im Mai 2023 entließ Dropbox 500 Mitarbeiter im Zusammenhang mit der Einführung von künstlicher Intelligenz.

Der CEO von IBM, Arvind Krishna, kündigte an, 7.800 Neueinstellungen auszusetzen, weil die damit verbundenen Aufgaben (paradoxerweise gerade die, die mit dem Personalwesen zu tun haben) durch künstliche Intelligenz ersetzt werden sollen.

Angesichts der Tatsache, dass Maschinen viele Aufgaben ohne Ermüdungserscheinungen übernehmen und die Kosten Jahr für Jahr sinken, ist es leicht abzusehen, dass viele Berufe überflüssig werden, nicht nur die operativen und materiellen, sondern auch diejenigen, die mit Kreativität zu tun haben.

Anwendungen der künstlichen Intelligenz haben Gemälde, Kurzgeschichten und Gedichte hervorgebracht, die von Jurys, die nicht wussten, wer der „Autor“ war, als originell bewertet und mit Preisen ausgezeichnet wurden. Der Gesetzgeber, auch der europäische, erlässt Gesetze zur Regulierung der „digitalen Kreativität“. Um das erreichte Niveau zu erkennen, muss man sich nur die gesamte LP des AISIS-Projekts9 anhören oder den Bericht in Nature lesen, demzufolge ChatGPT in mindestens vier veröffentlichten oder vorgedruckten wissenschaftlichen Artikeln als Autor genannt wurde.

Natürlich werden, wie bei jeder technologischen Innovation, neue Berufe entstehen, und es spricht nichts dagegen, bei gleichem Lohn die Arbeitszeit der Arbeitnehmer zu verkürzen, die Arbeit von Robotern stark zu besteuern (wie es z. B. Bill Gates vorschlägt), um den Menschen noch einige Zeit auf dem Markt wettbewerbsfähig zu halten, aber wir werden bestenfalls etwas finden müssen, womit wir unsere Tage füllen können.

Meine Befürchtung ist, dass wir nicht dazu getrieben werden, unsere Zeit in philosophische Spekulationen zu investieren, in die Suche nach dem Absoluten, in die Verbesserung unserer Persönlichkeit, in den Bau idealer Städte, also in die Schaffung eines Eden auf Erden, sondern dass die Unterhaltungsindustrie uns immer mehr in fantastische und virtuelle Welten eintauchen lässt (das Phantom „Metaverse“ geht in diese Richtung) und uns von der konkreten Realität entfremdet, die uns immer langweiliger erscheinen wird.

Zweitens: Je mehr wir uns auf Maschinen verlassen, die sich selbst umprogrammieren, desto mehr werden wir in Unwissenheit versinken und die Kontrolle verlieren.

Schon jetzt fragen wir uns, wozu wir Geschichte, Geografie, Mathematik, Sprachen, aber auch die Gesetzbücher studieren sollen, wenn ein Klick auf den Computer genügt, um Antworten auf unsere Fragen zu erhalten. Ohne es zu merken, legen wir bereits eine gewisse Professionalität an den Tag: Dieser Bericht von mir wurde auf Italienisch verfasst und wird, anders als das, was AGATIF seit Jahrzehnten tut, nicht in Echtzeit übersetzt, sondern wurde mit Hilfe von Anwendungen ins Französische und Deutsche übertragen (und von unseren französischen und deutschen Freunden korrigiert, denen ich an dieser Stelle danken möchte).

Lassen Sie uns über die Vorhersehbarkeit im Strafrecht nachdenken. Im Bericht 2018 habe ich ein Beispiel genannt: In meiner Heimatstadt Mailand wird mit einer Anwendung experimentiert, die während eines Raubüberfalls 14.000 Daten sammelt und verarbeitet; sie findet Zusammenhänge zwischen einem Raubüberfall und dem nächsten (Big Data/Musteranalyse) und kann vorhersagen, welche Bank oder welches Geschäft als Nächstes überfallen wird, und auch den Tag und die Uhrzeit vorhersagen, an dem dies geschehen wird. Erstaunlicherweise hat dies der Polizei ermöglicht, sich fast mit den Räubern zu verabreden und diese Art der Serienkriminalität deutlich zu verringern. Nun, wenn ein Mensch diese Tätigkeit ohne die Hilfe von Maschinen ausüben wollte, könnte er das niemals tun, da er eine so große Datenmenge nicht rechtzeitig verarbeiten könnte.

Aber betrachten wir die Suche nach dem besten Partner. Es liegt auf der Hand, dass wir, wenn wir uns auf die traditionelle Do-it-yourself-Methode verlassen, selbst wenn wir jeden Abend ausgehen, selbst wenn wir Anzeigen in den Zeitungen schalten oder uns an Heiratsvermittlungen wenden (wenn es solche Agenturen noch gibt), vielleicht jemanden treffen, der einen ähnlichen Geschmack wie wir hat, einen sozialen Hintergrund, eine Kultur, eine Religion, die mit denen kompatibel ist, die wir angegeben haben, dass wir sie mögen, und wenn wir Glück haben, wird der sprichwörtliche Funke überspringen. Aber eine der vielen Anwendungen dieser Art verspricht noch viel mehr: Wir könnten die „richtige Person“ treffen, die auch am anderen Ende der Welt leben könnte, und zwar nicht anhand der Beschreibungen, die jeder Mensch von sich selbst gibt, sondern anhand der – auch unbewussten – Merkmale, die die neuen Technologien von seiner Persönlichkeit erfasst haben, anhand des Browserverlaufs, der Schlüsselwörter, die er aus der elektronischen Kommunikation entnommen hat, der Zeit, die er darauf verwendet hat, einen Beitrag in einem sozialen Netzwerk zu prüfen, was er mit „Likes“ gebilligt oder missbilligt hat, was er geteilt und was er stattdessen sofort gelöscht hat.

Ein Test, den Forscher der Universität Cambridge mit mehr als 86 000 Freiwilligen durchgeführt haben (die Ergebnisse wurden 2015 in der Zeitschrift Proceedings of National Academy of Sciences veröffentlicht), hat gezeigt, dass die Software bei der Analyse von 10 Likes die Charaktereigenschaften einer Person besser vorhersagen kann als ein Arbeitskollege; bei der Analyse von 70 Likes kennt die Software uns besser als Freunde und Mitbewohner; bei 150 Likes besser als Partner, Geschwister und Eltern. Um an Ehepartnern vorbeizukommen, waren 300 Likes nötig. Aber um 300 Likes zu erfassen, braucht man nur eine Woche… um eine Person wirklich kennen zu lernen, reicht manchmal ein ganzes Leben nicht aus.

Übertragen wir diese Überlegung auf unsere Sphäre: Der Roboter-Richter könnte in der Lage sein, Nuancen einer Aussage, Neigungen der Sprache, Details eines Fotos (um es von einer Fälschung zu unterscheiden!) in einer für den Menschen nicht im Entferntesten vorstellbaren Weise zu erfassen und aus der Schnittmenge von Tausenden von Big Data statistisch signifikante, wenn auch scheinbar unlogische, Übereinstimmungen zu erkennen.

So könnte die Richter-KI zu den effizientesten Ergebnissen kommen. So könnte sie beispielsweise feststellen, dass Straftäter, die in einem bestimmten Jahrzehnt im Stadtteil x geboren wurden, die Bibliothek in dieser und jener Straße besuchen und wegen Autodiebstahls verurteilt wurden, nach ihrer Entlassung wahrscheinlich an der Beihilfe zur illegalen Einwanderung beteiligt sind. Die Maschine weiß nicht, warum, und kann daher die Entscheidung nicht vollständig begründen, aber sie erfasst objektive Daten und liefert klare Ergebnisse.

Auch wenn dies wünschenswerte Ergebnisse zu sein scheinen, werden die hervorragenden Fähigkeiten von ChatGPT bei der Textverarbeitung, wie von vielen Autoren vorhergesagt, zu einer Vervielfachung von Plagiatsfällen führen und auch die Urheber von bösartigen Codes, Fake News, Phishing-Entwicklern und so genanntem Social Engineering werden einen sehr gefährlichen Schritt nach vorne machen.

Auch ohne dass diese Frage in der öffentlichen Debatte aufgetaucht ist, werden die Methoden der wissenschaftlichen Forschung grundlegend verändert und gehen über die galiläische Methode hinaus. Anstatt Hypothesen zu formulieren und ihre Richtigkeit experimentell zu überprüfen, versucht man, die Logik hinter bestimmten Übereinstimmungen (Mustern) zu verstehen, die von Maschinen entdeckt werden. Auf diese Weise wurden neue Impfstoffe wie der gegen Sars-CoV in Rekordzeit entdeckt.

Aber nehmen wir ein anderes Beispiel: Wenn der Gesetzgeber uns mit einem Federstrich dazu verpflichten würde, bis 2030 auf unsere Autos zu verzichten, indem er starke Anreize für die Nutzung selbstfahrender Fahrzeuge schafft und Fußgänger dazu zwingt, Ortungsgeräte zu tragen, würden die Unfälle aller Wahrscheinlichkeit nach fast auf Null sinken, vorausgesetzt, wir vertrauen voll und ganz auf die Funktionsweise dieser Maschinen und ihre Fähigkeit, ihre Algorithmen ständig zu verbessern.

Es wäre schwierig, auf solche außergewöhnlichen Ergebnisse zu verzichten, aber neben dem Verlust der Kontrolle müssten wir mit einem unkontrollierten Eingriff in unser Privatleben rechnen. Die Verhinderung von Verbrechen und die Förderung von tugendhaftem Verhalten könnten selbst im Westen schnell zu dem führen, was ich für ein verhängnisvolles Abdriften halte, das zum Beispiel von Josh Chin und Liza Lin in ihrem Text „State of Surveillance“ gut beschrieben wird. Dies gleicht Chinas Weg in eine neue Ära der sozialen Kontrolle, d. h. die Nutzung der Gesichtserkennung, um Zustände zu schaffen, die denen in Orwells „Big Brother“ nicht unähnlich sind.

Und wenn wir uns Maschinen anvertrauen, setzen wir uns den Folgen möglicher Fehlfunktionen oder, schlimmer noch, des Eindringens von Hackern (rectius crackers) aus, die vor einiger Zeit bewiesen haben, dass sie aufgrund eines (später behobenen) Fehlers in der Lage waren, z. B. Tesla-Fahrzeuge anzugreifen11. Um diese Art des Eindringens zu verhindern, vor allem in Bezug auf die Bereitstellung grundlegender öffentlicher Dienstleistungen (Wasser, Gas, Strom, Verkehr usw.), wird bekanntlich mühsam ein europäisches Sicherheitsnetz12 aufgebaut, in das jedoch große Summen investiert werden müssen.

Besonderes Augenmerk muss auch auf die Güte der Daten gelegt werden, die von der künstlichen Intelligenz in der Lernphase verarbeitet werden. Wie einige Wissenschaftler gezeigt haben, sind einige Zeitreihen, z. B. über die Kreditwürdigkeit von Banken, die Zuverlässigkeit von Verträgen, den Zugang zu US-Universitäten usw., nachweislich mit (rassistischen) Verzerrungen behaftet.

Wenn Bürgern in bestimmten Gebieten Italiens in der Vergangenheit Kredite verweigert wurden, würde die künstliche Intelligenz aus historischen Aufzeichnungen eine strenge Übereinstimmung zwischen Wohnort und der als richtig erachteten Betriebswahl extrapolieren. Indem die KI den Menschen (den Bankangestellten) selbst in seiner rückständigsten und unbewusstesten Denkweise nachahmt, wird sie dazu neigen, Antragstellern aus nördlichen Städten mehr Kredite zu gewähren und sie unlogischerweise „Südländern“ zu verweigern.

Noch schlimmer ist, dass sich diese logischen Verzerrungen im Laufe der Zeit wiederholen und das bekannte Phänomen der sich selbst erfüllenden Prophezeiungen auslösen.

Wenn sich die meisten Raubüberfälle in einem bestimmten schlechten Viertel der Stadt ereignen und die künstliche Intelligenz mehr Polizeiautos einsetzt, um in diesem Viertel zu patrouillieren, werden die Beamten in diesen Straßen eine beträchtliche Anzahl von Verbrechen aufdecken, aber hauptsächlich deshalb, weil diese mehr Kontrollen unterliegen. Wenn die Vorhersage eintrifft, werden noch mehr Polizeiautos in das Ghetto-Viertel geschickt, was zu einer riskanten Spirale führt.

Aber das ist noch nicht alles. Je mehr sich der Mensch vom Transzendenten befreit, je mehr er vergisst, dass er ein Geschöpf ist, desto größer wird sein Ehrgeiz, wie Gott zu werden. Der Wissenschaftler, ein neuer Prometheus, vergisst die Strafe, die der berüchtigte Demiurg in der griechischen Mythologie von Zeus erhält, und anstatt einfache Maschinen zu seinen Diensten zu schaffen, z. B. in Nachahmung von Pflanzen (sogenannte Plantoide), strebt er danach, etwas zu erzeugen, das ihm selbst ähnlicher ist: Er konzentriert seine Bemühungen auf die humanoide Robotik und weist die Automaten an, menschliche Gesten und Reaktionen so gut wie möglich nachzuahmen. Diese Ziele, die weitgehend erreicht sind, werden die Menschen dazu bringen, sich in die Maschinen einzufühlen, für sie zu empfinden und zu vergessen, dass sie nichts anderes als fortschrittliche Haushaltsgeräte sind.

Und paradoxerweise vernachlässigt der Mensch bei der Verfolgung dieser Ziele den ganz erheblichen ökologischen Fußabdruck, den die Nutzung dieser Technologien hinterlässt (wie es auch bei den Kryptowährungen usw. der Fall ist). Das SemiAnalysis Institute hat geschätzt, dass der Betrieb von ChatGPT etwa 700.000 Dollar pro Tag kostet und dass jede Abfrage 36 Cent kostet!

Die enorme Rechenleistung, die für die Bereitstellung von Antworten und die Optimierung der Ergebnisse erforderlich ist, erfordert sehr teure Server, ganz zu schweigen davon, dass ChatGPT 3 während der Lernphase 1.287 MWh Energie verbraucht hat.

Abhilfemaßnahmen – Anwendung des Vorsorgeprinzips

Die Überlegungen zu diesem Thema enden häufig mit der Forderung nach einem Eingreifen des Gesetzgebers. Sowohl in den Vereinigten Staaten als auch in China, aber auch in Europa, gibt es Initiativen in diese Richtung.

Ich würde meinerseits auf ein Eingreifen des Gesetzgebers drängen, aber angesichts der Schäden, die durch verpfuschte Verordnungen, die leider auch von europäischen Institutionen ausgehen, verursacht werden, nur dann, wenn sie bestimmte Merkmale aufweisen.

Ich denke, eine Verordnung hat dann ihre Berechtigung, wenn eine gute Chance besteht, dass sie auch umgesetzt wird. Wir brauchen keine Normen, die nur programmatisch sind oder toter Buchstabe bleiben.

Und eine Norm wird mit größerer Wahrscheinlichkeit angewandt, wenn sie:

1) einfach, klar und in nicht zu schwerer Sprache verfasst ist;

2) gestrafft, prägnant und nicht umständlich ist;

3) frei von systematischen Antinomien und Aporien ist;

4) leicht zugänglich für die Adressaten;

5) … und daher weithin bekannt;

6) geteilt, d.h. auf die Werteskala der Zielgruppe abgestimmt;

7) tendenziell stabil, d. h. nur geändert, wenn es unbedingt notwendig ist.

Lassen Sie uns nun über die Inhalte nachdenken, die die Regelungen zu diesem Thema beinhalten sollten.

Die verschiedenen Entwürfe, die in Betracht gezogen werden, versuchen, allgemeine Grundsätze einzuführen.

Der Blueprint for an AI Bill of Rights (Making automated systems work for the American people) vom Oktober 2022 verweist auf die Sicherheit und Effektivität von Systemen, die Verhinderung algorithmischer Diskriminierung, die Achtung der Privatsphäre, die Transparenz von Algorithmen und die Möglichkeit eines schnellen menschlichen Eingreifens.

All diese Punkte sind überzeugend, ebenso wie die Gesetze der Robotik aus Asimovs Science-Fiction-Werken, die vom Europäischen Parlament überraschenderweise zitiert wurden: „1. ein Roboter darf einem Menschen nicht schaden oder zulassen, dass ein Mensch durch seine Untätigkeit geschädigt wird; 2. ein Roboter muss den Befehlen eines Menschen gehorchen, es sei denn, dies widerspricht der ersten Regel; 3. ein Roboter muss seine Existenz beschützen, solange dieser Schutz nicht mit Regel eins oder zwei kollidiert.

Vielleicht sollten wir uns daran erinnern, dass diese Regeln, wie die Protagonisten seiner Romane (Gregory Powell und Mike Donovan) bitter feststellen mussten, selbst in Asimovs Werken leider nicht einfach auf die konkreten Fälle des Lebens anzuwenden sind und allzu leicht umgangen werden können.

Ich mache einen Vorschlag, den ich für eine direkte Anwendung des Vorsorgeprinzips halte, wie es in Artikel 191 des Vertrags über die Arbeitsweise der Europäischen Union (AEUV) und in der Auslegung des Gerichtshofs dargelegt ist (nicht auf Umweltfragen beschränkt, wie auch immer diese aussehen).

In Anbetracht der verfügbaren Daten, des Nutzens und der Belastungen, die sich aus dem Tätigwerden oder NichttTätigwerden ergeben können, und des Ausmaßes der wissenschaftlichen Ungewissheit halte ich es für angemessen, Maßnahmen zur „künstlichen Dummheit“ einzuführen: Da der Mensch unüberwindbare physikalische Grenzen hat, hoffe ich, dass auch für Maschinen genaue Grenzen eingeführt werden und somit Anwendungen der künstlichen Intelligenz verboten werden:

– des RAM, des Arbeitsspeichers, über ein bestimmtes Maß hinaus;

– des Massenspeichers, über ein bestimmtes Maß hinaus;

– Prozessgeschwindigkeiten, die eine bestimmte Grenze überschreiten;

– Verbindungen mit anderen Maschinen über ein bestimmtes Maß hinaus;

und zwar genau zu dem Zweck, seine Rechenkapazität vernünftigerweise zu begrenzen.

Nur so kann meines Erachtens eine auf den Menschen ausgerichtete künstliche Intelligenz gewährleistet werden, die wirklich in den Diensten des Menschen steht und sich nicht von ihm abwendet.

Solche Maßnahmen haben auch den Vorteil, dass sie sehr einfach umzusetzen sind und im Laufe der Zeit je nach Bedarf variiert werden können, um so optimal auf die Entwicklung der Kosten-Nutzen-Analyse und damit den Grundsatz der Verhältnismäßigkeit angepasst zu werden.

Eine wichtige Konsequenz dieser Überlegung ist, dass die Beweislast für das Nichtvorhandensein von Gefahren beim Hersteller dieser Anwendungen der künstlichen Intelligenz liegt. Dies ist meines Erachtens eine sehr schwer zu erfüllende Last, die mir der beste Beweis für die Richtigkeit des skizzierten rechtlichen Ansatzes zu sein scheint.

Leider ist es bei globalen Phänomenen wie dem, mit dem wir es zu tun haben, oft so, dass entweder diese Grenzen universell eingeführt werden oder sie ihren Sinn und ihre Wirksamkeit verlieren, und das ist ein weiterer Grund, warum Vereinigungen wie die unsere, die den Dialog und die Verbreitung von Rechtsmodellen erleichtern, von größter Bedeutung sind.

Künstliche Intelligenz und der Algorithmus im Kontakt mit dem Verwaltungsrecht

Künstliche Intelligenz und der Algorithmus im Kontakt mit dem Verwaltungsrecht

Davide Ponte 

Vorwort

Es besteht eine sehr enge Beziehung zwischen Recht und Technologie, zwischen Recht und menschlichen Aktivitäten, die unter Ausnutzung der Errungenschaften der Wissenschaft neue Mittel oder Werkzeuge zur „Verbesserung“ der menschlichen Lebensbedingungen schaffen. Die künstliche Befruchtung und die Patentierung neuer Tierarten sind offensichtliche Fälle, aber auch die Computerrevolution ist eine Neuheit, die eine Anpassung des Rechts erfordert. Dies gilt für jede menschliche Entwicklung (auch Sprache und Schrift waren eine technische Entwicklung),

In der Computer- und Digitalrevolution hat das Thema der künstlichen Intelligenz eine grundlegende Bedeutung erlangt, da die technische Hilfe den Menschen vollständig ersetzen kann.

Die Grundidee der Künstlichen Intelligenz ist recht einfach: die Entwicklung von Maschinen mit autonomen Lern- und Anpassungsfähigkeiten, die sich an menschlichen Lernmodellen orientieren.

Die Grundlage der künstlichen Intelligenz sind Algorithmen, Rechentechniken und Lösungen, die somit in der Lage sind, menschliches Verhalten zu replizieren.

Dank des so genannten maschinellen Lernens beweist die künstliche Intelligenz eine weitere Fähigkeit zur Evolution und Anpassung. Dank der rasanten Entwicklung der Programme und der dazugehörigen Algorithmen können Programme wie der bekannteste Chat gpt so viel Material sammeln, dass sie es nicht nur zur Verfügung stellen, sondern sogar anstelle des Menschen verarbeiten (und leider noch besser), und das sogar mit der Gnade von Google (das, wenig überraschend, zittert). Natürlich ist der resultierende Text, wenn er geteilt wird, immer noch derjenige, der ihn unterschreibt und damit zu seinem eigenen macht… wird uns die Bedeutung von Unterschrift und Zurechnung retten?

Anders ist das Thema des Metaversums, wenn auch damit verbunden, wo die rechtlichen Fragen vielfältig sind und mit der Möglichkeit zusammenhängen, analoge rechtliche Reaktionsparameter auf die Realität anzuwenden!

Der Algorithmus in der Bürokratie

Die Rolle des Conseil d’État ist in Anbetracht der relativ jungen und auch deshalb so wandelbaren Natur des Verwaltungsrechts 1 sowie der sich entwickelnden Macht der Behörden in modernen Gesellschaften auch im Hinblick auf seine nachgewiesene Fähigkeit, mit den neuen Grenzen des Rechts Schritt zu halten, von grundlegender Bedeutung. Dies geschieht dadurch, dass die neuen Herausforderungen im Rahmen der Grundsätze der Rechtsordnung formuliert werden, während gleichzeitig ein Beitrag zur Entwicklung und zur vollen Vitalität der Rechtsordnung geleistet wird, und zwar sowohl in Bezug auf wirklich innovative Bereiche als auch in Bezug auf die Entwicklung von Bereichen, die bereits traditionell behandelt werden und die sich dennoch neuen Herausforderungen stellen müssen. Natürlich wird es immer schwieriger, aber, wie wir im Ratssaal oft wiederholen, keine Panik (und das Zitat wird später wieder auftauchen und verraten, woher es stammt, aber viele von Ihnen werden sich schon daran erinnert haben, da bin ich mir sicher).

Auf der ersten Seite steht die Rechtsprechung zur Nutzung von Algorithmen und allgemeiner von sogenannter künstlicher Intelligenz in der Verwaltungstätigkeit.

Die Digitalisierung des privaten wie auch des öffentlichen Lebens ist eine wohlbekannte Tatsache. Die Notwendigkeit, mit solchen disruptiven Neuerungen zu leben, veranlasst Juristen, nach den entsprechenden Rahmenbedingungen zu suchen. Schließlich ist das Recht die Regulierung menschlicher und sozialer Phänomene, die Computerisierung der Gesellschaft ist offensichtlich und schnell; daher kann das Recht nicht umhin, einzugreifen, insbesondere das Recht der Autorität.

Ein Algorithmus ist eine Strategie zur Lösung eines Problems und besteht aus einer endlichen Folge von Operationen (auch Anweisungen genannt) zur Lösung aller Fragen derselben Klasse. Er muss, um eine Parallelität mit der juristischen Welt zu erreichen

 – endlich sein, d. h. aus einer endlichen Anzahl von Anweisungen bestehen und ein Ende haben (rechtlich gesehen fällt der Prüfungsgegenstand mit den abgeleiteten Fragen zusammen);

– deterministisch, d.h. wenn ausgehend von denselben Eingabedaten dieselben Ergebnisse bei der Ausgabe erzielt werden (für uns Juristen gilt das Verbot des so genannten dritten Weges und die Beachtung der Entsprechung zwischen Gefordertem und Gesagtem);

– eindeutig, d.h. die Vorgänge müssen von jedem in gleicher Weise interpretiert werden können, auch wenn der Ausführende ein anderer ist (juristisch kann dies im Sinne der notwendigen Klarheit der Entscheidung interpretiert werden)

– allgemein, d.h. wenn die Lösung für alle Probleme der gleichen Klasse gleich ist (hier lässt sich dies leicht in Rechtssicherheit übersetzen, was manchmal wie eine veritable Suche nach dem Phönix erscheint).

Sicherlich ist das maschinelle Lernen in Bezug auf diese Anforderungen auch auf der mathematisch-technischen Seite problematisch, wenn man die nachgewiesene Geschwindigkeit der Erfassung und Anpassung bedenkt.

Der Begriff Algorithmus leitet sich bekanntlich von der lateinischen Transkription des Namens des persischen Mathematikers al-Khwarizmi ab, der im 9. Jahrhundert n. Chr. lebte und als einer der ersten Autoren gilt, der sich in seinem Buch Rules of Recovery and Reduction auf dieses Konzept bezog

Die grundlegende mathematische Analyse kennt verschiedene Kategorien von Algorithmen, die oft grundlegende Probleme unserer Tätigkeit zu reproduzieren scheinen: z.B. iterative, rekursive, sortierende, suchende, evolutionäre Algorithmen (hier schließen wir die sogenannten prädiktiven Algorithmen ein, die von den sogenannten „prädiktiven“ Algorithmen so gefürchtet werden). Vorhersagealgorithmen, die von Juristen so gefürchtet werden), Schwarmintelligenz, kombinatorische, selbstmodifizierende und sogar Kompressionsalgorithmen (wie ein bekannter Schriftsteller in dem Buch „Dear Baby Jesus“ die Geschichte vom Kamel erzählt, das durch ein Nadelöhr gehen muss).

 

Im „Bericht über die Hauptprobleme der staatlichen Verwaltung“, den der damalige Minister für den öffentlichen Dienst, Massimo Severo Giannini, 1979 vorlegte, wurde festgestellt, dass die Computer, die zunächst als „Geräte für die einfache Registrierung komplexer Daten verwendet wurden, dann zu Geräten für die Ermittlung und Überprüfung, für Berechnungen, für die Teilnahme an Verfahrensstufen der Voruntersuchung und schließlich für die Entscheidungsfindung“ wurden, so dass „die Computersysteme nicht mehr den Verwaltungen für interne Managementzwecke dienen, sondern gerade für die Verwaltung verwendet werden, d.h. sie werden zunehmend nach außen projiziert“.

Mit anderen Worten: Auch im Verwaltungsrecht haben sich die IT-Instrumente weiterentwickelt und durchgesetzt, die die öffentlichen Ämter nach und nach von Papier und Schreibmaschinen befreit haben und die in der Folge die Fähigkeit bewiesen haben, eigenständig Ermittlungsaufgaben zu übernehmen und den Inhalt von Verwaltungsmaßnahmen zu formulieren.

In Anlehnung an die vielen möglichen literarischen Zitate lässt sich sagen, dass sich die zweite industrielle Revolution nicht wie die erste mit überwältigenden Bildern wie Walzpressen oder Stahlgüssen präsentiert, sondern als die Bits eines Informationsflusses, der in Form von elektronischen Impulsen auf Schaltkreisen läuft. Die eisernen Maschinen sind immer da, aber sie gehorchen den schwerelosen Bits 2.

In der Lehre wird mit Blick auf den laufenden Evolutionsprozess von der „Verwaltung 4.0“ oder dem vierten Modell der Verwaltung gesprochen, wobei das erste Modell als das der vollständig papiergestützten Verwaltung des 19. und 20. Jahrhunderts zu verstehen ist; das zweite als das der durch Computer, Textverarbeitungsprogramme und frühe Formen der Telekommunikation (wie das Fax) unterstützten Verwaltung; das dritte Modell als das der ersten Digitalisierung und Entmaterialisierung von Daten, die durch die Nutzung des Internets in der normalen Verwaltungstätigkeit ermöglicht wird.

Die „vierte Generation“ der Verwaltung ist dagegen diejenige, die sich durch einen „hohen Automatisierungs- und Vernetzungsgrad“ auszeichnet, der durch die Einführung entmaterialisierter Informationsaustausch- und Speichertechniken, die exponentielle Zunahme der Rechenkapazität von Prozessoren und die Bereitstellung immer ausgefeilterer Computerprogramme ermöglicht wird. Mit anderen Worten, wir haben es mit der „algorithmischen Gesellschaft“ zu tun, in der die Verwendung von Software (oder „Programmen“) – die auf die so genannte „künstliche Intelligenz“ zurückgeht – zur Bestätigung automatisierter Betriebsmodule führt, die nicht nur in der Lage sind, komplexe Rechenoperationen in kurzer Zeit auszuführen, sondern auch mit der Fähigkeit ausgestattet sind, aus ihren Fehlern zu lernen und bis zu einem gewissen Grad die Funktionsweise des menschlichen Geistes nachzuahmen.

Dies ist offensichtlich, denn es gibt viele Bereiche des täglichen Lebens, in denen Algorithmen – die zugegebenermaßen nicht alle auf die fortgeschrittensten Formen der künstlichen Intelligenz zurückzuführen sind – dem Menschen zur Seite stehen und sein Leben vereinfachen. Man denke nur an die Sprach- oder Bilderkennungssoftware und an die Programme, die das Fahren von Kraftfahrzeugen, wenn nicht gar das autonome Fahren, unterstützen, bis hin zu Programmen, die ganze Dokumente erstellen. 

Dann gibt es die „prädiktiven“ Programme, die auf der Grundlage bestimmter verfügbarer Daten (den so genannten Inputs) eine Lösung für ein bestimmtes Szenario liefern, sei es die Wettervorhersage oder die Erstellung eines Anlageplans für den Kontoinhaber eines Kreditinstituts oder einer Unfallpolice für den Kunden einer Versicherungsgesellschaft. Dies nimmt in dem Moment, in dem der Algorithmus in der Lage ist, nicht nur die zur Verfügung gestellten Daten zu verarbeiten, sondern auch neue, dem menschlichen Bediener nicht direkt bekannte (oder sofort erkennbare) Daten zu gewinnen, indem er im Netz Aktualisierungen über die Entwicklung des Kreditmarktes oder des Straßenverkehrs abruft, einen ausgeprägten Charakter der „Entmündigung“ des Menschen an.

Ihre Ausdehnung und ihr unbestrittener Nutzen haben selbst langsame öffentliche Verwaltungen dazu veranlasst, sie zu nutzen, vor allem in Anbetracht ihrer verschiedenen Möglichkeiten, auch aufgrund der offensichtlichen Bequemlichkeit, die sich aus der so genannten Wahlneutralität ergibt (was als Traum eines jeden Beamten definiert wurde, der heute stets von den „Risiken der Unterschrift“ erschreckt wird).

Während man in diesem Rahmen die Entwicklung nur zur Kenntnis nehmen kann, muss man auf der anderen Seite im rechtlichen Bereich dazu übergehen, die gleiche Entwicklung im Rahmen von Grundsätzen zu gestalten.

Der pandemische Notstand hat die Bemühungen in diese Richtung noch verstärkt. Aus dieser Perspektive hat der Notfall selbst die maximale Nutzung der technologischen Innovation erzwungen; dies ist eine Gelegenheit, die ergriffen werden muss, aber nicht, um sie zu erzwingen, sondern vielmehr, um weiteres Innovationspotenzial zu testen und zu überprüfen.

Als Juristen fühlt man sich immer unvorbereitet auf beide Seiten des Problems: der Notfall deutet auf etwas hin, wo gewöhnliche Regeln nicht ausreichen; Innovation gilt notorisch als Oxymoron in Bezug auf das Bild von uns „Bürokraten“ 3.

Wir sind also mit einer doppelten Herausforderung konfrontiert.

Aber wie The Hitchhiker’s Guide to the Galaxy, die bekannte Saga, in der die Beziehung zwischen dem Menschen und der technologischen Entwicklung Gegenstand einer vorausgehenden Vision ist, lehrte, „keine Panik“: Computer sind unglaublich schnell, genau und dumm; Menschen sind unglaublich langsam, ungenau und intelligent; beide zusammen bilden eine unberechenbare Kraft. Und zur Untermauerung haben wir den Trost von Albert Einstein.

In diesem Zusammenhang hat die verfahrenstechnische Seite durch das so genannte PAT (das seit einiger Zeit in Kraft ist) es der Verwaltungsgerichtsbarkeit ermöglicht, auch in Zeiten des Stillstands weiterhin fast alle ihre Funktionen und Möglichkeiten zu erfüllen. 

Auf der prozessualen Seite stößt man immer häufiger auf wiederkehrende Titel und Begriffe wie „Verfahren und Entscheidungsbefugnis“. Es ist noch ein weiter Weg, aber immerhin ist das Verwaltungsrecht – wie gesagt, ein junges Recht – und die Tätigkeit von uns allen, die wir in ihm arbeiten, täglich mit dem ständigen Abwägen von gegenläufigen Interessen und Grundsätzen konfrontiert; vielleicht sind wir deshalb auf bestimmte Herausforderungen nicht ganz unvorbereitet.

Es ist auch wahr, dass wir selbst in diesen Bereichen oft subtile Diskussionen führen, wie z. B. über die Frage, ob der Algorithmus für bestimmte Zwecke als Verwaltungsakt definiert werden kann oder nicht; tatsächlich ist der Algorithmus, sobald er Teil des Verfahrensablaufs wird, ein anerkennungsfähiges Element im Sinne der von der Rechtsordnung vorgegebenen allgemeinen Begriffe.

In der Lehre wurde die Wahl der Argumentation in Bezug auf den Algorithmus im Verfahren auf der Grundlage eines „Grundsatzes der Erkennbarkeit“, der sich mit dem der „Verständlichkeit“ ergänzt und verbindet, als angemessen erachtet. Die reine und einfache Darstellung des Programmierstrings und der Akte, in denen er formalisiert ist, sollte mit aussagekräftigen Informationen über die verwendete Logik einhergehen, die so dargestellt werden, dass sie für den Bürger und die Verwaltung selbst leicht verständlich sind, was bei Fragen zu den Eigenschaften der zu erörternden Software manchmal nicht gelingt. Zugegeben, die Entwicklung des maschinellen Lernens untergräbt jede Hoffnung auf eine wirksame Erkennbarkeit und Verständlichkeit, vor allem, wenn keine erheblichen Investitionen getätigt werden; aber vielleicht müssen wir gerade hier Wege finden, um die Überprüfung, Kontrolle und schließlich die Überprüfbarkeit der Ergebnisse zu gewährleisten.

Im Laufe der Jahre haben die Schwierigkeiten, die Gründe für die auf der Grundlage von selbstlernenden Algorithmen getroffenen Entscheidungen zu klären und zu rechtfertigen, einige Gerichte dazu veranlasst, die Möglichkeiten ihres Einsatzes bei der Wahrnehmung von Beweisfunktionen erheblich einzuschränken. Sowohl der französische Conseil Constitutionnel als auch der niederländische Staatsrat haben diese Auffassung vertreten. So hat z.B. das Bezirksgericht Den Haag in einer Entscheidung vom 2. Februar 2020 die Verwendung eines Steuerhinterziehungsprogramms (SyRI) für unzulässig erklärt, dessen Funktionsweise nicht transparent war, da sie von den Parteien, die es verwendeten, nicht genau erklärt werden konnte.

Unter den verschiedenen Fragen ist diejenige nach dem Eigentum an der Software nur scheinbar zweitrangig. Die Kenntnis des Quellcodes (und die daraus folgende Offensichtlichkeit) ist zwar notwendig, um eine angemessene Transparenz zu gewährleisten, aber nur möglich, wenn die Verwaltung selbst bereits im Besitz dieses Codes ist: Dies ist jedoch nicht immer der Fall, und jedes Mal, wenn dies nicht der Fall ist, besteht die Gefahr, dass ein möglicher Antrag auf Kenntnisnahme durch Privatpersonen, die die Funktionsweise des Programms überprüfen wollen, konkret vereitelt wird. Folglich wird der Grundsatz der Nachvollziehbarkeit der getroffenen Entscheidung beeinträchtigt. Die problematische Überschneidung von Grundsätzen wird somit in einer Frage verwirklicht, die, wie gesagt, nur scheinbar zweitrangig ist. Auch wenn aus technischer Sicht Zweifel an der tatsächlichen Notwendigkeit bestehen, den Quellcode zu kennen: Was ich verstehen muss, sind die angewandten Kriterien, wenn sie mit der Regel der Leistungszurechnung übereinstimmen, nicht, wie das Auto funktioniert; ich muss verstehen, wie das Auto zu fahren ist, nicht, wie der Verteiler funktioniert…ich wüsste ohnehin nicht, wie man es repariert.

Die elektronische Entscheidung wird, wenn auch in vereinfachter Form, in mechanistischer Weise getroffen, indem die Regeln, die von der Person, die die Software erstellt, angegeben werden (oder von dem Programm, das autonom erworben wird, wenn selbstlernende Systeme verwendet werden), mit den Daten, die anschließend in den Computer eingespeist werden, „abgeglichen“ werden.

Die Rolle des Eigentümers der Einrichtung, die die Funktionen ausübt, ist daher eher zweitrangig und tritt nur gelegentlich in den Vordergrund, wenn es notwendig wird (durch spontanes Eingreifen oder auf Drängen der Bürger), für die Korrektur möglicher Fehler im Computer zu sorgen. Im Hintergrund steht immer die bereits erwähnte Schwierigkeit des Eingreifens, wenn es kein Eigentum an der Software gibt, deren Verwaltung daher für den Eigentümer der zuständigen Stelle äußerst komplex, wenn nicht gar unmöglich sein kann.

Und hier kommt das grundlegende Problem der Aufrechterhaltung der Zurechenbarkeit der Wahl ins Spiel. Hier können uns vielleicht – und Sie werden mir verzeihen, wenn ich trivialisiere, aber manchmal scheinen Prinzipien so zu sein, oder vielleicht bin ich noch zu sehr dem berühmten Kreuzverhör im Film Philadelphia verhaftet – die drei Regeln der Robotik 5 helfen: „1. ein Roboter darf weder einen Menschen verletzen, noch darf er zulassen, dass ein Mensch durch seine Untätigkeit verletzt wird; 2. Ein Roboter muss den Befehlen des Menschen gehorchen, sofern diese Befehle nicht gegen das erste Gesetz verstoßen; 3. ein Roboter muss seine eigene Existenz schützen, sofern sein Schutz nicht gegen das erste oder zweite Gesetz verstößt“.

In Bezug auf die komplexe Beziehung zwischen Algorithmen und Grundrechten ist hervorzuheben, dass die europäische Verordnung eine Reihe von kognitiven Garantien zusammen mit einem Verbot automatisierter Entscheidungsprozesse vorsieht, auf die der Staatsrat in den bekannten Urteilen von 2019 Bezug genommen hat, indem er auf die Artikel 13, 14, 15 und 22 der Verordnung selbst verwies. 

Gerade um die Auslegung dieser Vorschriften gibt es in der Lehre eine ausführliche Debatte darüber, ob es ein echtes Recht auf Erklärung in der DSGVO gibt oder nicht, auf die wir wegen der Tiefe und relativen Fülle der Argumente verweisen.

Man muss jedoch versuchen, die Algorithmen und die Vorstellungen derer, die sie ausarbeiten, tiefer zu durchdringen. Nun, es ist nicht leicht, sie zu verstehen, so dass die Frage der Wissbarkeit mit der Realität kollidieren könnte, oder vielleicht ist sie auch fehl am Platze. Die Erkennbarkeit betrifft die eingegebenen Bewertungskriterien, das vollständige technische Verständnis des Algorithmus ist eine andere Sache. Dies ist die komplexeste Frage, die vielleicht unsere eigenen kognitiven Fähigkeiten übersteigt. Sie kann jedoch nicht als „Verdienst“ im absoluten Sinne betrachtet werden, der nicht in Frage gestellt werden kann: Es handelt sich einfach um die Funktionsweise eines Hilfsmittels, das von der Behörde bei der Festlegung der Wahl gewählt wurde. 

Auch hier stellt sich die grundsätzliche Frage nach der Voraussetzung für den Einsatz des Algorithmus: Muss ein Gesetz erlassen werden, genügt eine Verordnung oder reicht Artikel 97 der Verfassung als allgemeine Regelung aus, da es sich um einen reinen Organisationsbaustein handelt?

In der Rechtsprechung konsolidiert sich im Vergleich zur anfänglichen Zurückhaltung eine Position größerer Offenheit, in der solche Instrumente als organisatorische Module verstanden werden, die im Rahmen der gewöhnlichen Verfahrensgarantien zu verwenden sind, ohne die Notwendigkeit einer Verdoppelung (wie das zitierte Urteil Nr. 8472 von 2019 in Bezug auf das Gesetz 241 von 1990 klarstellt) oder einer Ausweitung des Legalitätsprinzips: Das Legalitätsprinzip betrifft die ausgeübte Befugnis, nicht das organisatorische Modul.

Dies führt zu einer Ausweitung des relativen Einsatzes von Algorithmen auch bei Ermessensentscheidungen, wodurch eine mehrfache Nutzung gewährleistet wird, die eine große Hilfe für das Verwaltungshandeln darstellt, wie z. B. bei der Bewertung von technischen Angeboten oder der Festlegung von Kriterien für die Ausstellung von Umweltverträglichkeitsprüfungen.

Eine solche Ausweitung kann jedoch die Anwendungsschwierigkeiten, insbesondere im Bereich des technischen Ermessens, nur vergrößern und damit die Probleme der Überschaubarkeit und Nachvollziehbarkeit ausweiten. Und dies nicht nur im Hinblick auf das bereits erwähnte Betriebsgeheimnis des Eigentümers der Algorithmen, sondern auch, um zu vermeiden, dass die Digitalisierung eine neue Quelle von Ungleichheiten darstellt, sowohl in technischer Hinsicht (je umfassender der Rückgriff auf Technik und Technologie ist, desto mehr besondere und daher begrenzte technische Fähigkeiten sind erforderlich) als auch in wirtschaftlicher Hinsicht (in Bezug auf die Kosten der immer ausgefeilteren Werkzeuge). 

Die Digitalisierung hat den Vorteil, dass sie abstrakt den vollständigen Zugang zu einer Vielzahl von Informationen erleichtert, auch mit privaten Instrumenten oder in jedem Fall in Verbindung mit der Öffentlichkeit und somit mit wirtschaftlichem Nutzen; allerdings geht diese Erleichterung nicht immer mit Klarheit einher, so dass die Gefahr von Unsicherheit und Verwirrung steigt 6. Es bleibt jedoch auch für das „Behördenrecht“ 7 der unbestrittene Nutzen der digitalen Revolution: Ein höherer Digitalisierungsgrad der öffentlichen Verwaltung ist unerlässlich, um die Qualität der den Bürgern und Nutzern erbrachten Dienstleistungen zu verbessern.

Denn, um noch einmal die Worte der Romanciers zu missbrauchen, ein Teil der Unmenschlichkeit des Computers liegt darin, dass er sich, einmal programmiert und in Betrieb genommen, vollkommen ehrlich verhält. Und ein Computer ist keine intelligente Maschine, die dummen Menschen hilft, sondern im Gegenteil eine dumme Maschine, die nur in den Händen intelligenter Menschen funktioniert.

Die Entwicklung des maschinellen Lernens droht sogar die Grundsätze zu untergraben; aber eine unersetzliche Tatsache bleibt: die Unterschrift, die Person, die einen von einem Computer und einer Software verarbeiteten Text zu ihrem eigenen macht und dafür verantwortlich ist. Eine weitere Gefahr besteht natürlich darin, dass man sich mehr und mehr auf die Ex-post-Kontrolle oder die Syndizierung verlegt.

Ansätze der Rechtsprechung zum Thema Algorithmus und Verwaltungsverfahren.

Der Staatsrat 8 hat den Rückgriff auf den Algorithmus im Verwaltungsverfahren endgültig rekonstruiert, indem er ihn als ein organisatorisches Modul, als ein Verfahrens- und Ermittlungsinstrument, das den für jedes Verwaltungsverfahren typischen Überprüfungen unterliegt, die auf der Grundlage der Rechtsvorschriften, die die Befugnis verleihen, und der Zwecke, die sie der öffentlichen Einrichtung, dem Inhaber der Befugnis, zuweisen, durchzuführen sind.

Ein kurzer Verweis auf die wichtigsten Passagen der zitierten Rechtsprechung verdeutlicht die vorgenannte Rolle.

Generell ist darauf hinzuweisen, dass die öffentliche Verwaltung auch in der Lage sein muss, das bedeutende Potenzial der so genannten digitalen Revolution zu nutzen. In diesem Zusammenhang beruht der Rückgriff auf Computeralgorithmen für Entscheidungen, die den öffentlichen und privaten Bereich betreffen, auf den befürchteten Gewinnen an Effizienz und Neutralität. In vielen Bereichen versprechen Algorithmen das Werkzeug zu werden, mit dem die Verzerrungen und Unvollkommenheiten korrigiert werden können, die typischerweise die kognitiven Prozesse und die von Menschen getroffenen Entscheidungen kennzeichnen, was insbesondere in den letzten Jahren durch eine beeindruckende Literatur über Verhaltensökonomie und kognitive Psychologie hervorgehoben wurde. In diesem Zusammenhang wird den Entscheidungen des Algorithmus eine Aura der Neutralität verliehen, sie sind das Ergebnis aseptischer, rationaler Berechnungen auf der Grundlage von Daten. Aus dieser Perspektive ergibt sich jedoch auch eine kritische Lesart des Phänomens, da der Einsatz solcher Instrumente tatsächlich eine Reihe von Entscheidungen und Annahmen mit sich bringt, die alles andere als neutral sind: Die Annahme von Prognosemodellen und Kriterien, auf deren Grundlage Daten gesammelt, ausgewählt, systematisiert, geordnet und zusammengestellt werden, ihre Interpretation und die daraus resultierende Formulierung von Urteilen sind allesamt Vorgänge, die das Ergebnis bestimmter bewusster oder unbewusster Entscheidungen und Wertvorstellungen sind; daraus folgt, dass diese Instrumente eine Reihe von Entscheidungen treffen müssen, die weitgehend von den verwendeten Kriterien und den verwendeten Referenzdaten abhängen, bei denen es sich oft als schwierig erwiesen hat, die notwendige Transparenz zu erhalten. 

Außerdem geht es bei der Verwendung des Algorithmus nicht darum, mit verschiedenen Formen der Externalisierung des Verwaltungswillens zu experimentieren, wie im Fall des computergestützten Verwaltungsakts, oder neue Methoden der Kommunikation zwischen der Verwaltung und Privatpersonen zu finden, wie im Fall der Beteiligung der Bürger an Verwaltungsentscheidungen über soziale Netzwerke oder digitale Plattformen, oder über die Art und Weise des Datenaustauschs zwischen öffentlichen Verwaltungen nachzudenken.

Im Falle der Nutzung solcher digitaler Werkzeuge haben wir es mit einer Situation zu tun, die in der Lehre mit dem Begriff „Revolution 4.0“ bezeichnet wird, der in Bezug auf die öffentliche Verwaltung und ihre Tätigkeit die Möglichkeit beschreibt, dass der administrative Entscheidungsprozess einer Software anvertraut wird, in die eine Reihe von Daten eingegeben wird, um durch die Automatisierung des Verfahrens zur endgültigen Entscheidung zu gelangen.

Die Zweckmäßigkeit einer solchen Funktionsweise der Verwaltung des öffentlichen Interesses zeigt sich insbesondere bei Verfahren wie dem im vorliegenden Rechtsstreit in Rede stehenden, die seriell oder standardisiert sind, die die Bearbeitung großer Mengen von Anträgen mit sich bringen und die durch die Erfassung bestimmter und objektiv überprüfbarer Daten und das Fehlen jeglicher Ermessenserwägungen gekennzeichnet sind. 

Die uneingeschränkte Zulässigkeit dieser Rechtsakte entspricht den Grundsätzen der Effizienz und der Kostenwirksamkeit des Verwaltungshandelns (Artikel 1 des Gesetzes 241/90), die gemäß dem verfassungsrechtlichen Grundsatz der Leistungsfähigkeit des Verwaltungshandelns (Artikel 97 der Verfassung) von der Verwaltung verlangen, dass sie ihre Ziele mit dem geringsten Aufwand an Mitteln und Ressourcen und durch die Straffung und Beschleunigung des Verfahrensablaufs erreicht.

In den angesprochenen Streitfällen, die sich auf Verfahren zur Vergabe von Sitzen auf der Grundlage objektiver Kriterien beziehen, sollte der Einsatz eines computergestützten Verfahrens, das direkt zur endgültigen Entscheidung führt, nicht stigmatisiert, sondern grundsätzlich gefördert werden: Er bringt nämlich zahlreiche Vorteile mit sich, wie z. B. die beträchtliche Verkürzung der Verfahrensdauer bei rein repetitiven Vorgängen ohne Ermessensspielraum, den Ausschluss von Eingriffen aufgrund von Fahrlässigkeit (oder schlimmer noch: Böswilligkeit) des Beamten (Menschen) und die daraus resultierende größere Garantie der Unparteilichkeit der automatisierten Entscheidung.

Darüber hinaus kann der Einsatz computergestützter Verfahren kein Grund dafür sein, die Grundsätze zu umgehen, die unser Rechtssystem prägen und das Verhalten der Verwaltungstätigkeit regeln. In diesem Zusammenhang ist der Rückgriff auf den Algorithmus korrekt als ein organisatorisches Modul, ein Verfahrens- und Ermittlungsinstrument zu verstehen, das den für jedes Verwaltungsverfahren typischen Überprüfungen unterliegt, das der Modus Operandi der behördlichen Entscheidung bleibt, die auf der Grundlage der Rechtsvorschriften, die der öffentlichen Einrichtung, die Inhaberin der Befugnis ist, die Befugnisse und die von ihr verfolgten Zwecke zuweisen, durchgeführt wird.

Es gibt auch keine prinzipiellen oder konkreten Gründe dafür, seine Anwendung auf die verbindliche Verwaltungstätigkeit und nicht auf die Ermessensausübung zu beschränken, die beide Ausdruck einer im öffentlichen Interesse ausgeübten hoheitlichen Tätigkeit sind.

Abgesehen von der Tragfähigkeit einer solchen Unterscheidung im Vorfeld und in Anbetracht der Tatsache, dass jede behördliche Tätigkeit eine Phase der Feststellung und zumindest der Überprüfung der Wahl der vom Gesetz vorgegebenen Zwecke beinhaltet, spricht nichts dagegen, dass die genannten Zwecke, die mit dem Einsatz von Computeralgorithmen verfolgt werden, auch im Rahmen von Tätigkeiten verfolgt werden, die durch Ermessensspielräume gekennzeichnet sind, auch wenn der Rückgriff auf Computerwerkzeuge im Zusammenhang mit der so genannten verbindlichen Tätigkeit einfacher zu sein scheint. 

Vielmehr kann, wenn im Falle einer gebundenen Tätigkeit der Rückgriff auf Instrumente zur Automatisierung der Datenerfassung und -auswertung sowohl in quantitativer als auch in qualitativer Hinsicht viel relevanter sein mag, auch die Ausübung von Ermessensaktivitäten, insbesondere technischer Art, abstrakt gesehen von den Effizienzgewinnen und ganz allgemein von den Vorteilen profitieren, die solche Instrumente bieten. 

In diesem Zusammenhang und in Anbetracht der allgemeinen Zulässigkeit solcher Instrumente sind zwei herausragende Aspekte von grundlegender Bedeutung, auch im Hinblick auf die supranationale Disziplin, als Mindestgarantien für jede Hypothese der Verwendung von Algorithmen in der öffentlichen Entscheidungsfindung: a) die vollständige Kenntnis des verwendeten Moduls und der angewandten Kriterien; b) die Zurechenbarkeit der Entscheidung an das Organ, das die Befugnis hat, das in der Lage sein muss, die notwendige Überprüfung der Logik und der Legitimität der Wahl und der dem Algorithmus anvertrauten Ergebnisse vorzunehmen.

Auf der Seite der vollständigen Erkennbarkeit wird dem Grundsatz der Transparenz eine herausragende Bedeutung beigemessen, die sowohl für die Behörde selbst, die Inhaberin der Befugnis, für deren Ausübung der Rückgriff auf das Instrument des Algorithmus vorgesehen ist, als auch für die von der Befugnis selbst betroffenen und beteiligten Subjekte gelten soll. Der Mechanismus, durch den die robotergestützte Entscheidung (d. h. der Algorithmus) Gestalt annimmt, muss gemäß einer verstärkten Deklination des Transparenzprinzips „bekannt“ sein, was auch die vollständige Bekanntheit einer in einer anderen als der Rechtssprache ausgedrückten Regel impliziert. Diese Erkennbarkeit des Algorithmus muss in allen Aspekten gewährleistet sein: von den Verfassern über das für seine Ausarbeitung verwendete Verfahren bis hin zum Entscheidungsmechanismus, einschließlich der im Bewertungs- und Entscheidungsverfahren zugewiesenen Prioritäten und der als relevant ausgewählten Daten. Dies ist notwendig, um überprüfen zu können, ob die Kriterien, Annahmen und Ergebnisse des robotisierten Verfahrens mit den Vorschriften und Zielen übereinstimmen, die vom Gesetz oder von der Verwaltung selbst im Vorfeld dieses Verfahrens festgelegt wurden, und damit die Modalitäten und Regeln, auf deren Grundlage das Verfahren eingerichtet wurde, klar sind – und folglich überprüft werden können.

In Bezug auf die betroffenen Personen stellt sich auch ein Problem hinsichtlich der Verwaltung der entsprechenden Daten. Bislang lassen sich bei der Verarbeitung personenbezogener Daten zwei verschiedene Arten von automatisierten Entscheidungsprozessen unterscheiden: solche, bei denen ein Mensch beteiligt ist, und solche, die den gesamten Prozess allein dem Algorithmus überlassen. 

Die jüngste europäische Verordnung zu diesem Thema (2016/679), die sich auf diese Datenverarbeitungsmethoden konzentriert, integriert die bereits in der Richtlinie 95/46/EG enthaltene Disziplin mit der Absicht, das Risiko einer diskriminierenden Verarbeitung für den Einzelnen einzudämmen, die ihren Ursprung im blinden Vertrauen in die Verwendung von Algorithmen hat. Insbesondere legen die Artikel 13 und 14 der Verordnung in einer für die Vergangenheit innovativen Weise fest, dass die betroffene Person in der Mitteilung über die mögliche Durchführung einer automatisierten Entscheidungsfindung informiert werden muss, unabhängig davon, ob die Daten direkt oder indirekt bei der betroffenen Person erhoben werden. Eine besonders wichtige Garantie wird anerkannt, wenn der Prozess vollständig automatisiert ist, da zumindest in solchen Fällen verlangt wird, dass der für die Verarbeitung Verantwortliche „aussagekräftige Informationen über die verwendete Logik sowie die Bedeutung und die voraussichtlichen Folgen einer solchen Verarbeitung für die betroffene Person“ bereitstellen muss. In diesem Sinne wurde in der Lehre darauf hingewiesen, dass der europäische Gesetzgeber den Grundsatz der Transparenz, der im Mittelpunkt der Verordnung steht, stärken wollte. 

Die Argumentation der Rechtsprechung setzt sich mit einer detaillierten Untersuchung der Vorschriften europäischen Ursprungs fort.

Was die Überprüfung der Ergebnisse und ihre Zurechenbarkeit betrifft, so muss die nachgelagerte Überprüfung im Hinblick auf die Logik und die Korrektheit der Ergebnisse gewährleistet sein. Auf diese Weise soll die Zurechenbarkeit der Entscheidung zum Inhaber der Entscheidungsbefugnis, der auf der Grundlage des Legalitätsprinzips identifiziert wird, sowie die Überprüfung der daraus folgenden Identifizierung der verantwortlichen Person sowohl im Interesse der öffentlichen Verwaltung selbst als auch im Interesse der von der dem Algorithmus anvertrauten Verwaltungshandlung betroffenen und beteiligten Personen gewährleistet werden. In diesem Zusammenhang sieht die genannte Verordnung selbst neben den kognitiven Garantien, die durch die Offenlegung und das Auskunftsrecht gewährleistet werden, eine ausdrückliche Beschränkung der Durchführung vollautomatisierter Entscheidungsprozesse vor. In Artikel 22 Absatz 1 wird das Recht des Einzelnen anerkannt, keinen automatisierten Entscheidungen unterworfen zu werden, die ohne menschliche Mitwirkung getroffen werden und die gleichzeitig rechtliche Wirkungen entfalten oder den Einzelnen in ähnlicher Weise beeinträchtigen. Daher ist es immer notwendig, ein Zentrum der Zurechnung und der Verantwortung zu bestimmen, das in der Lage ist, die Legitimität und Logik der vom Algorithmus diktierten Entscheidung zu überprüfen.

In Bezug auf die Zurechenbarkeit verweist diese Rechtsprechung auf die Charta der Robotik, die im Februar 2017 vom Europäischen Parlament angenommen wurde, als relevantes Rahmenelement des Themas. Darin heißt es: „Die Autonomie eines Roboters kann als die Fähigkeit definiert werden, unabhängig von externer Kontrolle oder Einflussnahme Entscheidungen zu treffen und diese in der Außenwelt umzusetzen; (…) diese Autonomie ist rein technologischer Natur und ihr Grad hängt vom Grad der Komplexität ab, mit der die Interaktion eines Roboters mit der Umwelt gestaltet ist; (… ) für den Fall, dass ein Roboter autonome Entscheidungen treffen kann, reichen die herkömmlichen Vorschriften nicht aus, um die Haftung für von einem Roboter verursachte Schäden auszulösen, da sie es weder ermöglichen würden, den Ersatzpflichtigen zu bestimmen, noch zu verlangen, dass dieser den verursachten Schaden ersetzt“. Daher muss auch bei Anwendung der allgemeinen und traditionellen Vorschriften über die Zurechenbarkeit und Haftung sichergestellt werden, dass die endgültige Entscheidung der zuständigen Behörde und Einrichtung nach dem Recht, das die Befugnis zuweist, zugewiesen werden kann.

Zur Bestätigung des vorgeschlagenen Rahmens wird auf das supranationale Recht verwiesen, aus dem sich drei Grundsätze ergeben, die bei der Prüfung und Nutzung von IT-Instrumenten gebührend berücksichtigt werden müssen.

Erstens der Grundsatz der Kenntnisnahme, der besagt, dass jede Person das Recht hat, zu wissen, dass automatisierte Entscheidungsprozesse, die sie betreffen, existieren, und in diesem Fall aussagekräftige Informationen über die verwendete Logik zu erhalten. Der betreffende Grundsatz ist allgemein formuliert und gilt daher sowohl für Entscheidungen privater als auch öffentlicher Stellen, wenngleich in dem Fall, dass die Entscheidung von einer Behörde getroffen wird, Die Vorschrift der Verordnung stellt eine unmittelbare und spezifische Anwendung von Artikel 42 der Europäischen Grundrechtecharta („Recht auf eine gute Verwaltung“) dar, in dem es heißt, dass die öffentliche Verwaltung, wenn sie eine Entscheidung zu treffen beabsichtigt, die nachteilige Auswirkungen auf eine Person haben kann, verpflichtet ist, diese Person zu hören, bevor sie handelt, und ihr Zugang zu ihren Archiven und Dokumenten zu gewähren, und dass sie schließlich verpflichtet ist, „ihre Entscheidung zu begründen“. Dieses Recht auf Kenntnis der Existenz von Entscheidungen, die uns betreffen und die von Algorithmen getroffen werden, und dementsprechend die Pflicht derjenigen, die Daten auf automatisierte Weise verarbeiten, die betroffene Person davon in Kenntnis zu setzen, muss mit Mechanismen einhergehen, die in der Lage sind, ihre Logik zu entschlüsseln. Unter diesem Gesichtspunkt wird der Grundsatz der Kenntnisnahme durch den Grundsatz der Verständlichkeit ergänzt, d.h. die Möglichkeit, um den Ausdruck der Verordnung zu verwenden, „sinnvolle Informationen über die verwendete Logik“ zu erhalten.

Zweitens kann der andere Grundsatz des europäischen Rechts, der für diese Angelegenheit relevant ist (aber auch von globaler Bedeutung, da er beispielsweise in der bekannten Entscheidung Loomis vs. Wisconsin verwendet wurde), als Grundsatz der Nichtausschließlichkeit der algorithmischen Entscheidung definiert werden. Wenn eine automatisierte Entscheidung „Rechtswirkungen erzeugt, die eine Person betreffen oder erheblich beeinträchtigen“, hat diese Person ein Recht darauf, dass diese Entscheidung nicht ausschließlich auf diesem automatisierten Verfahren beruht (Art. 22 Reg.). In diesem Zusammenhang muss auf jeden Fall ein Mensch in den Entscheidungsprozess einbezogen werden, der in der Lage ist, die automatisierte Entscheidung zu überprüfen, zu bestätigen oder zu widerlegen. In den Mathematik- und Informationswissenschaften wird dieses Modell als HITL (Human in the Loop) bezeichnet, bei dem die Maschine mit dem Menschen interagieren muss, um ihr Ergebnis zu erzielen.

Drittens, aus Erwägungsgrund Nr. 71 der Verordnung (EU) Nr. 679/2016 ein weiteres grundlegendes Prinzip, nämlich das der algorithmischen Nichtdiskriminierung, aus dem hervorgeht, dass der für die Verarbeitung Verantwortliche geeignete mathematische oder statistische Verfahren für die Profilerstellung verwenden und geeignete technische und organisatorische Maßnahmen ergreifen sollte, um insbesondere sicherzustellen, dass Faktoren, die zu Ungenauigkeiten in den Daten führen, berichtigt werden und das Fehlerrisiko minimiert wird, sowie um die Sicherheit der personenbezogenen Daten zu gewährleisten, in einer Weise, die den potenziellen Risiken für die Interessen und Rechte der betroffenen Person Rechnung trägt und die unter anderem verhindert, dass natürliche Personen aus Gründen der Rasse oder der ethnischen Herkunft, der politischen Meinung, der Religion oder der Weltanschauung, der Gewerkschaftszugehörigkeit, des genetischen Status, der Gesundheit oder der sexuellen Ausrichtung diskriminiert werden oder dass Maßnahmen mit solchen Auswirkungen ergriffen werden. In diesem Zusammenhang darf ein Algorithmus, auch wenn er bekannt und nachvollziehbar ist und nicht der einzige Grund für die Entscheidung ist, keinen diskriminierenden Charakter annehmen. In solchen Fällen, so der Erwägungsgrund, müssten die „Eingabedaten“ berichtigt werden, um diskriminierende Auswirkungen in der Entscheidungsausgabe zu vermeiden; ein Vorgang, der offensichtlich die notwendige Mitarbeit derjenigen erfordert, die die Maschinen anweisen, die solche Entscheidungen produzieren.

Schließlich wird darauf hingewiesen, dass die Frage der mit dem Instrument verbundenen Gefahren nicht durch die starre und mechanische Anwendung aller winzigen Verfahrensvorschriften des Gesetzes Nr. 241 von 1990 (wie z. B.. die Mitteilung der Verfahrenseröffnung, auf der ein großer Teil des Rechtsbehelfs beruht, oder die Person des Verfahrensleiters, die mangels ausdrücklicher Bestimmungen keine Maschine sein kann), sondern dass das grundsätzliche Schutzbedürfnis, das sich aus dem Einsatz des so genannten algorithmischen Computerwerkzeugs ergibt, die Transparenz in den oben hervorgehobenen Begriffen ist, die sich auf den Grundsatz der Begründung und/oder Rechtfertigung der Entscheidung zurückführen lassen.

Algorithmus und Grundrechte.

In Bezug auf die komplexe Beziehung zwischen Algorithmen und Grundrechten ist hervorzuheben, dass die europäische Verordnung eine Reihe von kognitiven Garantien zusammen mit einem Verbot automatisierter Entscheidungsprozesse vorsieht, auf die der Staatsrat in der Urteilsbegründung des Urteils Nr. 8472/2019 Bezug genommen hat, indem er auf die Artikel 13, 14, 15 und 22 der Verordnung selbst verwies. Gerade um die Auslegung dieser Vorschriften gibt es in der Lehre eine breite Debatte darüber, ob es ein echtes Recht auf Erklärung in der DSGVO gibt oder nicht.

In diesem Zusammenhang hat die Lehre darauf hingewiesen, dass der Begriff der Erklärung, der in vielerlei Hinsicht dem der „Wissbarkeit“ im Sinne, der vom Staatsrat gebilligten „Verständlichkeit“ ähnelt, in Unterkategorien unterteilt werden muss, je nach dem Gegenstand, auf den er sich bezieht, und dem Zeitpunkt, zu dem die Erklärung gegeben wird.

Hinsichtlich des Gegenstands ist zu unterscheiden zwischen der Erklärung, die sich auf die Funktionsweise des Systems bezieht, d. h. auf das Funktionieren der Entscheidungsstruktur als Ganzes, und der Erklärung, die sich auf konkrete Entscheidungen bezieht, d. h. auf die Gründe und Umstände, die zu der einzelnen Entscheidung geführt haben; hinsichtlich des zeitlichen Kriteriums hingegen wird zwischen der Erklärung ex ante und der Erklärung ex post unterschieden. Während sich ersteres nur auf das Funktionieren des Systems insgesamt beziehen kann, kann sich das Recht auf Erklärung ex post sowohl auf die gesamte Entscheidungsstruktur als auch auf bestimmte Einzelentscheidungen und deren Gründe beziehen. Und genau diese besondere Art der Erklärung ist in der Verordnung nicht zu finden. Aber hier kommt die Begründungspflicht ins Spiel, ein Grundsatz, der uns wohlbekannt und für uns bzw. für das Rechtssystem und seine Grundlagen unverzichtbar ist (auf die Gefahr hin, in politische Entscheidungen umgewandelt zu werden, d. h. rechtlich unmotiviert).

Das Verhältnis zur Privatsphäre scheint äußerst heikel zu sein. In dieser Hinsicht ist es gut, neben dem formalen Datum der Rechtfertigung daran zu denken, dass die „Erklärbarkeit“ und die daraus folgende „Verständlichkeit“ notwendige Elemente sind, angesichts der Entwicklung, die das Recht auf Privatsphäre gemäß den vier von Stefano Rodotà aufgezeigten Tendenzen durchgemacht hat: „1) vom Recht, in Ruhe gelassen zu werden, zum Recht, die Kontrolle über die mich betreffenden Informationen zu behalten; 2) von der Privatsphäre zum Recht auf informationelle Selbstbestimmung; 3) von der Privatsphäre zur Nichtdiskriminierung; 4) von der Geheimhaltung zur Kontrolle“. Der springende Punkt ist eben die Abfolge „Person-Information-Umlauf-Kontrolle“, die im digitalen Zeitalter quantitativ sehr viel breiter geworden ist als das klassische Paradigma „Person-Information-Geheimnis“, das die wirksame Garantie der Würde der Person auch in der heutigen digitalen Gesellschaft beinhaltet. Diese Garantie kann jedoch nicht ohne eine korrekte Information der betroffenen Person über die Datenverarbeitung verwirklicht werden.

 

Wie erwartet, hat der Staatsrat die Informationspflichten aus den Artikeln 13 und 14 der Datenschutz-Grundverordnung angeführt, die vorsehen, dass die betroffene Person darüber informiert werden muss, dass die Datenverarbeitung automatisiert erfolgt, wobei der für die Verarbeitung Verantwortliche im Falle einer vollautomatisierten Verarbeitung „aussagekräftige Informationen über die verwendete Logik sowie die Bedeutung und die voraussichtlichen Folgen einer solchen Verarbeitung für die betroffene Person“ bereitstellen muss. Dies ist der bekannte Datenschutzhinweis, und die öffentlichen Verwaltungen sollten – außer in den Fällen, in denen eine „Registrierung und Mitteilung“ gesetzlich vorgeschrieben ist oder in anderen Fällen, die in den Vorschriften ausdrücklich vorgesehen sind – auch darauf achten, diese Informationen bereitzustellen, wenn sie Entscheidungen treffen, die auf einer automatisierten Verarbeitung der Daten der Bürger beruhen.

Der Schlüssel zur korrekten Auslegung der Artikel 13 und 14 liegt in den Erwägungsgründen 60, 61 und 62, die von einem Geist der Fairness und Transparenz geprägt sind, um die betroffene Person so weit wie möglich über die Verarbeitung aufzuklären.

Künstliche Intelligenz, Algorithmen und alternative Streitbeilegung.

In der digitalen Sphäre werden alternative Streitbeilegungssysteme, bekannt als ADR, zu ODR, der Online-Streitbeilegung.

Aus heutiger Sicht verschärft die Dauer der Rechtsstreitigkeiten das Problem auch in Bezug auf die Kosten, die oft höher sind als der Wert der Streitigkeiten selbst. 

Generell wirft der Rückgriff auf ADR – zu dem die Lehre zahlreiche eingehende Studien zur Vorbereitung einer notwendigen breiten Einführung in das Rechtssystem durchgeführt hat – traditionelle Probleme auf, sowohl in Bezug auf das Ritual (Status eines Dritten, Schutz des kontradiktorischen Verfahrens, Recht auf Verteidigung usw.) als auch in Bezug auf den Inhalt (z. B. die Frage, wie die Regeln für die Urteilsfindung zu bestimmen sind).

In der bekannten Empfehlung der Europäischen Kommission vom 4. April 2001 werden Begriffe genannt, die uns Juristen heilig sind: Unparteilichkeit, Transparenz, Effizienz des Zugangs, Fairness.

Diese Grundsätze der Empfehlung werden in zahlreichen europäischen Verordnungen umgesetzt und angewandt, angefangen bei der Grundverordnung 2013/524 über die OS. 

Selbst in diesem Bereich wird versucht, ein reales Verfahren in einer kleinen, embryonalen und vereinfachten Form zu reproduzieren.

Colloque « L’intelligence Artificielle Dans Le Proces Administratif »

COLLOQUE « L’INTELLIGENCE ARTIFICIELLE DANS LE PROCES ADMINISTRATIF »

(25.-26. Mai 2023, Montpellier)

Schlussbemerkungen – Alexandre Lallet

Als ich 2006 in den Staatsrat eintrat, praktizierten einige Kollegen noch das „physische Kopieren und Einfügen“, d. h. das Fotokopieren der Seite mit einem Text oder einer Rechtsprechung, das Ausschneiden des nützlichen Auszugs und das Einfügen auf einen Papierzettel. Im Gegensatz zu dem, was fehlgeleitete Geister denken könnten, ist diese Praxis in dieser ehrwürdigen Institution nicht mehr in Gebrauch. Die Aktivität wurde fast vollständig entmaterialisiert, genauer gesagt, sie ist jetzt nativ digital. Bei den Dateien handelt es sich um PDF-Dateien, die wir über Télérecours erhalten; Notizen von Berichterstattern und Gutachtern sind wie Beschlussentwürfe Word-Dateien; die Recherchen basieren auf der Ariane-Rechtsprechungsdatenbank und den europäischen Rechtsprechungsgrundlagen von Légifrance und den Datenbanken juristischer Verlage, ergänzt durch den Einsatz von Verbrauchersuchmaschinen und gelegentlich Anwendungen wie Google Maps und Streetview, um zu beurteilen, ob die Errichtung des Pavillons eine wunderbare ländliche Landschaft verunstalten würde. Natürlich gibt es ebenso abweichende wie bedauerliche Praktiken der Rematerialisierung, die die Verwaltungsgerichte und Verwaltungsberufungsgerichte erzürnen, an die sich der Staatsrat an das „0-Papier“ binden will, aber ich möchte dieses Forum nutzen, um sie zu beruhigen, es ist marginal und rückläufig.

Der Staatsrat ist, wie die gesamte Verwaltungsgerichtsbarkeit, eine weitgehend digitale Industrie der Urteilsproduktion.

Was mir jedoch auffällt, ist, dass sich in 17 Jahren Tätigkeit als Verwaltungsrichter die digitalen Werkzeuge, die ich verwende, und meine Arbeitsmethoden endlich wenig verändert haben und sich die Funktionsweise der Verwaltungsgerichtsbarkeit unter dem Einfluss von Systemen der künstlichen Intelligenz (AIS), gelinde gesagt, nicht radikal verändert hat. Die Studie des Staatsrats über KI im öffentlichen Handeln zeigt, dass dies auch für fast den gesamten öffentlichen Sektor gilt: Mit Ausnahme einiger fortschrittlicherer Verwaltungen wie der DGFIP und der DGDDI ist der Einsatz öffentlicher AIS gering und diese Systeme haben den öffentlichen Dienst nicht verändert. Das gilt auch auf europäischer Ebene.

Auf jeden Fall sind wir weit, sehr weit entfernt von den Prophezeiungen – die nicht immer frei von geschäftlichen Hintergedanken sind – der Befürworter der Strömung, die ich „phantasmagorial“ nenne. Diejenigen, die „prädiktive Gerechtigkeit“, „algorithmische Gerechtigkeit“ und den „Roboter-Richter“ als die unvermeidliche Zukunft der Justiz bezeichnen und die nicht in Begriffen der Komplementarität, sondern des Austauschs argumentieren. Diese, darunter auch unsere estnischen Freunde, die ein wenig Schwierigkeiten zu haben scheinen, zur praktischen Arbeit überzugehen, haben viel dazu beigetragen, das Image von AIS, ihre Akzeptanz und ihre „Begehrlichkeit“ zu schwächen und letztendlich ihre Annahme vor Gericht zu verzögern, indem sie mehr Spannungen als Anreize erzeugten.

Am anderen Ende des Spektrums befindet sich der „feuerfeste“ Strom. Sie sind davon überzeugt, dass die richterliche Tätigkeit dazu bestimmt ist, für AIS undurchlässig zu bleiben, weil es sich um eine im Grunde handwerkliche, um nicht zu sagen künstlerische Goldschmiedearbeit handelt, die einer vulgären Maschine unzugänglich ist, und dass das Werk der Gerechtigkeit, deren Berufung es ist, die menschlichen Beziehungen zu regeln, notwendigerweise ein menschliches Werk ist. Das ist wahr, denn was den Wert der Gerechtigkeit ausmacht, ist nicht nur oder nicht notwendigerweise die logische Perfektion der Argumentation und die redaktionelle Perfektion der Entscheidungen; Es geht vor allem darum, den Menschen zuzuhören und ihnen das Gefühl zu geben, dass sie gehört wurden; Und es geht also darum, Recht zu sprechen und den Prozessparteien das Gefühl zu geben, dass Gerechtigkeit von ihren menschlichen Kollegen mit Unparteilichkeit und Redlichkeit geübt wurde.

Die Prozessparteien wollen aber auch, dass die Gerechtigkeit rigoros, konsequent in Zeit und Raum ausgeübt wird, mit der Sorgfalt, die man hierzulande von einem öffentlichen Dienst erwarten darf. Aber das menschliche Gehirn, die „menschliche Maschine“ mit ihren „Leidenschaften, Schwächen, Rücksichtslosigkeiten“, ist nicht immer der beste Garant für das Erreichen dieser Ziele. „Handgenähte“ und traditionelle Methoden haben ihre Grenzen. Und diese Grenzen werden die Leistungserwartungen der Justiz und der öffentlichen Dienste im Allgemeinen im Vergleich zu dem, was private Akteure bieten können, zunehmend vereiteln.

Ich glaube, dass die Implementierung von AIS in der Verwaltungsgerichtsbarkeit teilweise bestraft wird, wenn nicht durch das übermäßige Vertrauen der Menschen in ihre eigenen Fähigkeiten, zumindest durch die Unterschätzung oder sogar Negierung des Potenzials der KI, zu der der schillernde Fortschritt der Modelle der Verarbeitung natürlicher Sprache eine vernichtende Leugnung mit sich bringt. Vor 6-8 Monaten, vor ChatGPT, schienen einige Anwendungsfälle weit hergeholt zu sein und brachten Ihnen spöttische Reaktionen ein; Von nun an wären sie fast trivial…

Eine weitere bestrafende Voreingenommenheit in dieser Hinsicht liegt in dem Reflex, der die Maschine disqualifiziert, weil sie nicht unfehlbar ist, oder der inakzeptablen Maschinenfehlern und verzeihlichem menschlichem Versagen entgegensteht. Irrtum ist Maschine, weil er nichts anderes ist als abgeleitetes menschliches Versagen. Ja, die Verallgemeinerung der Einführung autonomer Fahrzeuge auf den Punkt würde zu Verkehrsunfällen führen, aber wahrscheinlich viel weniger, als weiterhin Menschen fahren zu lassen und jedes Jahr mehrere tausend Tote im Straßenverkehr zu verursachen: Es ist nicht perfekt, aber es ist viel besser. Ja, die Maschine ist voreingenommen, ebenso wie ihre Trainingsdaten. Aber bei methodischen Vorsichtsmaßnahmen und entsprechender Verarbeitung, bei Daten wie bei Algorithmen, bin ich mir nicht sicher, ob es wirklich mehr ist als ein Mensch… Ja, chatGPT halluziniert oft, aber das ist kein Grund, es wegzuwerfen.  Aber wenn wir nach der tiefsten Ursache für den Widerwillen suchen, den AIS hervorrufen kann, dann glaube ich, dass wir sie einfach in der Unwissenheit finden müssen.

Vor 2 Jahren kam ein Vorsitzender Richter, dem ich erfolglos versucht hatte, das Potenzial von KI-Systemen für die Rechtshilfe zu erklären, in meine Kanzlei, um mir von einem Fall zu berichten, in dem ein Kollege plötzlich erkannt hatte, dass der Antrag nicht unzulässig war, wie man glaubte. Es stellte sich heraus, dass die Frist für die Einlegung eines Rechtsbehelfs um 2 Monate verlängert wurde, wenn der Antragsteller seinen Wohnsitz im Ausland hatte. Alle hatten es vermisst. Er war sehr glücklich, als er mir sagte: „Siehst du, zum Glück gibt es den Menschen!“ Ich antwortete kühl, dass ein KI-System, auch ohne maschinelles Lernen, ein kleines Expertensystem, verhindert hätte, dass fast jeder etwas falsch macht und in der Wand landet.

Es sollte nicht verschwiegen werden: Innerhalb der Verwaltungsgerichtsbarkeit gibt es einen großen Mangel an Wissen darüber, was AIS sind, wie sie ausgestaltet sind, ihr Potenzial und ihre Grenzen. Das ist völlig normal: Es ist komplex; und auf professioneller Ebene sind die Trainingsdaten unseres Gehirnalgorithmus die Rechtsstreitigkeiten, die wir sehen, und nur wenige von ihnen sprechen über KI. Das ist nicht der Alltag des Richters. Ich bin mir nicht sicher, ob wir die einzigen sind, die es sind: wenn ich in den Schlussanträgen des Generalanwalts des EuGH zum jüngsten Fall der Menschenrechtsliga lese, dass ein Text, der vorschreibt, dass eine Prüfung auf vorab festgelegten Kriterien beruhen muss, sich gegen den Einsatz sogenannter KI-Technologien des maschinellen Lernens ausspricht, glaube ich, dass es eine leichte Verwechslung zwischen maschinellem Lernen und der Identifizierung relevanter Kriterien im Lichte früherer Kontrolldaten,  unter menschlicher Validierung – was die DGFIP üblicherweise für die Ausrichtung von Steuerprüfungen tut, und AIS, die die Kriterien selbst im Laufe der Zeit ohne menschliches Zutun ändern würden, was anderer Art und viel seltener ist – wir haben in unserer Studie keine gefunden.

Diese Ignoranz ist der großen Mehrheit der französischen Bevölkerung gemeinsam. Und in dieser Ignoranz stürzen sich die Kritiker dieser Systeme, die Vorboten der Apokalypse, die Pessimisten aller Art oder die Amateurmedien mit einfachen Anekdoten über den „medizinischen Chatbot“, der eine Person in den Selbstmord treibt, oder die sogenannte „intelligente“ Kamera, die einen Menschen und einen Affen verwirrt. Diese Ignoranz ist ein sehr mächtiger Faktor des Misstrauens. Wenn wir über dieses Thema sprechen, hören wir uns sofort entgegnen: „Es ist sehr gefährlich, es macht mir Angst, es ist der Anfang vom Ende der Welt usw. ». Wenn Meinungsführer wie Elon Musk ein 6-monatiges Moratorium für die Forschung fordern, was absolut keinen Sinn macht, und die Presse viel Aufhebens darum macht, hilft das natürlich nicht.

Um es klar zu sagen: Ich sage natürlich nicht, dass es kein Risiko gibt. Wie andere Werke, einschließlich dieses Kolloquiums, identifiziert die Studie des Staatsrats sie und ruft zu einer Haltung ständiger Wachsamkeit auf. Wenn wegweisende Forscher wie Geoffrey Hinton oder Yoshua Bengio, die wissen, wovon sie reden, in Panik geraten, wenn sie ChatGPT und GPT4 laufen sehen, können wir nicht gleichgültig bleiben. Ich sage nur, dass es keinen Grund zur Panik gibt und dass wir uns vor Amalgamen schützen müssen, indem wir auf ein paar einfache Ideen zurückkommen:

KI gibt es nicht. Es ist ein rauchiges Konzept, das vor einigen Jahrzehnten von einer wissenschaftlichen Gemeinschaft erfunden wurde, um eine Universitätswiese abzugrenzen, und das der europäische Gesetzgeber mühsam rechtlich einzugrenzen versucht. Es gibt eine äußerst vielfältige Reihe von Modellen und Systemen, von denen einige Logik und vorgefertigte Anweisungen und andere eine mathematisch-statistische Methode verwenden, die als maschinelles Lernen bekannt ist, die die sehr bescheidene Form eines Entscheidungsbaums annehmen kann oder die für das menschliche Gehirn unzugängliche Form einer Megafunktion mit mehreren Milliarden oder Hunderten von Milliarden von Parametern, die durch Daten aus menschlichen Aktivitäten gespeist oder aus menschlichen Aktivitäten abgeleitet werden (da Trainingsdaten aus algorithmischen Modellen von anderen Systemen erzeugt werden können). Im Grunde macht es also nicht viel Sinn, zu sagen „KI dies, KI das“;

KI-Systeme sind nur Werkzeuge. Die Maschine übernimmt nicht die Macht: Es ist der Mensch, der sich versklaven lässt; Es ist der Mensch, der durch den berühmten Automation Bias seine Verantwortung für die Maschine ablegen kann; Es ist der Mensch, der aus Faulheit oder Bequemlichkeit sein Wissen nicht erhält oder vervollkommnet und vom System abhängig wird; es ist der Mensch, der das, was chatGPT ihm sagt, für bare Münze nimmt, ohne die Richtigkeit dessen zu überprüfen, was ihm geantwortet wird (vgl. z.B. die Unfähigkeit von chatGPT, einen Gesetzesartikel korrekt zu zitieren). Es ist ein bisschen wie bei der Cybersicherheit: Das schwache Glied ist oft der Mensch. Anstatt der Maschine die Schuld zu geben, sollten wir lernen, wie man sie richtig benutzt.

Die mit KI-Systemen verbundenen Risiken ergeben sich daraus, wofür und wie sie eingesetzt werden. Dass ein junger belgischer Vater Selbstmord begeht, nachdem er sich mit Joaquin Phoenix in Her verwechselt hat, ist offensichtlich dramatisch. Das hat aber nichts mit der automatisierten Pseudonymisierung von Gerichtsentscheidungen, mit der Identifizierung aktueller Präzedenzfälle zu tun durch semantischen Abgleich von Entscheidungen oder mit automatisierter Projektgenerierung. Die im Entwurf der europäischen Verordnung vorgeschlagene Einstufung nach Risiko bringt eine willkommene Nuance mit sich, auch wenn sie eher grob bleibt.

Die Risiken rechtfertigen nicht die Enthaltung, sondern das Handeln. Die Studie des Staatsrats empfiehlt, bereits vor der Verabschiedung des KI-Gesetzes die Verabschiedung unverbindlicher Leitlinien, die die 7 Prinzipien vertrauenswürdiger öffentlicher KI, die wir entwickeln, aufgreifen und erläutern würden: Vorrang des Menschen, Leistung, Nichtdiskriminierung, Transparenz, Cybersicherheit, Strategische Autonomie und ökologische Nachhaltigkeit. Ziel ist es, einen ethischen Reflex in den Verwaltungen zu wecken und ihnen ein methodisches Raster zu bieten, um zwischen diesen widersprüchlichen Anforderungen zu vermitteln. 

Aber das Wichtigste ist, die Pädagogik der KI zu betreiben. Diesem Zweck dienen auch die 360 Seiten der Studie des Staatsrats zu KI im öffentlichen Handeln, auch für die eigene Redaktion. Dazu trägt auch dieses Kolloquium bei, und ich freue mich über den Erfolg. KI-Kenntnisse sind die Voraussetzung für gut platziertes Vertrauen. 

Für den Richter ist es eine besonders rentable Investition, und zwar aus mindestens drei Gründen, die auf dieser Konferenz genannt wurden:

– 1. Grund: Weil es immer mehr erforderlich sein wird, die Rechtmäßigkeit der Handlungen zu kontrollieren, die die KI herstellt oder an deren Herstellung sie mitgewirkt hat, oder sogar die Rechtmäßigkeit ihrer Tätigkeit selbst: Es handelt sich noch um eine embryonale Aktivität. Derzeit richten sich die wenigen Einsprüche gegen AIS gegen das Dekret, das die entsprechende Verarbeitung personenbezogener Daten vorsieht – oder besser gesagt die Verarbeitung: Ausbildung; und sie berufen sich logisch auf die DSGVO. Dies war der Fall im ALICEM-Streit um ein elektronisches Identifikationsmittel, das mithilfe von Gesichtserkennung erstellt wurde. das Datajust-Projekt des Kanzleramts; und Webscraping durch DGFIP und DGDDI. Aber dieses umstrittene Objekt wird sich sowohl entwickeln, weil sich die Anwendungsfälle innerhalb der Verwaltungen vervielfachen, als auch, weil Referenzstandards werden immer reichhaltiger, also Haken für Rechtsstreitigkeiten – die KI-Verordnung wird einen mächtigen Beitrag leisten. Dies ist eine erhebliche Herausforderung für den Richter. Der Richter muss sein eigenes Verständnis für diese Werkzeuge entwickeln und dynamische Anweisungen geben, indem er technische Meinungen und Fachwissen einholt. Die Zertifizierung von Systemen nach dem Entwurf des KI-Gesetzes dürfte dabei eine Schlüsselrolle spielen;

– 2. Grund, warum der Richter ein Interesse daran hat, das Thema zu investieren, ist die Entwicklung von „algorithmischen Beweisen“. Von den Parteien wird erwartet, dass sie Argumente und Daten vorlegen, die von KI-Systemen abgeleitet werden. Die kontradiktorische Debatte kann helfen, ihren Umfang zu beurteilen, aber der Richter muss eine bestimmte Kontrollschwelle erreichen, um ihre Auslegung nicht falsch zu verstehen. Die auf diesem Symposium vorgestellte Arbeit zeigte die Risiken kognitiver Verzerrungen auf, die mit der Erstellung von Statistiken oder Prognosen aus AIS verbunden sind. Die Antwort ist nicht, sie zu ignorieren und zu sagen: „Verbinden Sie mir die Augen, ich werde besser urteilen.“ Es geht darum, den kritischen Blick des Richters auf diese Art von Argumenten zu schärfen;

– 3. Grund: Die Rechtsprechung kann von der Entwicklung von KI für den eigenen Bedarf erheblich profitieren, und diese Entwicklung setzt voraus, dass Frauen und Männer in diesem Beruf persönlich eingebunden sind.

 

Viele Anwendungsfälle wurden während dieser zwei Tage erwähnt.

Für die Geschäftsstellen der Gerichte ermöglichen AIS eine Erleichterung der Aufgaben und eine Neupositionierung auf eine Rolle mit höherem Mehrwert. Es ist möglich, zumindest teilweise und unter menschlicher Aufsicht, die Orientierung der registrierten Fälle, die Zusammenfassung der Fälle, die Unterstützung beim Ermittlungsplan, die Aufdeckung von Verfahrensvorfällen zu automatisieren, die Entwicklung von Projekten mit der Erkennung von Anomalien oder redaktionellen Inkonsistenzen (z. B. das Hinterlassen des Namens einer anderen Partei durch ein schlechtes Kopieren und Einfügen) und natürlich die Pseudonymisierung von Gerichtsentscheidungen. die Einrichtung eines Konversationsroboters, der die Fragen der Parteien zum Stand des Verfahrens beantwortet, die nächsten Schritte, indem Sie ihnen eine indikative Bearbeitungszeit geben usw. könnte sie von unnötigen Telefongesprächen entlasten, auch wenn wir wissen, dass dies nicht automatisch geschieht und dass diese Art von Schnittstelle stattdessen zu einem Anstieg der Anrufe führen kann. Eine SIA prüft die Zuständigkeit und die Zulässigkeit auf der Grundlage der Klageschrift und des Schriftsatzes komplementär, ist eine sehr glaubwürdige kurzfristige Perspektive. Diese Tools wären heute nützlich. Sie können morgen nicht mehr wegzudenken sein, wenn ein generatives AIS die Gerichte mit Ansprüchen überschwemmt – das ist eine weitere Form der Sammelklage. Im Moment sehen wir im Staatsrat ein wenig Anfragen, die von SIAs übersetzt werden, und sie sind nicht unbedingt weniger klar als Anträge von Anwälten – das ist natürlich ein Scherz.

Für die Richter besteht die Herausforderung vor allem in der Entscheidungsunterstützung. Wenn eine SIA den Anwälten keine formellen Anträge auferlegt, kann sie die Schlussfolgerungen, Mittel und Zwecke der Unzulässigkeit in den Schriftsätzen ermitteln und vorqualifizieren. Sammeln Sie relevante Unterlagen, um diese zu beheben; Abstimmungen mit Präzedenzfällen vorschlagen; Recherchen in ausländischen Rechtsprechungsgrundlagen und ausländischen Websites durch Überwindung der Sprachbarriere zulassen – sozusagen eine Demokratisierung der Rechtsvergleichung. Verordnungsentwürfe und stereotype Entscheidungen, wie z.B. Entscheidungen über die Nichtzulassung zur Kassation, eignen sich hervorragend für die Etablierung eines generativen AIS. In dieser Hinsicht können wir uns vorstellen, das AIS entweder in der 1. Zeile zu positionieren, mit dem Magistrat als Revisor, oder im Gegenteil, um eine Automatisierungsverzerrung zu vermeiden, das AIS so zu positionieren, dass es Beobachtungen über die menschliche Arbeit macht. Maschinelles Lernen öffnet auch den Weg zur Identifizierung von mehr oder weniger versteckten Parametern, die es dem Richter ermöglichen, seine eigene Argumentationsweisen zu entwickeln und diese möglicherweise zu verzerren oder zu harmonisieren.

Kurzum: An Ideen mangelt es nicht, an Öl ein wenig. CIOs müssen Ressourcen im Spannungsfeld einsetzen, und sie bevorzugen logischerweise „Business IS“, diejenigen, die das tägliche Funktionieren der menschlichen Justiz ermöglichen, und die darüber hinaus nützliche, aber ungenutzte Aktivitätsdaten generieren. Aber ich glaube nicht, dass wir nennenswerte Ressourcen mobilisieren müssen. Vor allem ist es notwendig, Kollegen, Sachbearbeiter oder Richter zu mobilisieren, die sich für Data Science und Computerprogrammierung interessieren, um mit der Entwicklung kleiner Tools im eigenen Haus im POC-Modus zu beginnen.

Andere Voraussetzungen sind erforderlich und es bleibt nicht genügend Zeit, um sie zu überprüfen. Eine der Lehren aus der Studie des Staatsrats ist, dass eine hochrangige Förderung des Bauwerks für den Erfolg des Projekts unerlässlich ist. Wenn die Führungskräfte nicht unterstützen und sich nicht einmal persönlich engagieren, hat das Projekt wenig oder gar keine Aussicht auf Erfolg. Es kommt auf ihre eigene Akkulturation an das Subjekt zurück. Es gibt auch methodische Fragen. Zum Beispiel für die Kennzeichnung von Daten, die für das überwachte Lernen notwendig sind. Diejenige, die darin besteht, eine E-Mail an das gesamte Gericht zu senden, um alle zu bitten, die Schlussfolgerungen und die Mittel in vorausgewählten Anträgen zu „markieren“, scheint nicht gut zu funktionieren, wenn ich den Schwierigkeiten glaube, auf die der Staatsrat bei der Entwicklung eines AIS zur Aufdeckung von Rechtsstreitigkeiten gestoßen ist.

Es ist noch ein langer Weg, bis KIS für maschinelles Lernen einen wirklich strukturierenden Platz in der Funktionsweise von Gerichten einnehmen. Es wird ein sehr schrittweiser Prozess sein, weit entfernt von dem medialen Reflex, der von Revolution, Wendepunkt und Ersatz spricht, wie wir ihn derzeit für ChatGPT lesen und wie wir immer über die Ersetzung des Menschen durch die Maschine gelesen haben. Die Geschichte der KI ist eine Geschichte von Über- und Untererfüllung. Wir dürfen nicht noch einmal in die Falle tappen. Und es ist besser, klein anzufangen, mit kleinen Systemen, die funktionieren, als mit einem übermäßig ehrgeizigen Projekt, das wahrscheinlich scheitern wird. Es ist nicht unerheblich, dass die Studie des Staatsrats die Leistung zu einem der Leitprinzipien vertrauenswürdiger öffentlicher KI macht. Sowohl die Öffentlichkeit als auch die Beamten werden Vertrauen in die Systeme haben, die ihnen dienen, einfach weil sie gut funktionieren.

Meine Überzeugung ist, dass wir uns unverzüglich auf den Weg machen müssen, mit Optimismus, aber Realismus, und ausgestattet mit unserem ethischen Kompass und einem permanenten Erinnerungsseil, den Prozessparteien. Wir vergessen es manchmal, aber wir sind für sie da. Schnellere, zuverlässigere, klarere, kohärentere, berechenbarere und nicht weniger humane Verwaltungsgerichtsbarkeit: Das ist das Versprechen der begründeten Einführung von KI-Systemen in unser tägliches Handeln als Richter.

Dieses Symposium leistet dazu einen sehr nützlichen Beitrag, und ich möchte alle Referenten und natürlich die Organisatoren herzlich begrüßen und ihnen danken. Es ist sicherlich nur ein Abschied für ein Wiedersehen.

Cookie Consent mit Real Cookie Banner