JurPC Web-Dok. 144/2022 - DOI 10.7328/jurpcb20223710144

Leander Bücken [*]

Bericht zur Marburger Tagung – „Qualität künstlicher Intelligenz: Bewertung, Sicherung, Anwendungsbeispiele“ am 07.07.2022

JurPC Web-Dok. 144/2022, Abs. 1 - 23


Am 07.07.2022 fand im Marburger Kongresszentrum Vila Vita die interdisziplinäre Jahreshaupttagung der Projektgruppe „Normordnung künstlicher Intelligenz (NoKI) – Bestand, System, Durchsetzung“ des Zentrums „Verantwortungsbewusste Digitalisierung“ (ZEVEDI) und des Instituts für das Recht der Digitalisierung (IRDi) der Philipps-Universität Marburg statt. Die Tagung zum Thema „Qualität Künstlicher Intelligenz: Bewertung, Sicherung, Anwendungsbeispiele“ widmete sich normativen und ethischen Problemlagen, die im Zuge der Sicherung der Qualität künstlich intelligenter Systeme zum Tragen kommen. Ein Schwerpunkt lag auf der Qualitätssicherung von KI-Anwendungen im Finanzsektor, deren Herausforderungen aus praktischer und theoretischer Sicht beleuchtet wurden.Abs. 1
Einleitend sprachen die hessische Ministerin für Digitale Strategie und Entwicklung Prof. Dr. Sinemus und der Präsident der Philipps-Universität Marburg Prof. Dr. Thomas Nauss ein Grußwort an die über 70 Teilnehmer aus. Danach wurden Grundsatzfragen zur zivilrechtlichen Haftung für Künstliche Intelligenz (KI) von Prof. Dr. Thomas Riehm und zur Zertifizierung Künstlicher Intelligenz von Dr. Erik Weiss behandelt. Darauf folgte eine Podiumsdiskussion mit Dr. Sebastian Hallensleben, Marit Hansen, Prof. Dr. Martin Hirsch und Feliz Elmas.Abs. 2
Weiterhin wurden branchenspezifische KI-Anwendungen im Finanzsektor erörtert. Angefangen mit PD Dr. Dimitrios Linardatos zum Thema „Robo Advice“, diskutierte Prof. Dr. Wolf-Georg Ringe ausführlich das Algorithmic Trading. Danach führte Dr. Lisa Bechtold zum KI-Einsatz im Versicherungskonzern aus. Abgerundet wurde die Tagung durch Prof. Dr. Katja Langenbucher mit einem Vortrag zum „Credit Scoring“.Abs. 3
Die Moderation wurde abwechselnd von den Veranstaltern der Tagung (Prof. Dr. Florian Möslein, Prof. Dr. Sebastian Omlor, Prof. Dr. Anne Riechert und Prof. Dr. Johannes Buchheim) übernommen.Abs. 4
Prof. Dr. Thomas Riehm[1] stellte in seinem Auftaktvortrag sein Verständnis vom Begriff der Künstlichen Intelligenz dar, diskutierte vertragliche und haftungsrechtliche Zurechnungsfragen und behandelte die Frage der Rechtsfähigkeit.Abs. 5
Bei der vertraglichen Zurechnung geht es um die Frage, wer für eine durch eine KI abgegebene Willenserklärung haftet, mit wem und unter welchen Voraussetzungen die Verträge zustande kommen und ob man sich wieder davon lösen kann. Riehm kritisierte dabei den Begriff „Künstliche Intelligenz“ und präferierte daher den Terminus „Machine Learning“. Charakteristisch sei jedenfalls, dass solche Systeme die Fähigkeit haben, mit unvollständigen Informationen umzugehen und lernfähig sind. Zu Beginn sei daher unsicher, wie sich das System später verhalten werde (sog. Autonomie).Abs. 6
Relevant sei in diesem Zusammenhang insbesondere die Folge der Nichterfüllung eines Vertrages durch eine KI, die Verursachung eines Schadens oder auch Handlungen der KI außerhalb vertraglicher Beziehungen.Abs. 7
Riehm stellte dar, dass sich das klassische Konzept der naturalistischen Willenserklärung nicht mehr unbedingt auf die Abgabe einer Willenserklärung durch Künstliche Intelligenz übertragen lasse. Ein diesbezüglich zutreffender Lösungsansatz sei das Verständnis, dass eine natürliche Person das Risiko einer falschen Abgabe einer Willenserklärung in seinen Willen aufnehme.Abs. 8
Außerdem ging Prof. Riehm auf die Frage der Herstellerhaftung ein, die insbesondere im Bereich der Automobilindustrie relevant werde. Maßgebliches Gesetz ist de lege lata das Produkthaftungsgesetz. Dieses lasse sich jedoch nicht ohne Weiteres auf die Haftung für künstlich intelligente Systeme übertragen. Anknüpfungspunkt einer Haftung nach dem Produkthaftungsgesetz sei das fehlerhafte Inverkehrbringen, wohingegen sich Künstliche Intelligenz auch erst im Nachhinein weiterentwickeln könne.Abs. 9
Betrachte man hingegen den KI-Verordnungsentwurf der EU, werde dieser Regelungsentwurf wohl insbesondere bei Hochrisiko-Systemen zu einer Gefährdungshaftung der Hersteller und der Datenlieferanten führen.Abs. 10
In seinem Vortrag warf Riehm zudem die Frage nach einer deliktischen Haftung auf. Dabei könne man die Handlungen durch KI-Systeme den dahinterstehenden natürlichen Personen zurechnen; es bleibe aber Frage des Verschuldens. Nach Riehm bedürfe es zur Lösung jedoch keiner gesetzgeberischen Intervention, da die bestehende Verkehrssicherungspflichtendogmatik diese Sachlage unproblematisch auffangen könne. Unter Einfluss des KI-Verordnungsentwurfs werde die künftige Entwicklung wohl in Richtung einer vermuteten Haftung für ein Auswahl- und Überwachungsverschulden in Analogie zu §§ 831, 836, 833 S. 2 BGB gehen. Dabei könne eine Zertifizierung als Vermutung der Exkulpation dienen. Zur Frage der Rechtsfähigkeit solcher Systeme äußerte sich Riehm ablehnend. Abs. 11
Als nächstes folgte ein Vortrag von Herrn Dr. Weiss[2] zur Zertifizierung Künstlicher Intelligenz und ihrem Stellenwert im Rahmen des KI-Verordnungsentwurfs.Abs. 12
Zunächst ging der Referent auf die Zertifizierung als relevanten Baustein der Konformitätsprüfung von neuen Technologien ein. Dabei gab er einen generellen Überblick über die verschiedenen Konformitätsprüfungen und ging dann insbesondere auf die Zertifizierung ein. Weiss stellte die Vorzüge der Zertifizierung von KI-Systemen dar und kam zu dem Fazit, dass eine Zertifizierung die Entwicklung der künstlichen Intelligenz und die Innovation in diesem Bereich erheblich fördern könne.Abs. 13
Danach gab Weiss einen Überblick über den KI-Verordnungsentwurf und stellte insbesondere den risikobasierten Ansatz mit seinen vier Risikostufen dar. In seinem Vortrag spannte er sodann einen Bogen zur eingangs dargestellten Zertifizierung und diskutierte den Stellenwert der Zertifizierung im KI-Verordnungsentwurf.Abs. 14
Die zweite Hälfte der Tagung leitete Herr Dr. Linardatos[3] mit einem Vortrag zur „Qualität künstlicher Intelligenz - Anwendungsbeispiel Robo Advice“ ein. Zunächst stellte er das Dienstleistungsspektrum von Robo Advice in Bezug auf die Dispositionsentscheidung durch den Anleger und durch den Dienstleister dar. Linardatos unterschied sodann im praktischen Ablauf der Entscheidungsfindung durch Robo Advice vier Schritte: Im ersten Schritt finde eine Kundenexploration anhand eines webbasierten Fragenkatalogs statt. Dort würden die persönlichen und finanziellen Verhältnisse ermittelt.Abs. 15
Anschließend errechne der Algorithmus einen Anlagevorschlag, der in einem dritten Schritt umgesetzt werde. Als letzten Schritt werde das Portfolio nach der Investition durch Re-Balancing oder Re-Allocation betreut. Darüber hinaus wurden die Bezüge von KI und Robo Advice, insbesondere die drei Phasen des Zustandekommens einer Dispositionsentscheidung dargestellt. Den Hauptteil des Vortrages machte die Thematik „Robo Advice und technische Qualität“ aus. Im Vordergrund standen die generellen Anforderungen für eine ausgereifte und sichere Anwendung von Robo Advice, auch von Seiten der Aufsicht. Als Fazit hielt Linardatos fest, dass keine spezifischen Anforderungen an Algorithmen oder an künstlich intelligente Systeme im Zusammenhang mit Robo-Advice-Diensten existierten. Vielmehr sei das mit der konkreten Dienstleistung verbundene Risiko nach Maßgabe der Leistungserbringung im persönlichen Gespräch maßgeblich. Als Hilfestellung für die technischen Anforderungen ließen sich aber die Vorgaben für den algorithmischen Handel ableiten.Abs. 16
Später referierte Prof. Dr. Wolf-Georg Ringe[4] zum Thema des „Machine Learning, Market Manipulation, and Collusion on Capital Markets: Why the ‘Black Box’ Matters“. Durch zunehmend autonome KI-Händler entstünden neue Risikoquellen für den Markt und dessen Integrität (bspw. Marktmissbrauch). Dabei wies Ringe auf die problematische Anwendung etablierter rechtlicher Konzepte der Haftung hin und erörterte Probleme des Vorsatzes und der Kausalität. Ferner stellte er das veraltete System der Marktverhaltensaufsicht im Bezug auf die Marktüberwachung und die Durchsetzungsmechanismen dar.Abs. 17
Doch können autonome Systeme lernen, wie man betrügt? KI könne sowohl alte als auch neue manipulative Strategien als optimale und rationale Strategie erlernen und entdecken, die unabhängig von menschlichen Absichten fungieren. Daher könne KI auch zu algorithmisch optimierten manipulativen Strategien führen, was wiederum in einer Marktmanipulation münde. Auch könnten unabhängige Handelsalgorithmen unter bestimmten Umständen selbstständig Wege finden, um ihr Verhalten zu koordinieren oder die Strategien der Konkurrenten zu entschlüsseln und so eine „stillschweigende“ Absprache treffen.Abs. 18
Doch was ist die rechtliche Antwort auf die aufgeworfenen Probleme? Hier käme das traditionelle Haftungsrecht in die Bredouille. Die Rechtssysteme verlangten in der Regel den Nachweis eines Verschuldens. Auch könne das autonome System die Kausalkette unterbrechen. Insgesamt sei daher wichtig, dass eine Unterscheidung dahingehend stattfinde, ob das KI-Fehlverhalten sich als unbeabsichtigte Folge einer früheren menschlichen Entscheidung darstelle oder auf eine autonome KI-Entscheidung zurückzuführen sei. Im Ergebnis sei eine „starke“ Erklärbarkeit für algorithmische Handelssysteme de jure erforderlich, was in derzeitigen Rechtssystemen nur begrenzt berücksichtigt werde.Abs. 19
Im Anschluss stellte Lisa Bechtold, Ph.D., LL.M.[5] den KI-Einsatz im Versicherungskonzern vor. Sie zeigte zunächst die Einsatzbereiche von KI auf. Ein Einsatz finde bei jedem Glied der Wertschöpfungskette einer Versicherung statt - von der Produktentwicklung bis hin zum Schadensmanagement. Beim Einsatz von KI stellten sich in der Versicherungsbranche maßgeblich zwei Herausforderungen: Zum einen die nachhaltige und sichere Nutzung der Kundendaten und zum anderen die schwierige Unterscheidung zwischen einer zulässigen risikobasierten Differenzierung und einer unzulässigen Diskriminierung.Abs. 20
Weiterhin liege der aktuelle Fokus des Einsatzes von KI nicht im Kernbereich der Versicherung, sondern darin, die sog. „Customer Experience“ zu erhöhen. Ziel sei dabei eine möglichst hohe digitale Bequemlichkeit („digital convenience“) beim (potentiellen) Versicherten zu erreichen. Ferner ging Bechtold auf die KI-spezifischen Risiken ein. Während das Risiko einer Diskriminierung schon immer vorhanden gewesen sei, werde die Transparenz durch KI erschwert. Durch eine Korrelation von Datenpunkten seien die Prozesse nicht mehr so leicht nachvollziehbar wie bei klassischen Systemen. Zudem werde die Governance durch die stetig steigende Komplexität der Vorgänge erschwert. Schließlich stellten sich neue ethische Herausforderungen, da durch den Einsatz von KI erheblich feinere Risikogruppen erstellt werden könnten, was zu einem Ausschluss vulnerabler Kundengruppen führen könne und die Finanzierung dadurch erschwert werde.Abs. 21
All dies stelle den Wirtschaftssektor vor Herausforderungen. Daher müsse genau überprüft werden, wofür die Daten genutzt würden; zudem sei eine Begrenzung auf bestimmte Bereiche sicherzustellen. In diesem Kontext solle „Fairness“ das Hauptziel eines jeden KI-Systems sein. Auch wenn sich keine eindeutige Definition für Fairness finden lasse, sollten doch die Fairnessbedürfnisse innerhalb der Sektoren analysiert und herausgearbeitet werden, so dass jeder Use-Case erfasst sei. Dieses Ziel könne mittels interner „Governance Frameworks“ erreicht werden.Abs. 22
Abschließend referierte Prof. Dr. Katja Langenbucher[6] zu „Credit Scoring“ und beleuchtete es im Hinblick auf Diskriminierung. Während der KI-Verordnungsentwurf in Erwägungsgrund 37 wie selbstverständlich von einer Diskriminierungsgefahr ausginge, sei dies jedoch tatsächlich nicht so eindeutig. Zunächst müsse zwischen Scoring als solchem und der Diskriminierung ein Zusammenhang hergestellt werden. Problematisch sei dabei, dass es auf der EU-Ebene keinerlei Scoring-Regulierung gebe und diese in der Regel nicht unter die Bankenregulierung falle. Auch gebe es kein Gesetzeswerk, dass sich mit der Frage beschäftige, ob Diskriminierung in Bezug auf den Zugang zu Kredit akzeptiert werden solle oder nicht. Langenbucher wies auf das enorme Spannungsverhältnis zwischen der Finanzstabilität und der Diskriminierung hin und betonte, dass es wichtig sei, diese beiden Regelungsziele in Einklang zu bringen. Dabei sei zweifelhaft, ob dieses Problem überhaupt über die klassische Diskriminierungsdogmatik gelöst werden könne. Denn während es bisher originär um einzelne Variablen, die zu einer falschen Bewertung führen, gegangen sei, handele es sich durch den Einsatz von KI um ein Bündel von Variablen. Der KI-Verordnungsentwurf lasse diese Frage jedenfalls im Wesentlichen aus und gebe dem Endverbraucher keinerlei Rechte. Daher bleibe letztlich offen, was sich aus Erwägungsgrund 37 schließen lasse.Abs. 23

Fußnoten:

[*] Der Autor ist Studentischer Mitarbeiter am Lehrstuhl von Prof. Dr. Florian Möslein, LL.M. (London), Philipps-Universität Marburg, Professur für Bürgerliches Recht, Deutsches und Europäisches Wirtschaftsrecht, Institut für Handels- und Wirtschaftsrecht, Institut für das Recht der Digitalisierung (IRDi).
[1] Inhaber des Lehrstuhls für Deutsches und Europäisches Privatrecht, Zivilverfahrensrecht und Rechtstheorie an der Universität Passau.
[2] Postdoc / Leiter des Teilprojekts "Recht" im Verbundprojekt "Zertifizierte KI" und Habilitand, Lehrstuhl für Strafrecht, Strafprozessrecht, Rechtsphilosophie und Rechtsvergleichung, Prof. Dr. Dr. Frauke Rostalski, Universität zu Köln.
[3] Vertretungsprofessor für Bank- und Finanzmarktrecht an der Universität Liechtenstein, Vaduz.
[4] Professor für Law & Finance an der Universität Hamburg, Direktor des Instituts für Recht & Ökonomik der Universität Hamburg und dauerhafter Gastprofessor an der Universität Oxford.
[5] Global Lead AI Assurance & Data Governance bei der Zurich Insurance Company Ltd.
[6] Professorin für Bürgerliches Recht, Wirtschaftsrecht und Bankrecht, House of Finance, Goethe-Universität Frankfurt/M., affiliierte Professur École de Droit, SciencesPo, Paris, ständige Gastprofessorin der Fordham Law School, NYC, SAFE Fellow am Leibniz Institute for Financial Research SAFE, Sprecherin ZEVEDI-Gruppe KI und Finance.

[online seit: 11.10.2022]
Zitiervorschlag: Autor, Titel, JurPC Web-Dok, Abs.
Zitiervorschlag: Bücken, Leander, Bericht zur Marburger Tagung – "Qualität künstlicher Intelligenz: Bewertung, Sicherung, Anwendungsbeispiele" am 07.07.2022 - JurPC-Web-Dok. 0144/2022