Loading…
Haftung beim Einsatz von KI in der Medizin
Betrachtung einer analogen Anwendung des § 833 BGB
Merico, Virginia
Der Einsatz von KI-Systemen, die auf Deep Learning basieren und während der Anwendung weiterlernen, ermöglicht die Gewinnung wichtiger medizinischer Erkenntnisse und die Steigerung der Behandlungsqualität. Gleichzeitig bergen diese jedoch eine Reihe von rechtlichen Herausforderungen in sich. Zum einen ist es aufgrund der Komplexität der Struktur nicht nachvollziehbar, wie sie zu ihren Ergebnissen kommen. Weiterhin kann sich durch das selbstlernende Element das Modell verändern, wenn die KI mit Realdaten aus der medizinischen Praxis neue Muster erlernt. Dadurch kann es zu Fehlern oder Verzerrungen kommen, die zum Zeitpunkt des Inverkehrbringens nicht bestanden oder für den Hersteller nach dem Stand der Wissenschaft und Technik nicht feststellbar waren. Dies macht eine Zurechnung oft nicht möglich. Im Ergebnis haftet oft weder der Hersteller noch der Behandelnde. In dem geltenden Rechtssystem besteht somit eine Haftungslücke, die geschlossen werden soll.
Eine analoge Anwendung des § 833 BGB kann die Lücke schließen, indem sie die Haftung des Halters weiterlernender KI-Systeme verschuldensunabhängig gemäß S. 1 regelt. Eine weiterlernende medizinische KI ist demnach hinsichtlich des Normzwecks und der Interessenslage einem Tier gleich zu stellen. Somit haftet der Behandelnde für Personen- oder Sachschäden durch eine weiterlernende KI.
Vergleichbar dazu ist die Empfehlung des Europäischen Parlaments, die Betreiber von KI-Systemen mit hohem Risiko einer verschuldensunabhängigen Haftung unterwirft. Dabei können Hersteller und Behandelnde als Betreiber einer weiterlernenden KI gelten. Die anschließende Diskussion zeigte, dass die Einordnung des Risikos von KI-Systemen eine weitere Spezifizierung erfordert.
The application of continuously learning (i.e. unfrozen) deep learning algorithms in medicine unlocks significant potential for new medical insights and increases quality of care. However, a number of legal challenges arise. First, the black-box character of deep learning algorithms allows for little transparency on the rationales behind their results. Second, the ability to contintuously learn from real data during medical practice may produce major changes in the algorithm. This, in turn, can lead to errors or distortions that did not exist at market authorization, or that could not have been foreseen by the manufacturer based on the current state of the art technology. The technical inability to trace back the occurrence of potential errors finally gives both manufacturers and healthcare providers the possibility of exculpation, leaving a gap of liability in current German civil law. This work attempts to close the gap by using an analogy with the strict liability of animal owners (§ 833 of the German Civil Code (BGB)), thus conferring the same footing to unfrozen medical AI applications and animals with regard to the normative purpose and interests involved. As a result, the health care professional is held liable for personal injuries or property damage caused by unfrozen AI applications in his medical practice. The recommendation of the European Parliament for high-risk AI systems liability is subsequently compared and discussed, highlighting the need for further specification of AI risk classification. Ultimately, by drawing analoguos aspects of frozen medical AI and animals in a concrete scenario, this work can help to advance research as in improving the common understanding and evaluation of requirements for future AI policy implications.
