Using and Protecting Data
Article within the current edition of the KIT magazine lookKIT on information at the Karlsruhe Institute of Technology, Edition 2/2020. The text was written in German, an excerpt is available in English at the end of the text.
In der Medizin verspricht Künstliche Intelligenz (KI) vielfältigen Nutzen: Der Einsatz Lernender Systeme bietet Chancen für frühzeitige Diagnosen, schnelle Auswertung großer Mengen von Bildund Labordaten sowie individuelle Therapien. Zugleich stellt er hohe Anforderungen an die IT-Sicherheit. Das Whitepaper „Sichere KI-Systeme für die Medizin“ zeigt Probleme und mögliche Lösungen auf. lookKIT sprach darüber mit Professor Jörn Müller-Quade, Sprecher des Kompetenzzentrums für angewandte Sicherheitstechnologie KASTEL am KIT und einer der Autoren der Veröffentlichungen auf der Plattform Lernende Systeme, die 2017 vom Bundesministerium für Bildung und Forschung initiiert wurde.
lookKIT: Ärztinnen und Ärzte können mit Hilfe KI-basierter Assistenzsysteme auf eine breite Datenbasis zugreifen. Welche Herausforderungen bedeutet dies für die IT-Sicherheit?
Professor Jörn Müller-Quade: Die Herausforderung liegt immer darin, dass man Daten sowohl nutzen, als auch schützen will. KI-Systeme brauchen große Datenmengen, damit sie aus ihnen lernen können. Um beispielsweise seltene Nebenwirkungen zu erkennen, müssen ausreichend Daten vorliegen und ausgewertet werden. Eine vergleichbare aktuelle Herausforderung ist die Tracing-App für das Smartphone, die helfen soll, anhand von Handydaten Infektionsketten zu verfolgen und Kontaktpersonen von COVID-19-Infizierten zu warnen. Die Nutzerinnen und Nutzer geben ihre Daten freiwillig, weil sie es für sinnvoll halten, zugleich wollen sie, dass ihre Privatsphäre geschützt wird.
lookKIT: Zum Kreis der Akteurinnen und Akteure im Gesundheitswesen zählen Medizinerinnen und Mediziner, Therapeutinnen und Therapeuten, Pflegekräfte und Angestellte in Laboren, Krankenversicherungen und Apotheken. Wie können sensible Patientendaten vor unberechtigtem Zugriff geschützt werden?
Professor Jörn Müller-Quade: Die Vielfalt der Akteurinnen und Akteure macht das Problem schwierig, weil viele potenziell Zugriff haben. Technische Lösungen sind die Ende-zu-Ende-Verschlüsselung der Datenübertragung, die Zugriffskontrolle, durch die immer nur derjenige die Daten sieht, der dazu gerade berechtigt ist, und das kryptografische Verfahren der sicheren Mehrparteienberechnung, durch die kein Geheimnis preisgegeben wird. Wenn aber die Endgeräte, zum Beispiel der PC der Apotheke, der Krankenversicherung oder der Medizinerin und des Mediziners, nicht sicher sind, werden wir Probleme haben, die zu Datenskandalen führen könnten. Wir brauchen insgesamt eine bessere Sicherheit der Alltags-IT, denn es darf nicht sein, dass wir die Kontrolle über unsere Daten verlieren. Wichtig wäre eine Produkthaftung, damit Hersteller sich in der Verantwortung sehen und sicherere Produkte entwickeln.
lookKIT: Die Einführung einer elektronischen Patientenakte (ePA) ist eine wesentliche Voraussetzung für den Einsatz von KI in der Medizin. Welche IT-Sicherheitsrisiken birgt sie und welche Gegenmaßnahmen gibt es?
Professor Jörn Müller-Quade: Bei der ePA wird stark auf Sicherheit geachtet, das bedeutet jedoch nicht, dass nichts passieren kann. Viele Patientinnen und Patienten werden in der Abwägung den Nutzen für die Gesundheit als das Wichtigere ansehen. Wenn wir intelligente IT in der Medizin nutzen wollen, werden Datenskandale voraussichtlich nicht ausbleiben. Ihre Auswirkungen ließen sich aber einschränken, wenn so erlangte Kenntnisse der Gesundheitsdaten nicht zum Nachteil der Patientinnen und Patienten genutzt werden dürften. Ausschlaggebend ist es, Diskriminierung zu verhindern, die entsteht, wenn jemand zum Beispiel aufgrund seiner bekannt gewordenen Befunde oder Vorerkrankungen einen höheren Beitrag für die Krankenkasse zahlen muss oder eine Arbeitsstelle nicht bekommt. Voraussetzung, um Anforderungen an Fairness und Diskriminierungsfreiheit von KI-Entscheidungen sicherzustellen, wäre, künftig auf technischer Ebene nachweisen zu können, dass ein Algorithmus diskriminierungsfrei entscheidet.
lookKIT: Patientinnen und Patienten sind in der Regel IT-Laien. Lässt sich gewährleisten, dass sie die Selbstbestimmung über ihre Gesundheitsdaten behalten?
Professor Jörn Müller-Quade: Wer in der Lage ist, in einer einfachen App Daten zu blockieren oder zu löschen, braucht keine Fachkenntnis. Mir macht etwas anderes Sorgen: Laien können Fehler machen, die zum Einfallstor für Angreifende werden. Wenn künftig alle Daten meiner Patientenakte von meinem heimischen PC aus zugänglich sind, und jemand knackt dieses Gerät, liegt auch meine ganze Krankengeschichte offen. Wenn die ePA eingeführt wird, sollen die Patientinnen und Patienten die volle Kontrolle über ihre Gesundheitsdaten haben. Aber wenn sie bestimmte Grundregeln der IT-Sicherheit nicht einhalten, sind diese Daten nicht sicher. Es ist umso wichtiger, darauf zu achten, immer das neueste Betriebssystem zu nutzen und sichere Passwörter zu verwenden.
lookKIT: Welchen Schutz ihrer Daten sollten Patientinnen und Patienten erwarten?
Professor Jörn Müller-Quade: Ein sicherer und zuverlässiger Umgang mit den Gesundheitsdaten sollte Grundvoraussetzung für die Akzeptanz von KI in der Medizin sein. Ich glaube aber, dass für viele Menschen vor allem der Aspekt im Vordergrund stehen wird, was hilft und was heilt. Deshalb ist eine Zertifizierung der KI-Systeme und -Datenbanken sowie der ePA durch unabhängige Prüfstellen wichtig.
lookKIT: Inwieweit stellen uns kontinuierlich weiterlernende KI-Systeme vor besondere Herausforderungen?
Professor Jörn Müller-Quade: Wenn ein KI-System fortwährend weiterlernt, lässt es sich nicht zertifizieren. Das KI-System verändert sich ständig, insbesondere entstehen so viele verschiedene Versionen, die nicht mehr dem Zulassungsmoment entsprechen. Die konkreten Entscheidungen, die solch ein KI-System trifft, sollten also durch die behandelnden Menschen daraufhin überprüft werden, ob sie nachvollziehbar sind. Eine KI, die erklärbar ist, würde hier enorm helfen. Ärztinnen und Ärzte dürfen das vorgeschlagene Ergebnis nicht unreflektiert übernehmen.
lookKIT: An wen richtet sich die Veröffentlichung „Sichere KI-Systeme für die Medizin“?
Professor Jörn Müller-Quade: Das Papier kommt von der Plattform Lernende Systeme, die 2017 vom Bundesministerium für Bildung und Forschung initiiert wurde, um in verschiedenen Arbeitsgruppen deutlich zu machen, wie KI die Zukunft verändert und im Sinne von Mensch und Gesellschaft gestaltet werden kann. Die von der Informationsethikerin Jessica Heesen und mir geleitete Arbeitsgruppe IT-Sicherheit, Privacy, Recht und Ethik hat die Veröffentlichung verfasst. Unterstützt wurden wir von der Arbeitsgruppe Gesundheit, Medizintechnik, Pflege. Die Analyse richtet sich in erster Linie an Entscheidungstragende, vor allem in der Politik. Sie bietet aber auch anderen Interessierten, zum Beispiel in der Medizin, Einblick in die Überlegungen, die wir interdisziplinär anhand des Anwendungsszenarios „Mit KI gegen Krebs“ zusammengetragen haben. Das fiktive Beispiel veranschaulicht den Behandlungsablauf eines Lungenkrebspatienten im Jahr 2024 und zeigt verbesserte Diagnose- und Behandlungsmöglichkeiten durch den Einsatz von KI-Systemen.
lookKIT: Welche Bedeutung hat die interdisziplinäre Betrachtung?
Professor Jörn Müller-Quade: Das Thema KI hat Berührungspunkte mit zahlreichen anderen Fachgebieten. Insbesondere gibt es eine Wechselwirkung zwischen Sicherheit und Recht, und als Kryptograf sehe ich es als großen Vorteil, dass sich bei uns am KIT an der Informatikfakultät auch Juristinnen und Juristen mit Fragestellungen an den Schnittstellen von Recht und Informationstechnik befassen.
Kontakt: joern mueller-quade ∂does-not-exist.kit edu
Das Gespräch führte Anja Frisch
Excerpt in English
Talking about Security Risks of Artificial Intelligence in the Medical Sector
Translation: Maike Schröder
Artificial intelligence (AI) promises various benefits for the medical sector: Learning systems that enable early diagnosis, rapid evaluation of large volumes of image and laboratory data, and personalized therapies. At the same time, it requires a high degree of IT security. The white paper “Sichere KI-Systeme für die Medizin“ (Secure AI Systems for the Medical Sector) presents both the problems and their potential solutions. This was the subject of lookKIT’s conversation with Professor Jörn Müller-Quade, spokesperson of KIT’s Competence Center for Applied Security Technology KASTEL. He also is one of the authors of the publication by the Learning Systems Platform, which was initiated by the Federal Ministry of Education and Research in 2017.
In the interview, Jörn Müller-Quade pointed out that in regards to AI in the medical sector, particular attention has to be paid to the security of conventional IT, as otherwise control of the data might be lost: “Technical solutions are end-to-end encryption of data transmission, access control – by means of which data are visible to an authorized person only – and the cryptographic method of secure multiparty computation that discloses no secrets. However, if end devices – the PC of the pharmacy, health insurance company, or physician – are not secure, we will have problems that might eventually lead to data scandals,“ Müller-Quade said. And the Professor of Cryptography and Security is concerned about another problem: “Non-experts can make mistakes that may become the entrance gate for attackers. When all data in my patient record will be accessible from my PC at home in future and somebody hacks this device, my whole medical history will be open to this person. For this reason, it will be even more important to use the latest operating systems and secure passwords.“
Moreover, Müller-Quade argued that secure and reliable use of health data should be the basic prerequisite for acceptance of AI in the medical sector. As many persons are primarily interested in potential treatment methods, AI systems and databases as well as the electronic patient record should be certified by independent inspection offices.