Federated Learning – effizientes Machine Learning unter Einhaltung der Privatsphäre?
Im Jahr 2021 wurden in Europa Strafen in Höhe von 1.3 Milliarden Euro gegen Unternehmen verhängt, die gegen den Datenschutz und die geltende Datenschutz-Grundverordnung (GDPR) verstossen haben [1]. Waren es im Jahr 2020 noch 172 Millionen Euro, so hat sich dieser Betrag innerhalb eines Jahres versiebenfacht. Auch in der Schweiz müssen Unternehmen mit hohen Strafen rechnen [2]. Interessanterweise wurden in Europa die höchsten Einzelstrafen gegen Big Techs wie Amazon und Unternehmen des Meta-Konzerns verhängt.
Doch auf den zweiten Blick ist diese Erkenntnis wenig überraschend, so verwenden Big Techs riesige Datenmengen und werten diese mit Machine Learning und weiteren Methoden der künstlichen Intelligenz aus [3]. Für die genannten Unternehmen sind Daten eine der wichtigsten Ressourcen und entscheiden über die Dominanz am Markt. Neben der Auswertung stellt die Monetarisierung von Daten einen wichtigen Pfeiler der Geschäftsmodelle der Big Techs dar. Zudem werden Daten für die Entwicklung neuer Services und die Verbesserung des Marketings verwendet [4].
Während der Kunde der Vergangenheit die Nutzung und Verwendung der eigenen Daten toleriert hat, musste der Meta-Konzern Anfang 2021 feststellen, dass sich diese Einstellung gewandelt hat: Im Januar 2021 haben viele Nutzer den Messenger-Dienst WhatsApp aufgrund einer Veränderung in der Datenschutzerklärung verlassen und sind zu alternativen Anbietern wie Signal gewechselt [5]. Die Kunden der Zukunft bewerten bestehende Geschäftsmodelle kritisch, der Datenschutz nimmt für sie einen immer höheren Stellenwert ein [6]. Diese Bewegung macht vor den Big Techs nicht Halt und wird zu einer Veränderung im Umgang mit dem Thema «Datenschutz» führen. In der EU wird dieser Trend zusätzlich durch den Regulator und die Datenschutz-Grundverordnung der Europäischen Union (GDPR) beschleunigt. Bürgerinnen und Bürger sollen wieder die Kontrolle über die eigenen Daten erhalten und über deren Verwendung entscheiden können [7].
Neben Big Techs sind auch die Banken von diesen Veränderungen betroffen. Vor allem in der Finanzindustrie erwarten Kunden hohe Standards bezüglich des Datenschutzes und der Integrität der eigenen Daten. Auch aus regulatorischer Sicht haben Verstösse gegen die Richtlinien hohe finanzielle Folgen [8]. Dennoch ist es für Banken aus Sicht der Wertschöpfung essenziell, Kundendaten mithilfe von statistischen Methoden und Algorithmen auszuwerten. Die Banken befinden sich somit im Konflikt zwischen der Wahrung des Datenschutzes und der Durchsetzung des eigenen Geschäftsmodells.
Um dieses Problem anzugehen, hat sich in den letzten Jahren das Konzept des «Federated Learning» am Markt etabliert [9]. Dieses Konzept lässt sich dem Bereich der künstlichen Intelligenz und dem Machine Learning zuordnen. In unserem Beitrag zum Thema «Data-centric AI – Eine Veränderung des KI Mindsets?» haben wir bereits Grundlagen zum Thema Machine Learning erläutert und das Buzzword im Gebiet der künstlichen Intelligenz verordnet. Der Beitrag ermöglicht das Verständnis von wichtigen Grundlagen und Konzepten der künstlichen Intelligenz sowie des maschinellen Lernens.
Der heutige Blogbeitrag untersucht den Ansatz des Federated Learning und stellt dar, wie Dezentralität und lokale Datenspeicherung Big Techs und Banken bei der Wahrung des Datenschutzes und der Privatsphäre unterstützen können.
Was ist Federated Learning genau?
Grundsätzlich ist Federated Learning, auch bekannt als «Collaborative Learning» oder «Decentralized Learning», eine Technik des maschinellen Lernens [9]. Bei dieser arbeiten mehrere Geräte dezentral zusammen und lösen gemeinsam ein Business-Problem. Dieses Prinzip kann als eine Art der «Sharing Economy[i]» im Datenumfeld betrachtet werden. Entdeckt wurde das Federated Learning an der Schnittstelle von On-device AI, Blockchain, Edge Computing und dem IoT [11]. Das sind auf den ersten Blick sehr viele unterschiedliche Begriffe, der folgende Abschnitt ordnet einige dieser Begriffe ein und zeigt unterschiedliche Ausprägungen des Machine Learning auf.
Beginnen wir mit der Frage, was Machine Learning ist und was es so besonders macht. Machine Learning ermöglicht die selbstständige Gewinnung von Informationen aus Daten mithilfe von Algorithmen und statistischen Modellen [12]. Informationen zu Mustern in Daten werden in einem Modell gespeichert und im Laufe der Zeit immer weiter verbessert. Dieser Prozess wird als Modelltraining bezeichnet [13] (für weitere Informationen und Einordnung in das Themengebiet der künstlichen Intelligenz siehe Blogbeitrag: «Data-centric AI – Eine Veränderung des KI Mindset?»).
Aus technischer Sichtweise existieren unterschiedliche Ansätze für das Trainieren eines Machine-Learning-Modells. In diesem Kontext wird zwischen drei grundsätzlichen Konzepten unterschieden (siehe Abbildung 1). Während beim klassischen (zentralen) Machine Learning (1) die Modelle und Daten auf zentralen Servern trainiert und gespeichert werden, wird dieser Ansatz beim verteilten (Distributed Machine Learning (2)) und beim Federated Learning (3) verändert [14].
Das verteilte Machine Learning erfreut sich vor allem im Big-Data-Umfeld grosser Beliebtheit. Während Daten zentral gespeichert werden, erlaubt das verteilte Machine Learning die Verwendung von mehreren Ressourcen (Bsp.: mehrere Server) für das Modelltraining [15]. Somit kann entsprechend mehr Rechenpower bereitgestellt werden, was die Performanz des Trainings und der Modelle steigert. Besonders im Kontext von Big Data – unter anderem charakterisiert durch eine grosse Menge an Daten [16] – eignet sich das verteilte Machine Learning zum Verarbeiten von Daten [17]. Die grösseren Datenmengen bieten neue Möglichkeiten für das Modelltraining, Modelle können mit vielseitigen Datensätzen und Parametern angelernt werden. Dies steigert die Qualität der Modelle und erlaubt Unternehmen das Anbieten von verbesserten Services und Produkten für deren Kunden [18].
Das Federated Learning unterscheidet sich im Vergleich zu den beiden anderen Ansätzen darin, dass die verwendeten Daten stets dezentral gespeichert und die Modelle dezentral trainiert werden. Lediglich die anonymisierten, trainierten ML-Modelle werden auf zentralen Servern verarbeitet und aggregiert [19]. Abbildung 2 stellt diesen Prozess kurz dar.
Zunächst wird ein Machine-Learning-Modell von einem zentralen Server an eine dezentrale Recheneinheit (Bsp.: Mobiltelefon) gesendet. Die dezentrale Recheneinheit trainiert das Modell nun mit den eigenen lokalen Daten an. Anschliessend wird das verbesserte Modell zurück an den Server gesendet. Während der gesamten Übertragung ist die Verschlüsselung der Daten von grosser Bedeutung – Unternehmen wie Nvidia bieten hierfür bereits unterschiedliche Ansätze der Verschlüsselung an [20]. Die tatsächlichen Daten, die dem Modell zugrunde liegen, verlassen jedoch nie die dezentrale Recheneinheit. Nutzerinnen und Nutzer behalten demnach also immer die Hoheit über ihre Daten. Mehrere Recheneinheiten (Bsp.: mehrere Mobiltelefone) können parallel an einer Modellverbesserung arbeiten. Alle Verbesserungen werden anschliessend zentral konsolidiert (Abbildung 2 – Modellaggregation) und ermöglichen die Nutzung von einem zentral optimierten Modell [19]. Das neue zentrale Modell wird nun wieder an die einzelnen dezentralen Recheneinheiten gesendet. Dieser Vorgang wird iterativ wiederholt, bis das Modelltraining abgeschlossen ist [21].
Vorteile und Herausforderungen
Da die verwendeten Daten nie die dezentrale Recheneinheit verlassen, garantiert dieser Ansatz des Machine Learning hohe Datenschutzstandards. Der Ursprung der Daten bleibt stets geheim und es können keine Rückschlüsse auf personenbezogene Daten gezogen werden [21]. Zudem wird das Risiko des Datenverlusts durch die Verwendung unterschiedlicher Datenquellen minimiert und das Risiko eines Single-Point-of-Failure sinkt [22]. Veränderungen der Datensätze können in Echtzeit direkt auf den Geräten analysiert und in das zentrale Machine-Learning-Modell eingearbeitet werden, ohne dass Daten zuerst zentral gespeichert werden müssen [23]. Ein weiterer Vorteil liegt in der effizienten Nutzung von Hardware-Ressourcen. So werden keine komplexen und performanten zentralen Server benötigt. Diese müssen nur in der Lage sein, die unterschiedlichen ML-Modelle zu konsolidieren [24].
Dennoch ist das Federated Learning mit einer Vielzahl von Herausforderungen verbunden. Aus technischer Sichtweise spielt vor allem die Verfügbarkeit der dezentralen Recheneinheiten eine wichtige Rolle. Dies beinhaltet hohe Anforderungen an die Bandbreite und die Performanz der Geräte. ML-Modelle müssen stets verschlüsselt von den bzw. an die zentralen Server gesendet werden. Da jedes Gerät über einen individuellen Datensatz verfügt, kann es zu Problemen hinsichtlich der Allgemeingültigkeit und Anwendbarkeit der ML-Modelle kommen. Algorithmen sind teilweise für Datensätze mit bestimmten Eigenschaften optimiert, z. B. für Textdaten, Bilder oder bestimmte Dateiformate. Da die Datensätze beim Federated Learning heterogen sind, kann dies zu einer grossen Herausforderung werden [24]. Wissenschaftler arbeiten derzeit an einer Lösung des Federated Learning, in der nicht nur die Datenspeicherung und das Modelltraining dezentral durchgeführt werden, sondern auch die Konsolidierung der ML-Modelle. Hierfür existieren unterschiedliche Ansätze, in denen die trainierten Modelle auf der Blockchain konsolidiert und gespeichert werden. Somit würde der zentrale Server bei der Modellaggregation endgültig wegfallen [25, 26].
Use Cases
Die folgenden beiden Use Cases zeigen die Relevanz des Federated Learning in der Praxis auf.
Der erste Use Case stammt aus der Automobilindustrie. In diesem Fall stellen Autos eine dezentrale Recheneinheit dar. Aufgrund der modernen Soft- und Hardware in einem Auto kann dieses für die Bereitstellung, Speicherung und Verarbeitung von Daten verwendet werden [22]. Sensoren ermöglichen die Erfassung von Daten in Echtzeit. Des Weiteren ermöglichen komplexe Grafikkarten und Computersysteme die Auswertung der Daten und deren Nutzung mithilfe von Machine-Learning-Methoden. Vor allem bei der Entwicklung und Verbesserung von selbstfahrenden Autos kommt das Prinzip des Federated Learning zum Tragen. Die Autos sind in der Lage, selbständig Machine-Learning-Modelle zum Verkehr, Fussgängern oder Unfällen zu erstellen und so zum Beispiel den notwendigen Mindestabstand bei bestimmten Geschwindigkeiten einzuhalten oder beim Abbiegen zu warten, bis alle Fussgänger die Strasse überquert haben. Neben der Erfassung von Daten ist das Auto somit in der Lage, selbstständige Entscheidungen zu treffen [27]. Federated Machine Learning hat nicht nur den Vorteil der datenschutzkonformen Nutzung von Informationen, sondern auch den Vorteil der Datenverarbeitung in Echtzeit: In einer kritischen Verkehrssituation können Daten direkt durch das Auto verarbeitet werden und es entstehen keine Latenzen durch die Übertragung an und Verarbeitung auf zentralen Servern. Das kann im Extremfall Leben retten, z. B. wenn ein Fussgänger in Gedanken vor ein Auto läuft. Abschliessend werden die trainierten Modelle der einzelnen Autos beim Hersteller konsolidiert und für die Verbesserung und Entwicklung der Autos verwendet. Da die trainierten Modelle und nicht die Daten versendet werden, bleibt das Prinzip des Datenschutzes beibehalten [28, 29].
Der zweite Use Case hat seinen Ursprung in der Finanzindustrie. Seit Jahren existiert der Trend zu Business Ecosystems, so auch in der Finanzindustrie [30]. In einem Ecosystem steht der Austausch von Daten im Mittelpunkt. Eine Initiative, die den gemeinsamen Datenaustausch aktiv antreibt, ist das OpenBankingProject.ch. Grundlegende Prinzipien des Open Banking sind die Nutzung von standardisierten Schnittstellen (APIs) für das Teilen von Daten sowie deren gemeinsame Verwendung [31]. Das Teilen von Daten führt zu neuen Services und birgt mehrere Vorteile für die Teilnehmer eines solchen Ecosystems. So können zum Beispiel Fraud-Detection-Prozesse, Kreditvergaben oder personalisierte Services auf Grundlage der konsolidierten Daten angeboten werden. Doch genau hier liegt eine der grössten Herausforderungen des Open Banking: Es ist enorm wichtig, dass Kundendaten (personenbezogene Daten) vertrauenswürdig behandelt und ausgewertet werden. Es ist daher nicht möglich, diese Daten einfach zwischen Banken zu versenden und auszuwerten. Die Verwendung von Federated Learning erlaubt die Anwendung von Machine-Learning-Methoden auf Kundendaten unter Wahrung der Privatsphäre. Die Bank nimmt dabei die Rolle einer dezentralen Recheneinheit ein und wertet die eigenen lokalen Daten aus. Nur die generierten ML-Modelle verlassen anschliessend die Bank nach dem Modelltraining und werden auf einem zentralen Marktplatz den Teilnehmern am Open Banking zur Verfügung gestellt. Somit erhalten die Teilnehmer am Open Banking Ecosystem gemeinsame Erkenntnisse aus den Daten und können diese in die eigene Wertschöpfung einfliessen lassen.
Implikationen und Fazit
Im Zuge der «Data Economy» steigt die Relevanz von Daten und deren Analyse immer weiter [32]. Vor allem in der Finanzindustrie bilden die Integrität der Kundendaten sowie die Wahrung der Privatsphäre wichtige Grundpfeiler des Geschäftsmodells der Bank. Auch die Kollaboration und der gemeinsame Datenaustausch nehmen immer weiter zu (siehe OpenBankingProject.ch). Daher müssen Banken sich mit alternativen Technologien auseinandersetzen, welche die Datenauswertung unter Wahrung der Privatsphäre ermöglichen.
Das Federated Learning stellt hierbei eine aussichtsreiche Methode für das Training von Machine-Learning-Modellen dar. Die Dezentralität der Rechenkapazitäten sowie die lokale Datenspeicherung beim Nutzer machen den Ansatz besonders attraktiv. Kunden geniessen hohe Datenschutzstandards, während Unternehmen dennoch in der Lage sind, aus dynamischen Daten Erkenntnisse mithilfe von ML-Modellen zu generieren. In der Praxis existieren viele Herausforderungen (Bandbreite, individualisierte Datensätze, keine komplett dezentrale Lösung), die Firmen bei der Implementierung des Federated Learning beachten müssen. Vor allem aber bei der Kollaboration mit anderen Unternehmen wird dieser Ansatz in den nächsten Jahren eine wichtige Rolle spielen.
Um moderne Technologien wie das Federated Learning oder die Blockchain zu implementieren und einzusetzen, sind weitere Veränderungen in verschiedenen Unternehmensbereichen notwendig. So müssen Mitarbeiterinnen und Mitarbeiter Wissen zu verteilten Technologien aufbauen und die Prozesse im Unternehmen an die neuen technologischen Möglichkeiten angepasst werden [33]. Dies benötigt eine Unternehmenskultur, die Veränderungen gegenüber offen ist und auch von der Strategie und dem Management des Unternehmens unterstützt wird. Unternehmen können den Business Engineering Ansatz verwenden, um die Veränderungen moderner Technologien auf den Ebenen Strategie, Organisation und Informationssystemen zu systematisieren.
[i] In einer «Sharing Economy» werden Vermögenswerte oder Dienstleistungen zwischen Privatpersonen kostenlos oder gegen eine Gebühr, in der Regel über das Internet, geteilt [10].
Literatur
[1] Brandt, M., “Infografik: DSGVO-Bußgelder knacken 2021 die Milliardengrenze”, Statista Infografiken, 2022. https://de.statista.com/infografik/26629/strafen-auf-grund-von-verstoessen-gegen-die-datenschutz-grundverordnung/
[2] Good, P.-L., “Sanktionen & Schadenersatz: Datenschutzgesetz für Unternehmen”, Good Rechtsanwälte, 2021. https://good-zuerich.ch/sanktionen-schadenersatz-revidierten-datenschutzgesetz/
[3] Rosenbush, S., “Big Tech Is Spending Billions on AI Research. Investors Should Keep an Eye Out”, Wall Street Journal, 2022. https://www.wsj.com/articles/big-tech-is-spending-billions-on-ai-research-investors-should-keep-an-eye-out-11646740800
[4] Grothues, L., “Der Rohstoff des 21. Jahrhunderts – Worin liegt der Wert unserer Daten?”, Dr. Datenschutz, 2019. https://www.dr-datenschutz.de/der-rohstoff-des-21-jahrhunderts-worin-liegt-der-wert-unserer-daten/
[5] Hern, A., “WhatsApp loses millions of users after terms update”, The Guardian, 2021. https://www.theguardian.com/technology/2021/jan/24/whatsapp-loses-millions-of-users-after-terms-update
[6] Tamo-Larrieux, A., Z. Zihlmann, K. Garcia, and S. Mayer, “The Right to Customization: Conceptualizing the Right to Repair for Informational Privacy”, In 2021.
[7] “Was ist die GDPR?”, SailPoint. https://www.sailpoint.com/de/identity-library/was-ist-die-gdpr/
[8] Finanzmagazin, I.T., “Praxistipps: Die Auswirkungen der EU Datenschutz-Grundverordnung (DS-GVO) auf Finanzdienstleister”, IT Finanzmagazin, 2017. https://www.it-finanzmagazin.de/praxistipps-die-auswirkungen-der-eu-datenschutz-grundverordnung-auf-finanzdienstleister-49907/
[9] Bonawitz, K., P. Kairouz, B. McMahan, and D. Ramage, “Federated Learning and Privacy: Building privacy-preserving systems for machine learning and data science on decentralized data”, Queue 19(5), 2021, pp. Pages 40:87-Pages 40:114.
[10] “Oxford Learner`s Dictionaries – sharing economy”, Oxford Learner`s Dictionaries. https://www.oxfordlearnersdictionaries.com/definition/english/sharing-economy
[11] Bag, S., “Federated Learning for Beginners | What is Federated Learning”, Analytics Vidhya, 2021. https://www.analyticsvidhya.com/blog/2021/05/federated-learning-a-beginners-guide/
[12] Wolfewicz, A., “Deep learning vs. machine learning – What’s the difference?”, Levity, 2021. https://levity.ai/blog/difference-machine-learning-deep-learning
[13] Brownlee, J., “Difference Between Algorithm and Model in Machine Learning”, Machine Learning Mastery, 2020. https://machinelearningmastery.com/difference-between-algorithm-and-model-in-machine-learning/
[14] McMahan, B., and D. Ramage, “Federated Learning: Collaborative Machine Learning without Centralized Training Data”, Google AI Blog. http://ai.googleblog.com/2017/04/federated-learning-collaborative.html
[15] Srinivasan, A., “Difference between distributed learning versus federated learning algorithms”, KDnuggets. https://www.kdnuggets.com/difference-between-distributed-learning-versus-federated-learning-algorithms.html/
[16] Khan, M.A., M.F. Uddin, and N. Gupta, “Seven V’s of Big Data understanding Big Data to extract value”, Proceedings of the 2014 Zone 1 Conference of the American Society for Engineering Education, (2014), 1–5.
[17] Verbraeken, J., M. Wolting, J. Katzy, J. Kloppenburg, T. Verbelen, and J.S. Rellermeyer, “A Survey on Distributed Machine Learning”, ACM Computing Surveys 53(2), 2020, pp. 30:1-30:33.
[18] Mani, C., “Council Post: How Is Big Data Analytics Using Machine Learning?”, Forbes, 2020. https://www.forbes.com/sites/forbestechcouncil/2020/10/20/how-is-big-data-analytics-using-machine-learning/
[19] Chandorikar, K., “Introduction to Federated Learning and Privacy Preservation”, Medium, 2020. https://towardsdatascience.com/introduction-to-federated-learning-and-privacy-preservation-75644686b559
[20] Roth, H., M. Zephyr, and A. Harouni, “Federated Learning with Homomorphic Encryption”, NVIDIA Technical Blog, 2021. https://developer.nvidia.com/blog/federated-learning-with-homomorphic-encryption/
[21] Bracht, O., Whitepaper – Federated Learnin, Mit Federated Learning zu erfolgreichen KI- und Data-Science-Projekten,
[22] Kozlowski, A., and M. Wisniewski, “Federated Learning in the Automotive Industry”, Grape Up, 2021. https://grapeup.com/blog/machine-learning-at-the-edge-federated-learning-in-the-automotive-industry/
[23] Zhang, H., J. Bosch, and H.H. Olsson, “Real-time End-to-End Federated Learning: An Automotive Case Study”, arXiv:2103.11879 [cs], 2021.
[24] Dilmegani, C., “What is Federated Learning (FL)? Techniques & Benefits in 2022”, 2021. https://research.aimultiple.com/federated-learning/
[25] Li, D., D. Han, T.-H. Weng, et al., “Blockchain for federated learning toward secure distributed machine learning systems: a systemic survey”, Soft Computing, 2021.
[26] Kim, H., J. Park, M. Bennis, and S.-L. Kim, “Blockchained On-Device Federated Learning”, arXiv:1808.03949 [cs, math], 2019.
[27] Ravindra, S., “The Machine Learning Algorithms Used in Self-Driving Cars”, KDnuggets, 2017. https://www.kdnuggets.com/the-machine-learning-algorithms-used-in-self-driving-cars.html/
[28] Shenwai, T., “Introduction To Federated Learning: Enabling The Scaling Of Machine Learning Across Decentralized Data Whilst Preserving Data Privacy”, MarkTechPost, 2022. https://www.marktechpost.com/2022/01/25/introduction-to-federated-learning-enabling-the-scaling-of-machine-learning-across-decentralized-data-whilst-preserving-data-privacy/
[29] Du, Z., C. Wu, T. Yoshinaga, K.-L.A. Yau, Y. Ji, and J. Li, “Federated Learning for Vehicular Internet of Things: Recent Advances and Open Issues”, IEEE Open Journal of the Computer Society 1, 2020, pp. 45–61.
[30] Riasanow, T., R. Floetgen, D. Soto Setzke, M. Böhm, and H. Krcmar, The Generic Ecosystem and Innovation Patterns of the Digital Transformation in the Financial Industry, 2018.
[31] Long, G., Y. Tan, J. Jiang, and C. Zhang, “Federated Learning for Open Banking”, springerprofessional.de, 2020. https://www.springerprofessional.de/federated-learning-for-open-banking/18626416
[32] www.aberratio.de, aberratio G., Hamburg, “Data Economy: Bundesverband Digitale Wirtschaft (BVDW) e.V.”, https://www.bvdw.org/themen/data-economy/
[33] Heines, R., N. Kannengießer, B. Sturm, R. Jung, and A. Sunyaev, “Need for Change: Business Functions Affected by the Use of Decentralized Information Systems”, ICIS 2021 Proceedings, 2021.