The Dark Side of AI is Powerful

Article within the current edition of the KIT magazine lookKIT on information at the Karlsruhe Institute of Technology, Edition 4/2018. The text was written in German, an excerpt is available in English at the end of the text.

Was kurze, im Internet verbreitete Spaß-Videos, in denen der Schauspieler Nicolas Cage in bekannten Filmszenen an die Stelle der angestammten Darsteller tritt und so statt Harrison Ford als Indiana Jones die Peitsche Knallen lässt oder anstelle von Amy Adams als Lois Lane Superman schöne Augen macht, und das Hacken von Computersystemen miteinander zu tun haben? Sehr viel! Und das bereitet IT-Sicherheitsexperten wie Jörn Müller-Quade größte Sorgen. Denn besagte Videos wurden mit Software erstellt, die von jedermann nutzbar sowie leicht zu bedienen ist – und die auf Künstliche Intelligenz (KI) zurückgreift. KI-Methoden könnten zwar helfen, IT-Systeme sicherer zu machen, erwartet der Leiter der Forschungsgruppe „Kryptographie und Sicherheit” am KIT, Initiator des Kompetenzzentrums für IT-Sicherheit KASTEL und Leiter der Arbeitsgruppe IT Sicherheit, Privacy, Recht und Ethik der Plattform Lernende Systeme. „Aber es wird auch heute noch unbekannte Angriffe mit KI geben. Wie man sieht, ist das technische Potenzial für Täuschungen schon jetzt enorm.“

Wenn es um Cyberangriffe mithilfe von Künstlicher Intelligenz geht, hat Müller-Quade besonders das sogenannte „Social Engineering“ im Blick. Dabei versuchen Hacker an geheime Informationen wie Passwörter oder Bankdaten zu gelangen, indem sie etwa Identitäten vortäuschen und sich am Telefon oder in Mails als vertrauenswürdige Menschen ausgeben. „Was an Nachahmung schon jetzt möglich ist, zeigen „Deep Fake“-Videos oder Programme wie Google Duplex, eine KI, die Restaurant- oder Friseurtermine über das Telefon vereinbaren kann und dabei wirkt wie ein Mensch“, sagt Müller-Quade.

Die Fortschritte bei der Verfälschung von Videos oder auch Audiodateien – die Technologie wurde ursprünglich für Gesichts- und Spracherkennung entwickelt – sind in der Tat atemberaubend: Während beim 2016 in die Kinos gekommenen Star Wars-Film „Rogue One“ für die „Gastauftritte“ bekannter Charaktere wie Prinzessin Leia oder Grand Moff Tarkin die Konterfeis der ursprünglichen Darsteller Peter Cushing und Carrie Fisher in monatelanger Kleinarbeit für hunderttausende Dollar auf die Gesichter der jüngeren Kollegen Ingvild Deila und Guy Henry übertragen wurden, kann heute jeder Smartphone-Nutzer mit frei verfügbaren Apps Ergebnisse erzielen, die kaum weniger realistisch wirken. „Welche nahezu unendlichen Möglichkeiten sich hier für verbrecherische Manipulationen eröffnen, kann man sich leicht ausmalen“, so Müller-Quade.

Auch das Zerstörungspotenzial klassischerer Angriffswaffen von Cyberkriminellen werde sich durch KI vervielfachen, warnt der Wissenschaftler: So zum Beispiel bei „Distributed Denial of Service“-Angriffen, also absichtlich herbeigeführten Serverüberlastungen, sodass Internetangebote nicht mehr erreichbar sind. Sie können dazu dienen, Konkurrenten zu schädigen oder von Firmen Geldzahlungen zu erpressen. „Solche Angriffe werden in Zukunft vermutlich erfolgreicher sein, weil man mittels KI automatisiert aus vergangenen Angriffen lernen kann. Verbrecher könnten in der Vergangenheit bekanntgewordene Schwachstellen in bestimmten Programmen oder Diensten analysieren und dann in riesigen Software-Systemen automatisiert nach ähnlichen Verwundbarkeiten suchen“, befürchtet der Sicherheitsexperte. Auch Seitenkanalangriffe, bei denen Angreifer etwa aus dem Stromverbrauch von Chipkarten Rückschlüsse auf deren Verschlüsselung ziehen, könnten in der Zukunft deutlich effektiver werden: „Es ist durchaus möglich, dass KI-Systeme zukünftig Zusammenhänge finden, die Menschen bisher übersehen haben.“ Gleiches gelte für sogenannte Korrelationsangriffe, bei denen man durch die Analyse von Zusammenhängen zwischen chiffriertem Text und Klartext die Menge möglicher Schlüssel für Verschlüsselungsverfahren, wie sie im World Wide Web zur abhörsicheren Datenübertragung oder für die E-Mail-Kodierung verwendet werden, sehr stark eingrenzen kann. „Diese Korrelationen, die der Ausgangspunkt solcher Angriffe sind, sind schwer zu finden. Bislang können das nur ausgewiesene Experten mit viel Erfahrung und Feingefühl. KISysteme könnten diese Art von Angriffen aber stark vereinfachen und auch völlig neue Korrelationen finden“, erwartet Müller-Quade. „Zusammengefasst: Die Intelligenz der Angreifer steigt, so dass neue und bisher unbekannte Angriffe zunehmen. Zusätzlich sind die Angriffe viel breiter angelegt, denn Hacker sind keine Personen mehr, sondern hocheffiziente MenschMaschine-Teams, bei denen vieles automatisiert abläuft.“

Um bisher unbekannten KI-basierten Bedrohungen etwas entgegenzusetzen, genüge es nicht, bei der Abwehr ebenfalls auf KI-Methoden zu setzen, betont Müller-Quade. Ein vielversprechenderer Ansatz sei es, die IT-Sicherheit an Methoden der Kryptographie auszurichten: „Ein zeitgemäßes Security-Engineering sollte ausgehend von einem Modell sichere Systeme entwickeln, diese Systeme im Modell analysieren und dann aus Experimenten oder der Beobachtung realer Sicherheitsvorfälle das Modell verbessern.“ Ein Problem dabei sei, dass viele Sicherheitsprobleme nicht ohne weiteres mathematisch beschreibbar seien, schränkt Müller-Quade ein. „Man denke etwa an Social-Engineering oder sicherheitskritische Programmierfehler in komplexen Betriebssystemen.“ Ein anderes, der immense Aufwand. Denn: „Häufig fehlt heutigen Sicherheitsarchitekturen schon eine präzise Definition der Sicherheitsziele.“ Dann könne man diese freilich auch schlecht in mathematischen Modellen analysieren, geschweige denn ihre Wirksamkeit beweisen.

Ein anderes, auf viele Menschen aber nicht minder bedrohlich wirkendes Zukunftsszenario, mit dem sich Müller-Quade beschäftigt, ist die zunehmende Automatisierung von Entscheidungen auch auf staatlicher Ebene. So führt der Österreichische Arbeitsmarktservice, vergleichbar mit der deutschen Bundesagentur für Arbeit, einen Algorithmus ein, der Arbeitslose in drei Kategorien sortieren soll: mit guten, mittleren und schlechten Chancen auf einen neuen Job. Kritiker fürchten, die Software könnte Frauen, ältere Menschen und Ausländer benachteiligen. Ein weiteres Beispiel für Maschinen-Entscheidungen ist das Computersystem COMPAS, das Richter in Amerika berät, ob bei Straftätern eine Widerholungstat zu erwarten ist. Bei diesem System wurden Schwarze benachteiligt. „Natürlich wünschen wir uns bei diesen Entscheidungen oder solchen zur Kreditwürdigkeit oder zur Einstellung von Personen, dass sie fair und ohne Diskriminierung ablaufen.“

Eine Frage ist, ob Algorithmen überhaupt gerecht entscheiden können. „Lernt ein KI-System, das über zukünftige Beförderungen entscheiden soll, aus Karrieredaten der Vergangenheit, ist klar, dass dabei keine objektiven Erfolgskriterien herauskommen“, erklärt Müller-Quade. Eine weitere, welche formalen Gerechtigkeitsbegriffe, Entscheidungen zugrunde gelegt werden sollen. „Erstaunlicherweise gibt es verschiedene formale Begriffe, die alle für sich wünschenswert sind, die sich aber gegenseitig aufheben“, konstatiert er. „Einige Fairnesskriterien, die zwar jedes für sich vernünftig sind, schließen sich mathematisch aus.“ Die Unmöglichkeit, alle Gerechtigkeitsmaße zusammen zu erfüllen, erfordere interdisziplinäre Forschungsarbeit. „Die Frage, ob automatisierte Entscheidungen gerecht sind, muss für jeden Anwendungsfall neu behandelt werden und die Antwort muss sowohl ethischen, rechtlichen, informatischen als auch mathematischen Standards genügen“, fordert Müller-Quade. Eine schwierige gesellschaftliche Diskussion stehe bevor, die aber auch große Chancen berge: „Denn wir werden gezwungen sein, diese Debatte so objektiv wie möglich zu führen.“

Kontakt: joern mueller-quade ∂does-not-exist.kit edu

Info: www.kastel.kit.edu

Excerpt in English

IT security expert Professor Joern Mueller-Quade warns against previously unknown cyber attacks

Translation: Patrizia Pasquazi

While AI methods could help make IT systems more secure, “there will still be unknown attacks using AI. As you can see, the technical potential for deception is already enormous,” says Professor Jörn Müller-Quade, head of the “Cryptography and Security” research group at KIT and initiator of the KASTEL competence center for IT security.

When it comes to cyber attacks with the help of artificial intelligence, Müller-Quade is looking in particular at what is known as “social engineering” where hackers try to access secret information such as passwords or bank details by assuming fake identities, posing as trusted people on the phone or in emails. “Deep fake videos and programs such as Google Duplex, a piece of AI that can book a table at a restaurant or a hairdresser appointment over the phone, appearing to be a person, show what level of impersonation can already be achieved,” says Müller-Quade.

Progress in manipulating videos and audio files – the technology was originally developed for face and voice recognition – is in fact breathtaking: for the “guest appearances” of well-known characters Princess Leia and Grand Moff Tarkin in the 2016 Star Wars movie Rogue One, the likenesses of original actors Carrie Fisher and Peter Cushing were transferred from previous films onto the faces of their younger colleagues Ingvild Deila and Guy Henry during months of painstaking work costing hundreds of thousands of dollars, whereas today any smartphone user can achieve similar results with free apps that are hardly less realistic. The scientist warns that the destructive potential of more conventional weapons used by cyber criminals will also multiply through AI. One example is “Distributed Denial of Service” attacks, where server overloads are caused intentionally so that online services cannot be accessed. They can be used to harm competitors or to extort money from companies.

Side-channel attacks, where an attacker draws conclusions about the encryption of chip cards from their power consumption, could also become much more effective in the future. The same applies to correlation attacks in which, through analyzing the link between ciphertext and plaintext, the number of potential keys for encryption techniques such as the ones used on the World Wide Web for secure data transfer or in email encoding can be heavily restricted. “In short: attackers are getting smarter, which means that the number of new and previously unknown attacks is going up. What’s more, attacks are carried out on a much broader scale because hackers are no longer people but highly efficient man-machine teams where much of the work is automated.”

Contact: joern mueller-quade ∂does-not-exist.kit edu

Information: www.kastel.kit.edu