Netz-Fest Cover

Netz-fest für faire Digitalisierung.

Ein Podcast von OXFAM und der lpb bw
Since 09/2022 7 Episoden

Netz-Fest Fokus: Biometrie, Ungleichheit und Diskriminierung mit Lorena Jaume-Palasi

25.05.2023 35 min Oxfam Deutschland | Katrin Steglich and Landeszentrale f. pol. Bildung BW

Zusammenfassung & Show Notes

In dieser Folge untersuchen wir gemeinsam mit Lorena Jaume-Palasi die Beziehung zwischen Biometrie, Technologie, Ungleichheit und Diskriminierung.

Katrin Steglich (OXFAM) im Gespräch mit Lorena Jaume-Palasi über Biometrie, Ungleichheit und Diskriminierung und welche Fragen sich insbesondere NGOs stellen sollten.

Transkript

KI Linda
00:00:00
Das Digitale ist inzwischen überall. Die Versprechen, dass damit alles besser wird, haben sich nicht für alle bestätigt. In diesem Podcast gehen wir der Frage nach, wie eine Digitalisierung aussehen kann, die zu einer lebenswerteren Welt beiträgt, indem sie Ungleichheit verringert, und Gleichberechtigung, Nachhaltigkeit und die Zivilgesellschaft stärkt.
Katrin Steglich
00:00:32
Willkommen zur Oxfam-Podcast-Reihe, die sich dem Thema faire Digitalisierung widmet, die in Kooperation mit der Landeszentrale für politische Bildung in Baden-Württemberg produziert wird. Mein Name ist Katrin Steglich und heute spreche ich mit Lorena Jaume-Palasi. Sie forscht im Bereich Ethik und Technologie und hat mehrere NGOs gegründet, zuletzt die Ethical Tech Society, die sich mit Automatisierungs- und Digitalisierungsprozessen und deren gesellschaftlicher Relevanz beschäftigt. Außerdem berät sie unter anderem die spanische Regierung zum Thema künstliche Intelligenz. Vielen Dank, Lorena, dass Sie sich die Zeit für dieses Interview nehmen! Biometrische Daten, die zur Identifizierung von Personen verwendet werden, können auf verschiedenen Merkmalen beruhen, z.B. der Netzhaut- oder Iris-Scans, Fingerabdrücken, Stimmmustern, sogar das Scannen von Händen oder Venen in den Armen, Gesicht- und Ohrgeometrie und weiteres. Es kommen immer mehr Systeme auf den Markt, wobei der Gesichtsscan das dominante System ist. Darüber sollen bis Ende dieses Jahres die gesamte Menschheit in Echtzeit identifiziert werden können. Wenn Sie also Ihr Gesicht zeigen, sind Sie in Echtzeit identifizierbar, wo auch immer Sie sich befinden. Welche neuen Lebenswirklichkeiten entwickeln sich da? Welche Bedeutung könnte dies für das tägliche Leben von uns allen haben?
Lorena Jaume-Palasi
00:02:15
Ich denke, dass dieses Thema eigentlich schon sehr alt ist und bis ins 19. Jahrhundert zurückreicht. Was wir aktuell sehen, ist die zunehmende Verwendung biometrischer Daten, die ein sehr breites Spektrum an verschiedenen Technologien umfasst. Wie Sie bereits erwähnt haben, gibt es eine lange Liste biometrischer oder biologischer Merkmale, die erfasst werden können, beginnend mit dem Gesicht. Es können auch Daten über die Stimme, den Gang, das Körperfett oder den Tastenanschlag oder viele andere Merkmale genutzt werden. Es gibt eine breite Palette an Technologien, die dazu eingesetzt werden. Doch die zentrale Idee dahinter, hat viel mit dem zu tun, was beispielsweise Nicholas Row die Versicherheitlichung der Identität genannt hat. Eine Idee, die im 19. Jahrhundert von Menschen wie William Herschel, einem Kolonialverwalter, oder von Alphonse Bertillon, einem Detektiv in Frankreich, entwickelt wurde. Die grundlegende Idee der Identitätsfixierung entstand während der Kolonialzeit. Körper zu betrachten und Metriken um den Körper zu schaffen, um Menschen individuell zu messen und zu identifizieren oder auch Merkmale hinzuzufügen oder Körpermaße mit spezifischen Eigenschaften zu korrelieren. Die Biometrie die wir heute verwenden, steht in engem Zusammenhang mit den Methoden, die damals aufkamen. Es geht also nicht nur um die spezifische Idee, Sicherheit auf biometrischer Basis zu schaffen und zu überwachen, was Menschen in der Gesellschaft tun, sondern auch um die Methoden und ihre Folgen. Wenn wir zurückblicken auf die Idee, Körper zu identifizieren, was erkennen wir dann? Sie wurde in einem Kontext geboren, in dem versucht wurde, den Körper kontrollierbar zu machen. Verstehen zu wollen, wie dieser individuelle Körper Betrug begehen oder kriminell werden oder in ein Verbrechen verwickelt sein kann. Die gesamte Idee der Biometrie wurde also in einem Kontext kriminalistischen Denkens und dessen Fokus auf Kontrolle und Unterwerfung des Körpers geboren. Zum Beispiel war Alphonse Bertillon sehr besorgt darüber, dass Menschen auf der Straße nicht identifizierbar waren. Er nahm an, dass dies eine perfekte Einladung zur Kriminalität sei. Das ist eine irreführende Perspektive. Unsere Überlegungen sollten sich besser um einen öffentlichen Raum als einen Ort der Sicherheit drehen. Wenn wir uns die Welt und den gesellschaftlichen Alltag ansehen, begehen die wenigsten Menschen Verbrechen wenn sie auf der Straße sind.
Katrin Steglich
00:05:55
Wie gut funktioniert biometrische Technologie tatsächlich? Wie genau ist sie bei der Zuordnung von personenbezogenen Daten? Wie hoch ist die Wahrscheinlichkeit möglicher Einschränkungen bei der biometrischen Identifizierung aufgrund von möglichen Vorurteilen?
Lorena Jaume-Palasi
00:11:11
Mit dieser Technologie kann man nicht kontextualisieren. Das ist es, was Sie mit den Ergebnissen der Technologie manuell tun müssen. Sie als Mensch müssen bewerten was das System Ihnen sagt, denn das System kann das nicht. Wenn man zum Beispiel ein System darauf trainiert, Katzen zu erkennen und man plötzlich ein Sofa mit einem Katzenstoff eingibt, wird das System angeben, dass es eine Katze ist. Ein Mensch aber würde sagen: Das ist ein Irrtum.
Katrin Steglich
00:12:26
Ganz genau. Das war es, was ich meinte. Je nachdem wie das System implementiert wird, kann es einen Einfluss darauf haben, wie die Daten interpretiert werden und das ist nicht unbedingt transparent. Es könnte also etwas innerhalb des Systems geben, das nicht für alle transparent ist, sondern nur für die Personen, die das System betreiben. Und das ist unfair, wenn es darum geht, alle Menschen gleich zu behandeln.
Lorena Jaume-Palasi
00:12:56
Ich denke, es ist wichtig die ganze Debatte um die Datenparität in den richtigen Kontext zu stellen: Wenn wir die gleichen Daten über verschiedene Profile von Menschen haben, bedeutet das nicht, dass diese verschiedenen Profile oder Menschen gleich behandelt werden. Wenn wir also mehr Daten über Afroamerikaner haben, bedeutet das nicht unbedingt, dass diese Gruppe genauso behandelt werden wie weiße Menschen. Denn der Kontext in dem diese Technologie eingesetzt wird, hängt letztlich sehr stark vom sozialen, wirtschaftlichen und politischen Umfeld ab. In einer Gesellschaft in der vor allem Farbige, Schwarze und Ureinwohner massenhaft inhaftiert werden, würde diese Technologie, wenn man mehr Daten über diese Bevölkerungsgruppen hat, sicherlich nicht gerecht funktionieren. Nur weil wir so viele Daten über sie oder so viele biometrische Punkte über sie haben, werden sie die bereits stattfindende, ungerechte Diskriminierung dieser Bevölkerungsgruppen nicht reduzieren, sondern wahrscheinlich noch verschärfen. Das ist der erste Punkt, an den man denken muss. Das geht auch zurück auf den Hinweis, den ich vorher machen wollte. Es gibt Dinge, die diese Technologien nicht gut können, wie zum Beispiel Hautfarbe erkennen. Als Lösung könnte man wie Google entscheiden und zehn Hautfarben definieren, um Menschen zu identifizieren. Aber die Sache ist die, dass Hautfarbe ein Kontinuum ist. Man könnte 50, 60 oder 200 Kategorien hinzufügen und hätte immer noch nicht alle Hautfarben der Welt erfasst. Und aus technologischer Sicht würden selbst Techniker sagen: Wir sollten die Komplexität reduzieren, denn wenn man so viele Kategorien einführt, wird das System unhandlich. Man wird nicht mehr verstehen können, was das System tut. Je komplexer ein System ist, desto schwieriger ist es, es sicher zu machen und zu kontrollieren. Denn die Sache ist die, dass Hautfarbe ein komplexes Thema ist. So dass die Reduzierung von Komplexität genau das reduziert was notwendig ist, um Menschen zu verstehen, zu identifizieren und zu sehen. Wenn man also diese Komplexität reduziert, schafft man gleichzeitig Diskriminierung, weil man mit diesen Systemen eine Reihe von Standards schafft, die nur für bestimmte Bevölkerungsgruppen nützlich sind und die sich zufällig auf der sozioökonomisch positiven Seite des Machtungleichgewichts in einer Gesellschaft befinden oder die zufällig Merkmale aufweisen, die in dem System standardisiert sind. Alle anderen Menschen, die nicht vom System gesehen werden oder die sich in einer sozialen verletzlichen Position in der Gesellschaft befinden, werden nicht unbedingt von dem System profitieren. Eher im Gegenteil.
Katrin Steglich
00:15:42
Aktuell haben wir die Situation, dass es einige wenige Unternehmen gibt, die über geschützte Datenbanken mit biometrischen Daten verfügen und diese Daten ohne unsere Zustimmung gesammelt haben. Die erste Frage ist: Wie konnte das eigentlich passieren, dass alle unsere Daten in den Händen einiger weniger Unternehmen sind? Und zweitens: Es gibt Regierungen die die Löschung dieser Daten für ihre Bürger gefordert haben, aber andere haben dies noch nicht verlangt. Wissen Sie, warum das so ist?
Lorena Jaume-Palasi
00:16:19
Nun wenn wir über biometrische Daten sprechen, handelt es sich um eine komplexe Situation, weil es darauf ankommt, was damit gemeint ist. Handelt es sich um Bilder von Gesichtern? Wenn wir uns nur auf Bilder von Gesichtern konzentrieren, gibt es natürlich Unternehmen wie Social-Media-Unternehmen und große Suchmaschinen-Unternehmen, die viele Bilder haben. Aber dann stellt sich die Frage, wie gut strukturiert sind diese Datenbanken? Wie gut ist die Qualität dieser Bilder? Unter Umständen nützen die Bilder nicht viel. Die Hauptleistung die ein biometrisches System erbringt, besteht darin, diese Bilder zu strukturieren. Sie müssen sie aber klassifizieren und annotieren. Sie müssen die spezifischen Systeme für eine spezifische Frage trainieren. Dies bedeutet, dass das Vorhandensein vieler Daten und vieler Bilder nicht unbedingt bedeutet, dass Sie viel Wissen haben, und nicht unbedingt bedeutet dass Sie verstehen können, was Bevölkerungsgruppen tun. Denn wie bei jeder anderen statistischen Technologie benötigen Sie zur Interpretation gute Informationen. Und das geschieht nur mit sektoralen Kenntnissen der Daten, die Sie haben. Deshalb gehen Sie beispielsweise nicht mit der Statistik Ihres Gynäkologen zu Ihrem Bankberater und bitten ihn oder sie um Interpretation dieser Daten. Sie wissen, dass die das nicht interpretieren können. Es fehlt ihnen der Kontext und das notwendige sektorale Wissen. Ich mache mir mehr Sorgen darüber, wie Regierungen damit umgehen, weil sie das Gewaltmonopol haben. Sie haben spezifische Aufgaben, aber auch spezifische Privilegien. Es beginnt damit, dass Staaten Informationen von großen Tech-Unternehmen extrahieren oder von ihnen verlangen, Daten zu sammeln, anstatt andersherum. Wir haben viele Richtlinien gesehen, die von den Staaten gefördert wurden, die einerseits die Löschung verlangen, aber andererseits die Aufbewahrung dieser Daten für Justiz und Strafverfolgung oder für Strategien zur Terrorismusprävention und ähnliches verlangen.
Katrin Steglich
00:20:45
Sie haben die Vereinten Nationen erwähnt. Im Bereich der Nichtregierungsorganisationen werden auch biometrische Daten zur Identifizierung von Personen verwendet. Die Technologie wird inzwischen oft in großem Umfang an Menschen eingesetzt und getestet, die sich schlecht wehren können, entweder aufgrund mangelnden Wissens oder mangelnder Ressourcen. Wie stehen Sie zum Einsatz der biometrischen Identifizierung im Rahmen globaler Hilfsprogramme, bei denen sich die Empfänger von Gütern anhand biometrischer Daten ausweisen müssen und die aus diesem Grund auch nachverfolgt werden können?
Lorena Jaume-Palasi
00:21:29
Ja absolut. Das ist tatsächlich das, was Virginia Eubanks als digitale Armenhäuser bezeichnet hat. Sie schrieb dieses brillante Buch darüber, wie Technologien an den Verwundbarsten getestet und dann in der Mitte der Gesellschaft eingeführt werden. Ich denke, dass diese Technologien sehr problematisch sind und dass diese Nutzungskontexte das zentrale Konzept des Obrigkeitsstaates replizieren. Sie basieren auf der Annahme dass Betrug alltäglich ist und deshalb Individuen zu kontrollieren sind - im Glauben dass dies eine wirksame Prävention sei. Aber es ist eine sehr kurzsichtige Form der Betrugsprävention. Sie ist nur daran interessiert, die Person zu bestrafen, die Betrug begeht und hinterfragt nicht, warum dies geschieht. Es könnte zum Beispiel ein Kind sein, das von einem Erwachsenen zum Betrug gezwungen wird. Es könnte eine Frau sein, die von einer gewalttätigen Gruppe oder Familie oder einer anderen Person unter Druck gesetzt wird. Es könnte jeder sein der innerhalb eines Flüchtlingskontextes durch ein spezifisches Machtungleichgewicht unter Druck gesetzt wird. Deshalb ist es kurzsichtig, wenn man nur die Person in den Mittelpunkt stellt, die den Betrug begangen hat, ohne zu verstehen, warum dies geschieht, und wie man das verhindern kann. Für mich gibt es also keine Legitimation für biometrische Überwachung. Viele NGOs verwenden aber Technologien von privaten Unternehmen, die sie im Detail nicht kennen und verstehen. Und diese privaten Unternehmen nutzen diese Technologien oder bieten sie NGOs an, weil sie damit ihre Technologien testen und optimieren können. Und auch das ist ein zentrales Argument von Virginia Eubanks.
Katrin Steglich
00:25:21
Da es sich um eine neue experimentelle Technologie mit schwerwiegenden Auswirkungen auf den Menschen handelt und wir nicht in der Lage sind, die Folgen für Gesellschaften und Einzelpersonen auf lange Sicht vorherzusehen, wird gefordert die biometrische Technologie in eine Reihe mit künstlichen Intelligenz, Kriegstechnik oder Gentechnik zu stellen. Würden Sie dem zustimmen? Also dass wir ethischere Wege finden müssen, um die humanitären Aufgaben zu erfüllen?
Lorena Jaume-Palasi
00:25:49
Das ist eine großartige Frage. Ich denke, dass wenn wir digitale Infrastrukturen schaffen, erfordert das immer auch eine spezifisches, technisches Design. Es erfordert Datenbanken, es erfordert definierte Prozesse und es erfordert eine langfristige Perspektive. Denn bei diesen Systemen geht es darum, Big Data zu schaffen. Big Data bedeutet eine riesige Menge an Daten und man benötigt zusätzlich spezialisierte Dienstleistungen, um Datennutzen zu generieren. In Wirklichkeit ist es auch eine riesige materielle und energetische Infrastruktur, die man schafft, wenn man diese Technologie verwendet und einsetzt. Wenn Sie solche digitalen Infrastrukturen schaffen, gibt es einige Dinge, die wichtig zu beachten sind. Wenn Sie Infrastrukturen schaffen, selbst wenn Sie sie nicht nutzen, sind sie vorhanden, genauso wie Straßen. Wenn Sie sie nicht nutzen, sind sie immer noch da und können für andere Dinge genutzt werden. Es entsteht also eine Verantwortung bei der Schaffung von digitalen Infrastrukturen. Denn sobald sie erfunden sind, können Sie sie nicht so schnell verschwinden lassen. Ich möchte den Begriff betonen, den Sie verwendet haben: experimentell. Es ist wichtig, zuerst zu überlegen, ob wir die Technologien brauchen. Oder wenn wir Technologien nutzen, die wir nicht benötigen, wofür sie denn sein sollen. Sonst könnte es sein, dass wir Infrastrukturen entwickeln, deren Nutzungszweck wir nicht kennen oder verstehen und die uns als Experiment dienen und dabei zu einem grundlegenden Problem werden können.
Katrin Steglich
00:28:56
Welche positiven Anwendungen sehen Sie in der biometrischen Technologie, die für die Gesellschaft hilfreich oder nützlich sein könnten?
Lorena Jaume-Palasi
00:29:05
Ehrlich gesagt, glaube ich nicht dass es eine gibt. Biometrie ist im Grunde eine Technologie, die eine Essenzialisierung der Menschen erfordert. Zum Beispiel, wie viele Hauttypen es auf der Welt gibt. Und das kann man faktisch nicht tun, weil das ein Kontinuum darstellt. Hautfarbe ist ein Kontinuum. Man kann nicht einfach 40 oder 50 Kategorien erstellen und glauben, dass man damit jeden identifizieren könne. Bei Biometrie handelt sich also um eine Technologie, die auf Kontrolle und Vermessung von Körpern ausgerichtet ist. Doch die Frage lautet, warum soll man das tun? Denn in den meisten Fällen muss man einen Körper nicht identifizieren oder kontrollieren, um Schaden für die Allgemeinheit abzuwenden. Es gibt andere Methoden, bei denen es nicht um die Kontrolle und Identifikation geht, sondern um Verbrechensverhütung oder zum Beispiel darum, zu verstehen, wie man Räume der Zusammenarbeit schaffen kann. Ich glaube also nicht, dass eine Technologie, die ursprünglich in einem Kontext des Misstrauens gegenüber dem Bürger und des Versuchs, die kolonisierten Körper und die ehemaligen Kolonien des Britischen Empires oder des Deutschen Reiches und so weiter zu kontrollieren, entwickelt wurde, einen ethisch positiven Raum bietet. Ich denke, es ist wichtig, sich daran zu erinnern, woher diese Technologien kommen. Es ist wichtig, sich daran zu erinnern, dass diese Technologien aus einer historischen Perspektive relativ neu sind. Sie sind erst 200 Jahre alt, aber wir kennen schon seit Tausenden von Jahren Gesellschaften, die sich nicht in einem permanenten Zustand der Anarchie befanden. Es gab und gibt also andere Formen der Organisation und Kontrolle, die weniger auf Identifizierung, Bestrafung und Kriminalisierung ausgerichtet sind. Daher denke ich, dass es wichtiger ist uns zu fragen, ob der öffentliche Raum und Gesellschaften eher aus einer Perspektive der Versicherheitlichung oder aus einer Perspektive der Grundrechte gedacht werden sollen.
Katrin Steglich
00:31:20
Abschließend möchte ich Sie fragen welche drei Punkte im Zusammenhang mit der biometrischen Technologie auf der Grundlage Ihrer Forschung auf unsere Agenda als politische Akteure und auch als Privatpersonen gehören.
Lorena Jaume-Palasi
00:31:39
Ich glaube, dass die aufgeworfenen Fragen der Biometrie - gute Fragen sind, um unsere Systeme der Versorgung und Kontrolle zu überdenken. Jedes Betreuungs- und Kontrollsystem das auf der Identifizierung und Kontrolle des Körpers beruht, muss überdacht werden. Es war tatsächlich die Anerkennung der Rechte am Körper der Frau, die die Frauen im 19. Jahrhundert von vielen patriarchalischen Unterdrückungen in Europa befreit hat. Es war das Denken des Frauenkörpers als ein dem männlichen Körper gleichwertiger Körper, das die Frauen aus der patriarchalischen Kontrolle herausgeholt hat. Wenn wir über Biometrie sprechen, müssen wir die Diskussion auf eine umfassendere Sichtweise der Idee von Kontrolle und Identifikation ausweiten und fragen, warum wir all diese Prozesse zu einer Frage der Kontrolle statt einer Frage der Fürsorge und Rechte machen. Wenn wir über Biometrie sprechen, ist es meiner Meinung nach auch wichtig über den materiellen Teil dieser Technologien zu sprechen. Es kostet viel Strom, um diese Systeme zu betreiben. Es verbraucht eine Menge Wasser, die Server dieser Technologien zu kühlen und es braucht eine Menge seltener Materialien, um die Hardware herzustellen, die zum Betrieb dieser Technologien benötigt wird. Eine Technologie, die übrigens viel schneller veraltet, als wenn man weniger komplexe Systeme verwendet. Wenn wir also diese Art von Infrastrukturen schaffen, müssen wir uns darüber im Klaren sein, ob wir uns die Energie- und Materialressourcen, die diese Technologien erfordern, leisten können. Auch unter dem Gesichtspunkt des Klimawandels sollten wir dies neu überdenken.
Katrin Steglich
00:34:23
Starke Worte - vielen Dank Lorena, ich fand es sehr bereichernd.
Lorena Jaume-Palasi
00:34:27
Ich danke Ihnen sehr.

2024 - Katrin Steglich

Hosted by LetsCast.fm
Deinen eigenen Podcast erstellen