The Man Machine: verantwoorde verontrusting

Wat is er nog uniek aan de mens als een robot niet alleen onze handelingen kan imiteren maar kunstmatige intelligentie ons denkvermogen zelfs overtreft? Zo opent de aankondiging van The Man Machine, een programma met filmscreenings, talkshows, performances en lezingen van 18 oktober tot en met 13 november in Eye. De vraag benoemt de angst voor machines die vaak in sciencefiction films wordt verbeeld. Denk aan de intelligente computer HAL-9000 die het ruimteschip in de film 2001: A Space Odyssey aanvankelijk mede bestuurt maar uiteindelijk overneemt (met de dood van bemanningsleden tot gevolg). Of denk aan het geschetste 2025 in de film Her; elk individu heeft tegen die tijd een eigen besturingssysteem dat dusdanig intelligent, zelfbewust en menselijk is dat hoofdpersonage Theodore verliefd wordt op zijn besturingssysteem Samantha. Toekomstschetsen waarin machines onze autonomie verminderen dus. Angst voor machines is niet moeilijk in te beelden, maar is deze angst wel reëel? Waar schuilt de werkelijke bedreiging in?

Martin Heidegger en de techniek

Machines komen voort uit technologie en techniek, maar wat is techniek eigenlijk? Die vraag stelde Martin Heidegger in 1949. Zijn betoog Die Frage nach der Technik is nog steeds verrassend relevant en helpt inzien waar het werkelijke gevaar van de techniek in schuilt. Om de vraag naar de techniek te beantwoorden analyseert Heidegger eerst de gangbare opvatting van techniek: techniek is een middel om een doel te bereiken. Of: techniek is een menselijke activiteit (een opvatting die net als in 1949 nog steeds gangbaar is; zie hier, hier en hier). Maar, zo stelt Heidegger, die definitie is niet toereikend. Zij is namelijk zo breed dat je er niets mee kunt. Laptops en drones zijn iets fundamenteel anders dan een hamer of een blikopener, toch vallen ze allemaal onder dezelfde definitie van techniek.

We hebben dus een fundamentelere definitie van techniek nodig om te begrijpen wat de moderne techniek is. We moeten kortom op zoek naar het wezen van de moderne techniek. Om dat wezen te kunnen duiden spreekt Heidegger eerst over de notie van aanwezigheid. Alles wat aanwezig is, is (op een bepaalde manier) tevoorschijn gebracht. In de techniek heerst een speciale, specifieke wijze waarop dingen tevoorschijn gebracht worden, stelt Heidegger. Deze wijze noemt hij ‘het opeisend tevoorschijn-brengen’. Wat betekent dat precies? Het betekent dat de techniek uiting geeft aan een bepaalde houding waarin dingen tevoorschijn moeten komen. Hierbij kun je denken aan een berglandschap dat nu moet verschijnen als een plek waar kolen en erts gewonnen kunnen worden – het liefst zoveel mogelijk, met zo weinig mogelijk inspanning. Dat is het opeisende tevoorschijn brengen: het transformeert dingen en plekken tot nuttige producten die vervolgens opgeëist en in bezit genomen kunnen worden. De natuur wordt zo in stelling gebracht, maar ook apparaten worden dusdanig gemaakt zodat ze een bepaald berekend nut opleveren. Zonder dat nut hebben ze geen bestaansrecht meer; want wat kunnen we nog met een kapotte computer? De dingen worden zo gemaakt dat ze telkens een bepaald nut of voordeel op kunnen leveren. De wereld om ons heen wordt dus getransformeerd tot een hoeveelheid aan gebruiksvoorwerpen die effectief, productief of nuttig voor ons moeten zijn en alleen als zodanig bestaansrecht hebben.

Misschien was ik daarom zo geschokt door de seksrobots in de documentaire Sex Robots and Us; de hyper geseksualiseerde replica’s van vrouwenlichamen lijken geenszins op vrouwen. Toch worden ze steeds menselijker gemaakt; door AI kunnen ze praten en kreunen, doen ze aan dirty talk en met bepaalde technieken wordt de huid zo gefabriceerd dat de pop verbazingwekkend menselijk aanvoelt. Een andere techniek zorgt ervoor dat de pop ‘weet’ wanneer haar gebruiker bijna klaarkomt, zodat ze daarop kan inspelen met wat ze zegt, en kan doen alsof zij op dat moment ook een orgasme heeft. Een seksrobot – te bestellen in elke haarkleur, maat en positie – is een voorstelling van het vrouwenlichaam als effectief en bruikbaar product. Ze staat elk moment klaar op de manier die van haar verlangd wordt. Omdat sommigen het vrouwenlichaam graag zien zoals zij het willen, beschikbaar en gewillig, zijn er nu mensen die zo’n lichaam voor hen gemaakt hebben.

Om terug te gaan naar Heidegger; de mens eist dat alles een nuttig product wordt, maar het is de ”mindset” waar de mens naar handelt, die de mens opdraagt alles als continu noodzakelijk nuttig te beschouwen. Met andere woorden: de mens fabriceert seksrobots, maar de mens wordt ook tot dit produceren aangezet, door een bepaalde mindset, die Heidegger het Ge-stel noemt. Deze mindset of mentaliteit is het wezen van de moderne techniek. Heidegger definieert het als een mindset die de mensen erop instelt al het werkelijke te zien als nuttig, productief en effectief. Waar het om gaat: er wordt een beroep op mensen gedaan om alles met deze mentaliteit te bekijken.

En dat is wel degelijk iets om bang voor te zijn. Het grootste gevaar, zo stelt Heidegger, is het heersen van die mentaliteit. Want daardoor gaat de mens alles om hem heen als nuttig product zien, inclusief andere mensen (denk aan seksrobots) en uiteindelijk ook zichzelf. Met zo’n zienswijze verdwijnt de mogelijkheid dat dingen tevoorschijn komen en dat er dingen en mensen zijn die niet onmiddellijk bruikbaar en nuttig zijn. Dán gaan we aan ons eigen wezen voorbij. En aan het wezen van alle dingen om ons heen. Pas dán kunnen we de vraag stellen wat er nog uniek is aan de mens als een robot onze handelingen imiteert en als kunstmatige intelligentie ons overtreft. Een robot slaapt en eet niet. Hikt niet. Gaapt niet. Als we bang zijn onze uniciteit als mens te verliezen, dan hebben we onze uniciteit als bruikbare intelligentie gedefinieerd, of gereduceerd eigenlijk. Als we de vraag stellen wat er nog uniek is aan de mens als robots en kunstmatige intelligentie ons overtreffen suggereren we dat we ons de mens voorstellen als iets dat bruikbaar moet zijn en anders niet uniek (lees: waardig) meer is.

Omdat we opgaan in de mentaliteit van nut en bruikbaarheid vergeten we dat dit niet de enige zienswijze is. We kunnen deze mindset ook van de hand wijzen, want uiteindelijk zijn wij het ook die bepalen hoe we de wereld om ons heen zien.

The Cleaners

“Delete, delete, ignore, ignore, delete,” zo klinkt het in The Cleaners. Hier zien we ‘content moderators’, de mensen die in Manilla gerapporteerde content van Facebook verwijderen. Hun werk wordt geheimgehouden. Omdat algoritmes niet kunnen doen wat zij doen, wordt er van hen verwacht dat ze 25.000 foto’s en filmpjes per dag bekijken en beoordelen, waaronder de meest verschrikkelijke beelden van kinderporno, zelfmoord en onthoofdingen. Er zijn strikte richtlijnen voor de beoordeling van het materiaal en de medewerkers mogen per maand drie fouten maken.

Het wordt pas echt eng als dit soort documentaires ons angstaanjagendere realiteiten tonen dan sciencefiction films. Hier zien we dat er tussen 1949 – toen Heidegger zijn betoog schreef – en nu heel wat veranderd is. Hier heerst de mindset van algehele productiviteit en nuttigheid. Hier zien we wat het betekent als de mens tot een louter nuttig product wordt gereduceerd. Verstopt in Manilla wordt er van de content moderators geheimhouding over hun werk geëist, terwijl hun psychische klachten, die ze dus met niemand mogen delen, als resultaat van de gruwelijke beelden die ze gezien hebben, niet serieus genomen worden. Ze moeten immers gewoon hun werk doen. Dat wordt er van hen geëist. Zo zijn ze “besteld”.

Tegelijkertijd hitsen mensen in Myanmar elkaar via Facebook ongehinderd op om Rohingya te haten en verminken, worden filmpjes van de oorlog in Syrië – die dienen als belangrijk documentatiemateriaal voor mensenrechtengroepen – van Facebook verwijderd, en benoemt David Keye (speciale VN-rapporteur voor de vrijheid van meningsuiting) het dilemma: Hoever gaan we in ‘beschermende’ censuur; tot welke mate beperken we onze eigen expressies? In hoeverre verhindert dit ons vermogen om kritisch na te denken? Met andere woorden: Hoe kunnen we nog reflecteren op technologie als de technologie zelf haar sporen uitwist over haar beperkingen en wij hier niets vanaf weten omdat dit geheimgehouden wordt? Het probleem is vooral dat bepaalde content wél en andere content niet verwijderd wordt. Facebook beslist dat en maakt daarover niet altijd de juiste keuzes – denk aan de ongehinderde verspreiding van haat in Myanmar. Het gebruik en misbruik van Facebook is bijna te groot (denk aan de 25.000 foto’s per content moderator per dag) om bij elke gerapporteerde content de context nauwkeurig in ogenschouw te kunnen meenemen bij de beoordeling of iets wel of niet verwijderd moet worden. Er moet haast wel gewerkt worden met algemene en dus onzorgvuldige richtlijnen voor verwijdering. Toch vraagt de ernst van de schadelijke effecten van Facebook om een beter antwoord. “Wat er met de Rohingya genocide in Myanmar gebeurt, is een van de zovele sociale realiteiten die gecreëerd worden door een paar platforms die gemaakt zijn in Californië door een handjevol mensen. Het maakt niet uit hoe bedachtzaam, bewust of onbewust zij bezig zijn – ze beïnvloeden het denken van twee miljard mensen,” aldus Tristan Harris, voormalig ethicus bij Google Design. “We moeten heel voorzichtig zijn met dit ding wat we gecreëerd hebben.”

Het probleem is niet alleen dat de technologie voortraast en dat de mens van zichzelf en anderen eenzelfde tempo en productiviteit verwacht, maar ook dat de technologie exponentieel groeit en innoveert. Om met Harris te spreken: we hebben een ding gecreëerd. Maar dat ding blijft groeien, en het lijkt erop dat onze huidige machtssystemen niet meer in staat zijn om die groei in te perken of te controleren. Sterker nog, onze huidige machtssystemen zijn voor een groot deel afhankelijk van technologie. Dat wil zeggen: de technologie raast voort binnen ontstaande machtsstructuren die op hun beurt weer bestaan bij de gratie van technologische systemen.

Het groeiende

“Maar waar het gevaar is, groeit het reddende ook,” zo schrijft Heidegger bij monde van Friedrich Hölderlin. Volgens Heidegger moeten we beseffen dat er een aanspraak op ons gedaan wordt om de dingen om ons heen als nuttige producten te zien en ze als zodanig op te eisen. Maar die zienswijze is niet noodzakelijk, zo stelt Heidegger, wij kunnen erin meegaan, maar we kunnen deze mindset ook weigeren. Toch lijkt het erop dat Heideggers betoog 60 jaar na dato een update nodig heeft. De vraag is of we als mensen niet al dusdanig met die mindset vergroeid zijn en vooral: of we er nog los van kunnen komen. De zienswijze die alles – inclusief de mens – als noodzakelijk nuttig opvat, is niet langer de zienswijze van menselijke individuen, maar het is een groot systeem dat uit honderden kleine, vervangbare (menselijke) radertjes bestaat. Denk aan de content moderators; zij dragen allemaal een verantwoordelijkheid, maar veel keuzevrijheid hebben ze niet. Het is meedoen of afvallen. Twee van de content moderators die in de documentaire naamloos blijven stoppen noodgedwongen met hun baan. Getroffen door de gevolgen van hun werk zitten ze met psychische klachten terwijl ze vervangen zijn door nieuwe medewerkers die eenzelfde lot te wachten staat.

Het systeem omvat ons niet alleen, maar gaat ons ook te boven. De huidige machtsstructuren omspannen continenten. De macht van individuen is daarbinnen altijd beperkt. Het zorgt ervoor dat individuen bepaalde daden verrichten waarvoor ze uiteindelijk niet volledig verantwoordelijk zijn en waarvoor ze dusdanig niet verantwoordelijk voor gehouden kunnen worden, althans niet volledig. Als zelfs de CEO van Facebook in de rechtszaal niets zinnigs weet te zeggen over de verantwoordelijkheid van Facebook in Myanmar, wie dan wel? De mens mag dan wel achter de techniek zitten, maar achter de mens zit altijd nog een steeds groter en ongrijpbaarder systeem.

Is er nog een oplossing? Valt er nog iets te redden? Ik weet het niet. Misschien toch maar eens naar zo’n lezing van The Man Machine in Eye gaan.

The Man Machine draait films als Ghost in the Shell, Her, Alphaville, Ex Machina en Welt am Draht!