Žijeme ve světě, který je stále více spoluutvářen naším soužitím s chytrými stroji a digitálními algoritmy. To přináší morální dilemata, která naši předci vůbec neznali a nemuseli řešit. Můžeme i dnes používat tradiční etické systémy, nebo je třeba vymýšlet nové? Slouží ještě jako vodítko slavné Asimovovy zákony robotiky? Knihu Etika budoucnosti, kde tato zamyšlení najdeme, sepsal londýnský designér a spisovatel Cennydd Bowles hlavně pro svoje kolegy, designéry, produktové manažery i softwarové inženýry (Bowles spolupracuje například s Twitterem a BBC). Jeho úvahy jsou ale tak pronikavé a analyzované problémy natolik univerzální, že by byla škoda, kdyby ji četli jen zástupci těchto oborů.

Ke svým kolegům nicméně Bowles mluví z perspektivy tvůrce digitálních světů a robotů. Klade jim na srdce, aby přemýšleli v širších souvislostech a měli na paměti společenské, politické i ekologické důsledky svého počínání. Vymýšlíte-li totiž loď, vymýšlíte také vrak. Tak například navigace „zabila“ autoatlasy a jako zkratky nabízí ucpané vesnické silnice. Nemilé výsledky nových technologií budou existovat vždycky – nicméně „nezamýšlené neznamená nepředvídatelné“ a nejhorší možné důsledky bychom dle Bowlese předvídat a zmírňovat měli.

Předpojaté technologie

Mezi takové konsekvence někdy patří i to, že umělé systémy se v určitých ohledech chovají rasisticky, takže rozhodně neplatí představa technologie jako něčeho objektivního. Extrémní je případ nechvalně známého chatbota jménem Tay společnosti Microsoft, který byl naprogramován tak, aby se učil interakcím na Twitteru. Tuto šanci využili trollové a Taye dohnali k tak pobuřujícím poznámkám, že musela být jeho činnost už po šestnácti hodinách ukončena.

Hůře se napravují problémy, které tkví hlouběji. Systém rozpoznávání obličejů trénovaný pouze na bílých obličejích bude nutně silně zaujatý: černošský obličej nebude identifikovat jako lidský. Ale i sebeúplnější soubor údajů vždy obsahuje mnoho lidských předsudků. Daný systém algoritmů se od nás prostě „naučí“, že „hmyz je fuj“ a „květiny jsou krásné“ jednoduše proto, že tyto typy slov se často objevují ve dvojici. Proto také algoritmy pro analýzy postojů „zdědily“ předsudky, jež považují evropská jména (Paul, Ellen) za sympatičtější než jména afroamerická (Malik, Sheeren) a slovo „gay“ hodnotí jako negativní. I tam, kde se veřejné mínění mění, bude tato předpojatost mizet jen pomalu. „Data se vždy ohlížejí zpět,“ říká autor metaforicky, čímž míní, že historické předsudky jsou v korpusu zakořeněny dlouhodobě. Bowles se proto ptá, zda je v takovém případě eticky přípustné vědomě vydat zkreslený algoritmus. A odpovídá, že čím vážnější jsou důsledky předpojatosti digitálního systému, „tím je zapojení člověka vhodnější“.

Hledání optimálního systému je ovšem obtížné. Kupříkladu na dnešních online seznamkách dávají heterosexuální běloši nižší hodnocení černoškám. Chceme-li upřednostnit spravedlivé shody, algoritmus by měl ve skutečnosti rasové složení uživatelů omezovat například tím, že bude černošské ženy zobrazovat jen černošským mužům, u kterých je pravděpodobnější pozitivní reakce. Čímž ale paradoxně „dosáhneme opaku rasové spravedlnosti“. Nějaká forma podjatosti je tak „logicky, politicky a matematicky nevyhnutelná“. Bowles je ale přesvědčen, že je přesto nutné snažit se škodlivou předpojatost omezovat, jak pro blaho společnosti, tak kvůli vlastní pověsti vývojářů.

Topinkovač, který vám spálí snídani

V tomto kontextu se autor ptá i na to, nakolik by měly digitální systémy uživatele nenápadně posouvat v intencích určitého „veřejného zájmu“, například zdravé životosprávy a prevence obezity. Potíž je podle něj v tom, že společné blaho je politicky výbušné téma a „pokusy určovat, jak by měli žít druzí, s sebou často nesou stopu autoritářství“. Pokud bychom měli přesvědčovat lidi k tomu, aby jednali „ve vlastním zájmu“, kdo rozhodne, co to bude za zájem? Bowles sebekriticky připouští, že technologové se k tomuto rozhodnutí pravděpodobně nehodí, protože obvykle upřednostňují vědeckost před duchovnem, akci před reflexí a pokrok před stavem věcí. Takové hodnoty nemusejí být to pravé pro každého. Určité nedostatky má ovšem i situace, kdy se lidí na jejich nejlepší zájmy ptáme: jejich názory jsou nespolehlivé, navíc všichni občas vyhledávají věci, které jejich blaho omezují, například tabák a alkohol.

Autor ovšem varuje i před nebezpečím totalitního státu, který by mohl výkonné technologie přesvědčování a sledování infiltrovat do našich každodenních životů ¬– náznaky už můžeme vidět v Číně a systému sociálního kreditu. Představte si svět, v němž vaše zařízení automaticky „oznámí každé vaše slovo policii, trestem za úchylné myšlenky vám bude ztrojnásobení ceny letenek, a topinkovač vám dokonce spálí snídani“.

Razantní jsou Bowlesovy názory na otázku usměrňování „veřejného prostoru“ sociálních sítí. Tamní svoboda projevu se poslední dobou zvrhává v kulturní válku vedenou podél politických linií obehnaných zákopy. Krajní pravice k tomu vymyslela efektivní scénář odporu: podněcujte k nenávisti, pak se ujměte role marginalizovaného bojovníka za svobodu projevu a pokusy o moderování debaty „vykreslete jako cenzuru“ a vlastní fanatismus jako „morální křížovou výpravu“.

V takovém případě autor radí aktivně jednat, jinak hrozí nemalé nebezpečí. Pokud totiž nezasáhneme proti netolerantním lidem, dáváme jim moc, jíž mohou bez povšimnutí ničit tolerantní osoby: „Přílišná tolerance představuje pro samotnou toleranci ohrožení.“ Proto autor vyvozuje nutnost razantnějších postojů technologických firem vůči nenávistným projevům a důležitost péče o týmy, které se o bezpečnost uživatelů starají.

Jak doplnit Asimova

Poněkud jasnější odpovědi než u online seznamek dává autor u dilemat týkajících se robotů. Asimovovy zákony interpretuje především jako beletristův nástroj, jak vyprávět příběhy, v nichž zmíněné zákony zajímavým způsobem selhávají. Což ostatně částečně připouštěl i Asimov sám.

Bowles tvrdí, že v reálu by bylo bezpečnější příkazy rozšířit, přitom kombinovat různé etické perspektivy a v pravý čas se odvolávat na tu správnou, tak jak to dělá většina lidí. („Na rozdíl od profesionálních etiků, kteří pochopitelně lpí na svém oblíbeném názoru,“ dodává autor ironicky.) Někdy se po vzoru Jeremyho Benthama rozhodnou minimalizovat škody, jindy v duchu Immanuela Kanta přísahají na morální povinnost („Krádež je špatná“) a někdy se řídí ideálem morálního charakteru („Jsem čestný člověk, a proto platím daně.“).

Robotovi bychom tak podobně jako Asimov mohli dát krátký seznam absolutních příkazů a zákazů, doplněný o příklady ctnostného chování a konkrétní postupy, jimiž se vypočítají utilitární výsledky. To vše dohromady by mohlo dle autora sloužit jako mnohonásobné zabezpečení proti selhání: „Stroj bychom mohli požádat, aby rozhodnutí vyhodnotil z hlediska všech perspektiv, a pokračoval pouze v případě, že splňuje požadavky všech tří.“ To by ovšem od robota zřejmě vyžadovalo jistou míru sebeuvědomění, což je alternativa, již autor rovněž zvažuje a rozvíjí. Pokud se chytrý stroj někdy přiblíží vědomí, bude nutné přehodnotit, jak s ním budeme interagovat. V takovém případě bychom se měli snažit „zabránit všemu, co by mohlo technologiím způsobovat utrpení“. (Neznamenalo by to nutně nemožnost využít je k práci.) Tento posun v uznání morální existence robota si zřejmě zaslouží i nový jazyk. Dnes se zdá v pořádku označovat Siri, Cortanu a Alexu jako „to“, v případě jejich sebeuvědomění bychom však pravděpodobně začali používat zájmena „on“ a „ona“ nebo dávali přednost nějakému bezrodému zájmenu.

Trpící robot jako osoba

Přitom už dnes umíme stroje naprogramovat tak, aby napodobovaly utrpení: „Pokud například hračku dinosaura Pleo chytíte za krk, vydává zvuky, jako by se dusila.“ Zde je ovšem autor velmi přísný: napodobování příznaků tělesné bolesti by mohlo být odůvodněné, pokud by uživatele nutilo přestat dělat něco, co by poškodilo jeho samotného nebo příslušný produkt. Pokud by však žádný opravdový účel nemělo, je podle něj neetické.

Bowles přesto trvá na tom, že bychom se měli k robotům chovat slušně a ohleduplně. Například vytvořením světa, který pro ně bude lépe čitelný a srozumitelný, či poskytnutím dostatečného času na učení. Jestliže se rozhodneme vyvíjet roboty coby společníky, nejen coby pouhé nástroje, měli bychom toto rozhodnutí vnímat jako morální, či dokonce jako „akt milosrdenství vůči strojům“.

Podobně autor soudí, že bychom měli mluvit zdvořile s umělými hlasovými asistenty. Trvá na tom, že navzdory možným komunikačním potížím plynoucím ze složitějšího vyjadřování slušnost za úsilí stojí. Už jen z hlediska dětí, které si v opačném případě mohou osvojovat špatné chování. Stejně neetické je dle autora kopání do robotů, protože může vést k názoru, že i kopání do jiných nelidských bytostí, zejména zvířat, je v pořádku. A „nakonec budeme brutálně zacházet se sebou navzájem“.

Zmínka o nelidských živočiších, jejichž status se pozvolna mění, přitom není náhodná. Bowles totiž předpovídá, že nebude trvat dlouho a některá země se rozhodne učinit roboty právnickými osobami, aby tak mohla lépe odolávat tlaku odvětví, jež se snaží vyhnout odpovědnosti za činy svých strojů. Ostatně už dnes mohou mít „osoby“ i jiný než lidský původ, platí to například pro korporace nebo řeky. Tato kategorizace je důležitá zvláště pro zastánce kantovské morálky, kteří chtějí s lidmi vždy zacházet spíše jako s účelem než jako s prostředky. Pokud bychom to rozšířili i na stroje coby „umělé“ či „elektronické osoby“, přisoudili bychom jim podobné výsady jako lidem, například právo na právní uznání, nediskriminaci a právo na azyl. Podobné úvahy nám zatím můžou připadat fantasmagorické, případně se můžeme v ironické nadsázce ptát, jestli bude třeba u robotických sexuálních panen před stykem vyžadován jejich souhlas – ač byly vyrobeny právě proto, aby byly pouhým „nástrojem“.

Buddha či Frankenstein?

Věc má ovšem také výrazný kulturní rozměr: řeka byla za osobu příznačně prohlášena nikoli v Evropě, ale v Indii a na Novém Zélandu. A první svatba dvou robotů i svatba lidí, při níž byl oddávajícím robot, se pochopitelně odehrály v Japonsku, kde je silně zakořeněná představa oduševnělosti i zdánlivě neživých věcí. Vznikají tam i seriózní knihy jako The Buddha in the Robot (1974) od profesora robotiky a buddhisty Masahira Moriho.

Oproti tomu na Západě pohlížíme na humanoidní roboty stále s mírným podezřením jako na potenciální frankensteinovská monstra. Třeba podle knihy Kurta Graye a Daniela Wagnera Klub mysli: Kdo myslí, co cítí a proč na tom záleží (Dybbuk 2019) ale i Evropané či Američané komunikují nebo zacházejí s některými stroji jako s živou bytostí. Jako dlouholetý majitel náklaďáku, který k té své staré „holce“ přistupuje s pochopením, že potřebuje povzbuzení a přemlouvání, aby vůbec vyjela. Klub mysli líčí také silné citové pouto vojáků v boji k robotům, kteří nasazují vlastní „život“, či spíše existenci, aby lidé přežili. Což je případ robota jménem MARCbot, určeného k nalézání a odpalování výbušnin. Když byl během mise v Iráku zničen, jeho „kolegové“ mu dokonce vystrojili kompletní pohřeb i se salvou jedenadvaceti ran.

Bowles se ovšem nevěnuje pohřbívání robotů, nýbrž naší společné budoucnosti. Nechce, abychom roboty vehnali do stávajících mocenských vztahů a udělali z nich „infantilizované klony lidí či jakýsi patolízalský poddruh prahnoucí po uspokojování lidských vrtochů“. Místo toho se přimlouvá za to, aby člověka doprovázeli spíše v symbióze než jako nevolníci.

I když úplně jistý si tím vlastně není: jako advocatus diaboli uvádí i možný protiargument, že bychom se možná přeci jenom měli naučit do robotů kopat, aby bylo zřejmé, že tyto stroje jsou jiného druhu, a abychom je mylně nepovažovali za antropomorfní bytosti: „Nechceme-li, aby našimi dětmi mohli v budoucnosti manipulovat roboti, snad bychom je měli učit, že roboti jsou ve společenské sociální hierarchii pod námi.“ Hned ale dodává, že tento argument přestane stačit, „pokud si budoucí stroje někdy zaslouží větší morální respekt“.

Z posledního příkladu je patrná dialogická metoda, pro Etiku budoucnosti charakteristická, ale i autorova neochota dávat jednoznačné závěry. Ostatně právě v tom podle Bowlese spočívá frustrující podstata etiky: „Často existuje hned několik věrohodných odpovědí.“ Publikace tak sice nepokrývá všechny možné varianty toho, jak by naše interakce se stroji a algoritmy mohla vypadat, ale na mnohé z nich můžeme být díky ní ideově lépe připraveni. A pokud by vinou nějakého civilizačního regresu nenastala žádná z nich, jednalo by se alespoň o sofistikované a důmyslné myšlenkové cvičení.