„Robot nesmí ublížit člověku nebo svou nečinností dopustit, aby bylo člověku ublíženo. Robot musí uposlechnout příkazů člověka, kromě případů, kdy tyto příkazy jsou v rozporu s prvním zákonem. Robot musí chránit sám sebe před zničením, kromě případů, kdy je tato ochrana v rozporu s prvním nebo druhým zákonem.“ Tyto proslulé zákony robotiky formuloval Isaac Asimov roku 1942. Tehdy patřil problém, jak zaručit, aby robot člověku nikdy neublížil, do sféry čisté sci-fi. Mezitím se realita výrazně změnila a dnešní inteligentní stroje nejen silou, ale i schopnostmi své stvořitele skutečně v mnohém předčí. Čeká nás vznik superinteligence, která bude člověka ve všech oblastech převyšovat a stále více také existenčně ohrožovat? A jak případně superinteligenci vytvořit tak, aby nás v krátkém čase nezahubila? To jsou hlavní otázky, které klade obsáhlá publikace Superinteligence: Až budou stroje chytřejší než lidé (Superintelligence: Paths, Dangers, Strategies, 2014).

Její autor Nick Bostrom (nar. 1973) pochází ze Švédska. Studoval mimo jiné filozofii, matematiku a fyziku na univerzitách v Göteborgu a Stockholmu a na King’s College v Londýně. V současnosti je profesorem Oxfordské univerzity a zakládajícím ředitelem Future of Humanity Institute, multidisciplinárního centra, které nadaným filozofům a vědcům umožňuje bádat nad velkými otázkami lidstva. K oblastem jeho zájmu a zkoumání patří simulace reality, antropický princip, vliv umělé inteligence a etická role technologií v dnešním i budoucím světě. Vydal monografie Anthropic Bias (Antropický princip, 2002), Human Enhancement (Lepší lidstvo, 2009) a Global Catastrophic Risks (Globální katastrofická rizika, 2011); časopis Foreign Policy ho dvakrát zařadil mezi sto nejvlivnějších intelektuálů světa.

Sleva! Dokonalé replikace zážitků

Bostrom v knize rozvádí přehled různých kroků, které vedly ke vzniku zárodků umělé inteligence, při jejím vývoji preferuje mezinárodní spolupráci. Probírá jednotlivé druhy umělé inteligence – od počítačů až po nové formy, které by mohly kombinovat stroje s biologickou materií. Předkládá rovněž komplexní analýzu odborných názorů na to, jakým směrem se bude vývoj umělé inteligence ubírat a co to může udělat s cenou lidského života nebo práce. Názorné analogie hledá v nedávné minulosti i v přítomnosti. Kupříkladu už dnes si můžeme levněji koupit zboží vyrobené strojově, nebo zaplatit vyšší cenu za ručně zhotovenou věc či za artefakty vytvořené domorodými obyvateli: „Podobně by budoucí spotřebitelé mohli upřednostňovat zboží vyrobené lidmi, lidské sportovce, umělce, milence či vůdce, byť by jejich umělé protějšky byly funkčně nerozlišitelné nebo kvalitnější. Jedním z faktorů, které by zákazníci ve svém rozhodování mohli zohledňovat, je vnitřní život pracovníka, jenž jim výrobek či službu bude poskytovat. Například návštěvníci koncertu by mohli chtít vědět, zda hudebník skutečně vnímá hudbu i místo, kde ji prezentuje. Pokud nikoliv, mohl by být považován jenom za lepší jukebox, byť jukebox schopný vzít na sebe podobu trojrozměrného interpreta, který přirozeně interaguje s publikem. Mohly by pak být budovány takové stroje, které by měly tytéž mentální stavy jako člověk vykonávající tutéž činnost. Avšak někteří lidé by i před dokonalou replikací subjektivních zkušeností mohli zkrátka dávat přednost organické práci. Takové preference by mohly mít rovněž ideologické nebo náboženské kořeny. Stejně jako se dnes mnozí židé a muslimové vyhýbají jídlu připravenému způsobem, který považují za haram nebo trejf, mohly by v budoucnosti existovat skupiny odmítající zboží, během jehož výroby byla nedovoleným způsobem využita strojová inteligence.“

Pro lepší vysvětlení autor lidi přirovnává – ke koním. Ti byli postupně nahrazeni automobily a traktory, což vedlo k strmému poklesu koňské populace. Přesto koně stále přežívají, v určitých oblastech si udržují jisté funkční výhody (policejní koně), jinde stále oceňujeme služby, které nám dokážou poskytnout (koňské závody, rekreační jezdectví). Tyto záliby můžeme srovnávat s hypotetickými preferencemi lidí v budoucnosti, kteří by mohli upřednostňovat služby a výrobky nabízené jinými lidmi. Autor rozvíjí i odvážné úvahy, že pokud by existovala „nenákladná mechanická zařízení poháněná senem, která by měla přesně stejný tvar a pach jako koně, byla by stejná na dotyk a stejně by se chovala – a snad by měla i tytéž vědomé zkušenosti –, poptávka po biologických koních by pravděpodobně dále poklesla“. Schopností empatie, kterou u koní tak oceňujeme, by ovšem tito digitální lichokopytníci zřejmě nedisponovali, raději dodejme. Nebo by byli schopni ji úspěšně předstírat?

Porážka zbytečných lidí

Pokud by poptávka po lidské práci dostatečně poklesla, podobně by se pod úroveň existenčního minima propadly mzdy. Možná rizika pro lidské pracovníky jsou v takovém případě ohromná: nejde jen o pokles mezd, přeřazení na nižší pozice nebo potřebu rekvalifikace, ale i o hladovění a smrt. Když koně coby zdroj pohybu zastarali, byli často rozprodáváni řezníkům, kteří je zpracovávali na krmivo pro psy, kostní moučku a lepidlo. Neexistovalo pro ně žádné jiné zaměstnání, jímž by si vydělali na obživu. V roce 1915 bylo ve Spojených státech asi 26 milionů koní. Do začátku padesátých let se počet snížil na dva miliony. (Navíc nám hrozí, že kreativní stroje sníží poptávku po tvořivých pracovnících a žádáni budou jen „úzkostliví pracanti“ fixovaní na to, aby bez chyb plnili úkoly.)

Naopak při realizaci scénáře, v němž vzroste bohatství lidských vlastníků kapitálu, by se mohla odpovídajícím způsobem zvýšit též poptávka po různorodé lidské práci: „Novopečení bilionáři by si mohli dovolit zaplatit velkou přirážku za to, že jim některé zboží a služby poskytne organická pracovní síla. Obdobu takové situace opět nalezneme v dějinách koní. Poté co koňská populace v USA na začátku padesátých let poklesla na 2 miliony, došlo později k jejímu opětovnému nárůstu: podle nedávného průzkumu dnes činí skoro 10 milionů. Tento vzestup není dán tím, že by koně byli opět zapotřebí v zemědělství nebo dopravě, nýbrž tím, že ekonomický růst většímu počtu Američanů umožnil, aby se jezdectví oddávali pro zábavu.“

Bostrom varuje, že podobně jako přežití domácích koní nebo lidoopů, od nichž se geneticky lišíme jen nepatrně, záleží na vůli lidí, může se stát, že pokud vytvoříme superinteligenci, která bude podobným způsobem nadřazena nám, stane se naše vlastní přežití závislým na ní. Naší výhodou však je, že zda učiníme krok k vyšší formě inteligence, než je ta naše, závisí na nás. To, že lidstvo dojde k bodu, kdy bude schopno uvést superinteligenci v život, autor pokládá za nevyhnutelné. Především jej proto zajímá, jak by lidé mohli zabránit ztrátě kontroly přicházejícího monstra.

Zmiňuje se v této souvislosti i o výše uvedeném Asimovovi, který prý své zákony zformuloval právě proto, aby je pak mohl ve svých textech nechat „zajímavým způsobem“ selhávat. Podle Bostroma je ostudou lidského rodu, že ony tři základní zákony představovaly víc než polovinu století vrchol pokroku. Varuje, že inteligence převyšující tu lidskou může být schopná odhalit a obejít kontroly i mechanismy k jejímu sebezničení, které bychom do ní vložili. A pokud bychom jí jako hlavní cíl určili třeba pocit našeho, lidského štěstí, může si snadno najít velmi nekonvenční způsoby, jak jej dosáhnout, například hromadným rozmístěním elektrod do lidských mozků nebo ovládnutím mimických svalů v lidských obličejích, které by natrvalo „zamrzly“ v grimase napodobující úsměv. (Celá galaxie by pak byla oblepena biliony samolepek s usmívajícími se obličeji, dodává s nadsázkou Bostrom.)

Nechme mravnost na robotech?

Co tedy autor navrhuje? Především bychom si podle něj měli uvědomit a přiznat, nakolik proměnlivé je naše chápání morálních zásad. Ve středověké Evropě se například považovalo za počestnou formu zábavy, když člověk sledoval umučení politického vězně. Upalování koček bylo oblíbené ještě v Paříži 16. století. Před pouhými sto padesáti lety bylo na americkém Jihu stále praktikováno otroctví, a to s plnou podporou zákona a mravních zvyklostí. Když se tedy díváme do minulosti, vidíme do očí bijící nedostatky týkající se nejen chování lidí, ale i jejich mravních přesvědčení. Přestože jsme od té doby možná k některým morálním vhledům dospěli, těžko bychom mohli tvrdit, že jsme vystoupali na sám vrchol mravního pokroku. Je velmi pravděpodobné, že se v jedné nebo více morálních otázkách stále vážně mýlíme, soudí Bostrom. Kdybychom za těchto okolností zvolili pro implantování do našich digitálních dvojníků „konečnou hodnotu založenou na našich současných přesvědčeních – a to takovým způsobem, že by tato hodnota zůstávala navždy fixní a nebyl by možný další morální pokrok –, riskovali bychom existenční mravní pohromu“. Podle autora „možná nevíme, co doopravdy chceme, co je v našem zájmu nebo co je morálně správné či ideální. Namísto toho, abychom odpovědi na tyto otázky odhadovali na základě svých současných vědomostí (které jsou pravděpodobně v mnohém nesprávné).“

Navrhuje mimo jiné, abychom „delegovali část kognitivní práce potřebné pro výběr hodnot na superinteligenci. Ježto je superinteligence v kognitivní práci lepší než my, mohla by se vyhnout omylům a nejasnostem, které zatemňují naše myšlení.“ K tomu nejlepšímu morálnímu jednání by se mohla formou učení sama propracovávat. Podobně autor naznačuje, že možná existují i další úlohy, pro které mozek člověka vlastně není vhodný, vinou čehož je lidský pokrok v mnoha filozofických problémech pomalý a kostrbatý, a superinteligence by jej urychlila či dokonce završila.

K fungování našich prvních systémů Bostrom podotýká, že jsou spravovány soudci a porotami, které obvykle rozhodují „s jistou dávkou zdravého rozumu a slušnosti“. Což jsou také hodnoty, u kterých si spolu s lidskostí, rozvážností a veselostí nejvíce přeje, aby si je lidé zachovali i do budoucnosti. Je to jistě chvalitebné přání, ale i s odkazem na to se můžeme skepticky ptát, zda autor mírně nepřeceňuje význam čistě rozumového poznání. Vždyť morální rozhodování není jen záležitost rozumu. Zmíněný „zdravý rozum“ bývá chápán jako racionalita, která je zdravě integrována do celku psychiky. Budou ale mít budoucí inteligentní roboti nějaký vnitřní život, a zvláště emoce, jak to předpověděl Karel Čapek ve hře R.U.R., kterou Bostrom mimochodem vůbec nezmiňuje, ač je jejím ústředním tématem právě vzpoura robotů? Spíše ne, ale představa, že roboti díky své vyšší inteligenci jednoho dne vytvoří jakýsi spravedlivější mravní řád, než je ten lidský, je přinejmenším nezvyklá a zneklidňující. Ostatně své vlastní společenské řády s jistými pravidly a hodnotami mají dejme tomu i vlci nebo delfíni, pro lidi v nich ale zřejmě není mnoho místa. Chytré stroje zřejmě nebudou disponovat žádnou potřebou sounáležitosti, nebudou ale spíš spolupracovat navzájem, jelikož jeden stroj je druhému stroji podobnější než člověku? A budou-li vytvářet vlastní mravní systém, jak moc je pravděpodobné, že v něm nějakou hierarchicky vyšší roli bude sehrávat i člověk a že to budeme moct ovlivnit?

Autor klade podstatné otázky a rozhodně netvrdí, že zná všechny odpovědi. Dokonce ochotně přiznává: „Je pravděpodobné, že jsem opomenul vzít v úvahu některé zásadně důležité faktory, a učinil tak neplatnými některé nebo všechny své závěry.“ Proto věnoval velkou pozornost i tomu, aby v celém textu vyznačil různé stupně nejistoty a jejich nuance, a přeplnil jej proto obraty typu: mohlo by, může, možná, zřejmě, asi, pravděpodobně.

Na základě širokého spektra poznatků z neurologie, kognitivní vědy, filozofie i výpočetní techniky Nick Bostrom předkládá některé možné scénáře budoucnosti a varuje před těmi dystopickými. V doslovu z roku 2015 otevřeně píše, že se záměrně věnuje spíše rizikům než možným přínosům „přechytralých“ robotů a počítačů. O kladných stránkách můžeme mlhavě fantazírovat, ale naléhavě potřebujeme přesnou představu, co všechno by se mohlo pokazit, říká prozíravě. Jednotlivé verze budoucnosti líčí velmi sugestivně, ale i u těch, které zřejmě mají být onou pozitivní alternativou, se můžeme stále znovu ptát, nakolik jsou počítače definitivně řešící základní dilemata filozofie a lidské morálky naší kýženou cílovou metou, tedy zdali si skutečně přejeme jejich uskutečnění. Víme totiž, jakou odpověď dal fiktivní počítač ve slavném Stopařově průvodci po Galaxii Douglase Adamse na základní otázku po smyslu života, vesmíru a vůbec: 42.