Na obrazovce měsíční základny se objevila tvář starého muže. "Nic se nemohlo stát, všichni jsme věřili prvnímu zákonu robotiky: Robot se nikdy nesmí postavit proti člověku… Jaký to však byl omyl! Začalo to tím, že jsme předali robotům výrobní proces i kontrolu nad vlastním vývojem."

Tato slova Ola Jensena si vyslechla posádka hvězdoletu Prometheus při návratu na Zemi po letech ve vesmíru v dnes již legendárním komiksu Vzpoura mozků, který poprvé vyšel v časopise ABC na konci 70. let minulého století. Autoři Václav Šorel a František Kobík se v něm pokusili zpracovat dilema, nad kterým přemýšlejí vědci od chvíle stvoření prvního automatu a možná ještě déle: co se stane, až se roboti či umělá inteligence − prostě stroje − stanou chytřejšími než lidé a budou se sami vyvíjet nezávisle na svých lidských stvořitelích.

Tehdy v sedmdesátých letech to byla opravdu sci-fi.

S nástupem umělé inteligence do průmyslu a do služeb v posledních letech se dilema vrací, protože strojovou inteligenci si může osahat doslova každý, kdo se někdy pokouší vyhledat něco na Googlu nebo používá asistenta v chytrém telefonu, ať už se jmenuje Siri, Alexa, Cortana nebo Bixby.

Problém, který Ol Jensen pojmenoval, lidstvo zahnané do podzemí v komiksu vyřešilo až po dlouhých bojích s roboty. Ten problém ale v reálném světě už nyní existuje.

Populární literatura a média se věnují debatám o tom, jak roboti a umělá inteligence nahrazují lidskou práci.

Média si všimla prvních havárií automobilů Tesla řízených umělou inteligencí a rozběhla se debata o regulaci strojové inteligence.

Poradenská firma Eurasiagroup letos v srpnu upozornila ve své analýze, že Evropská unie a Čína jsou ve světě nejdál, pokud jde o první náčrty toho, jak nové odvětví vlastně regulovat, zatímco USA − tak jako mnohokrát v minulosti − nechávají vývoji volný průběh.

Je to podobné jako třeba s geneticky upravovanými potravinami: Evropa uplatňuje princip předběžné opatrnosti, zatímco Amerika čeká, až se něco stane, a teprve potom bude něco regulovat.

U umělé inteligence však může tento tradiční americký přístup v budoucnu narazit.

Švédský vědec Nick Bostrom ve své knize "Superinteligence. Až budou stroje chytřejší než lidé" načrtává možné scénáře toho, jak lidstvo dojde do momentu, kdy umělá inteligence začne být chytřejší než člověk, a co se bude dít dále.

Lidstvo zlenivělo

V knize, která právě vyšla v češtině a kterou jako varování chválí velikáni technologického průmyslu Bill Gates či Elon Musk, řeší Bostrom přesně ono dilema komiksu, které popisuje Ol Jensen astronautům: jak zabezpečit, aby umělá inteligence nepřekročila jisté zákony, etiku, morálku.

"Jak (hlavní robot) pozbyl prvního zákona, již nikdy nezjistíme. Pro nové roboty první zákon neplatí. Postupně nahradili ostatní a pak začal boj s lidstvem," popisuje Jensen to, čemu o třicet let později věnoval Nick Bostrom svoji téměř pětisetstránkovou knihu.

Umělá inteligence začíná nahrazovat nejen řidiče aut, ale třeba i manažery podílových fondů. Mezi budoucí zaměstnání, o kterých se hovoří a která ještě neexistují, patří třeba trenér spolupráce robotů s lidmi.

Roboti v továrnách, umělá inteligence v mobilní aplikaci, humanoidi, to je konvenční a z hlediska toho, co nás v blízké budoucnosti čeká, i realističtější pohled na umělou inteligenci.

Nick Bostrom ale nabízí něco jiného. Pojmenovává a analyzuje dilemata, která dnes stále vypadají jako sci-fi, ale na která si tvůrci umělé inteligence budou muset začít odpovídat už nyní, protože to v zásadě určí osud člověka a jeho civilizace.

Ve vizi českých autorů komiksu lidstvo zlenivělo a nechalo se roboty zaskočit. V dnešní realitě kromě zlenivění hrozí ještě zchudnutí většiny lidí vlivem automatizace.

Debata o základním nepodmíněném příjmu, která se vede v západní společnosti jako reakce na to, že kvůli automatům a umělé inteligenci bude méně práce pro lidi, naznačuje to samé: lidi nebude k práci nic nutit, když budou mít zajištěný příjem od státu.

Čekání na inteligenční revoluci

Jedna věc je ekonomická otázka, kde stát na takové obří výdaje vezme peníze, ale druhá je právě morálně-etická: jak zajistit, aby lidé ochotně a sami od sebe neodevzdali svoji budoucnost do rukou umělé inteligence?

Nebo aby si ji ona sama nevzala, až bude schopna před svými tvůrci či kontrolory ukrývat své pravé úmysly? Až bude prostě chytřejší než člověk.

Bostrom nedává jednoznačnou odpověď. V zásadě jen naznačuje směry, kterými by se vývoj mohl ubírat, jaké druhy umělé inteligence by se mohly vyvinout, jaké hrozí jejich politické či mocenské zneužití a jaké by mohlo být komerční využití.

Při přemýšlení o tomto vývoji zdůrazňuje jednu věc, kterou si dnešní obdivovatelé robotů málo uvědomují: inteligenční revoluce či inteligenční exploze − tedy vznik umělé inteligence, která nejen předčí člověka, ale bude schopna i obnovovat sebe sama − může přijít pomalu, krok za krokem a na několika místech najednou. Nebo ale také znenadání, rychle a učící schopnost takové inteligence zdaleka přesáhne cokoli dnes představitelného. Může znásobovat své vědomosti a schopnosti v řádu minut či sekund.

Pokud lidstvo do toho momentu nenajde způsob, jak umělé inteligenci vštípit základní hodnoty − a jaké by to vlastně měly být −, má obrovský problém. "Zápornou hodnotu (tedy škodlivé následky) by mohly mít například některé problémy v oboru umělé inteligence, jejichž vyřešení by urychlilo vývoj strojové inteligence, aniž by jakkoliv uspíšilo vývoj kontrolních metod, díky kterým by lidstvo inteligenční revoluci mohlo přežít a mít z ní prospěch," je základní paradox, který Bostrom ve své knize popisuje.

Vzhledem k tomu, jak rychle postupuje kupředu vývoj moderních technologií, se ve světle Bostromových úvah nabízí kacířská otázka: Neměli bychom zpomalit, abychom si nejdříve vyřešili morální dilemata, abychom byli schopni vyvinout účinné systémy kontroly?

Soutěživá složka lidské přirozenosti a touha po (komerčním, mocenském) úspěchu ale velí, že něco takového je možné zřejmě jen v pohádkách, jako byl právě komiks Vzpoura mozků, kde lidstvo za své přežití zaplatilo strašlivou cenu.

Bostromova kniha a řada děl sci-fi ve světle vývoje moderních technologií ukazují, že vývoj umělé inteligence až k superinteligenci, která předčí lidstvo, není technickou otázkou (Bostrom pracuje s pojmem hardwarový převis čili až překotný vývoj strojů spojený s Moorovým zákonem o růstu výkonu počítačů), ale v zásadě hlavně otázkou
filozofickou a morální.

Půjde o rozhodnutí člověka, jak naloží se svojí budoucností jako s živočišným druhem, protože v podobě superinteligence si sám vytvoří nebezpečnou konkurenci.

Je to do jisté míry podobné dilema jako při rozhodování o použití jaderných zbraní za studené války, kdy se všeobecně předpokládalo, že by v takovém případě nastal konec světa − říkalo se tomu princip vzájemně zaručeného zničení a vlastně vedl k tomu, že jaderné zbraně proti sobě ani Sovětský svaz, ani Spojené státy nepoužily.

Jenže v případě superinteligence − ať už to bude brzo, tedy za desítky let, nebo později, tedy za stovky let − nebude proti rozhodování člověka stát jiný člověk, ale stroj, jehož motivace, schopnosti, zkušenosti a znalosti budou radikálně odlišné od čehokoli, co tato planeta dosud zažila. "Superinteligence představuje výzvu, na niž nejsme připraveni a ještě dlouho na ni připraveni nebudeme. Nemáme moc dobrou představu, kdy dojde k výbuchu, ale když k zařízení přiložíme ucho, můžeme slyšet slabé tikání," píše Bostrom.

Stačí se podívat na svůj chytrý telefon a zeptat se asistenta v něm třeba na to, kdo vymyslel slovo robot.