Robot je nebezpečnější zbraň než atomová bomba. Už zřejmě i zabíjel

Mohou operovat nezávisle, vybírat si a útočit na cíle bez lidského zásahu. Zbrojní průmysl po celém světě do nich investuje značné prostředky. Jen Spojené státy vyčlenily na jejich vývoj v letech 2016 až 2020 osmnáct miliard dolarů (400 miliard korun). Budoucnost patří autonomním zbraňovým systémům – robotům s kulomety.

Pohled z očí do očí s robotem mění lidský mozek, prokázala studie

Lidskoprávní organizace se již roky snaží tyto systémy regulovat a eventuálně jejich vývoj zakázat. Tyto průlomové technologie podle nich mohou nebezpečně destabilizovat současnou situaci. Mohou radikálně totiž změnit vnímání strategické dominance, což jen zvýší riziko dalších preventivních útoků, nebo budou kombinovány se zbraněmi chemickými, biologickými či jadernými.

„Jako specialista na lidská práva se zaměřením na zbraně umělé inteligence se domnívám, že autonomní zbraně činí současnou nestabilní rovnováhu a omezené jaderné záruky ještě nestabilnější a omezenější,“ píše v analýze zveřejněné na webové platformě The Conversation James Dawes z Macalester Colledge v USA. V oblasti autonomních zbraní pak nalézá čtyři základní nebezpečí. Prvním je problém nesprávné identifikace.

Voják, nebo civilista?

Dokáží autonomní zbraně při výběru cíle odlišit nepřátelské vojáky od dospívajících dětí s hračkami v rukách? Spatří rozdíl mezi civilisty prchajícími před konfliktem a vojáky při taktickém ústupu? Rozsah a rychlost robotických systémů ovládaných stejným sofistikovaným softwarem a rozmístěných po velkém území může způsobit katastrofu, která v porovnání s chybou člověka při nedávném a tragickém americkém útoku bezpilotních letadel s dětskými obětmi v Afghánistánu, bude mít rozsah apokalypsy.

Expert na autonomní zbraně Paul Scharre to přirovnal k vadnému kulometu, který pokračuje ve střelbě i přes uvolnění spouště. Zbraň střílí, dokud mu nedojde munice, protože neví, že dělá chybu. Podobné technické závady jsou extrémně nebezpečné, protože běžný kulomet obsluhuje člověk, který ho nějak zastaví, zbaví ho nábojů nebo alespoň namíří bezpečným směrem. Autonomní zbraně podle své definice takové zabezpečení nemají, tvrdí Scharre.

V USA vzniká město uprostřed pouště. Za devět bilionů korun

Jak ukázaly četné studie podobných chyb napříč odvětvími, i nejlepší algoritmy - fungující tak, jak byly zamýšleny - mohou i přes relevantní výsledky šířit hrozivé chyby. Například neurální síť v nemocnici v Pittsburghu identifikovala astma jako rizikový faktor pro zápal plic; software pro rozpoznávání fotografií společnosti Google zaměnil Afroameričany za gorily; a nástroj společnosti Amazon na výběr vhodných uchazečů o zaměstnání systematicky hodnotil ženy negativně.

Problém není jen v tom, že systémy dělají chyby, ale že je dělají hromadně, a když se mýlí, jejich tvůrci často nevědí, proč se tak děje a netuší, jak to opravit.

Spirála násilí

Další dvě hrozby lze spojit i v jednu, týkají se totiž šíření moderních zbraňových systémů do světa. Začněme šířením autonomních ne příliš sofistikovaných zbraní – tzv. nízké úrovně. Tlak poptávky může totiž vést k vytvoření a prodeji něčeho, co lze považovat za autonomní ekvivalent kalašnikova – tedy populární a levné útočné pušky. Jeho robotický nástupce by byl k tomu ještě maximální efektivní a snadno dostupný po celém světě. Autonomní kalašnikov by se mohl dostat do rukou lidí mimo jakoukoliv kontrolu vlád, do rukou mezinárodních i domácích teroristů.

Ale i šíření drahých a sofistikovaných autonomních systémů nás vede ke spirále násilí a hrůzy. Směřuje totiž jen k další soutěži ve zbrojení a vytváření stále ničivějších verzí, včetně těch, do nichž by bylo možná namontovat chemické, biologické či a jaderné zbraně. Morální nebezpečí stále smrtonosnějších zbraní by byla umocněna eskalací v používání.

Spravedliví roboti. Umělá inteligence řeší pokuty za parkování i soudní spory

Špičkové autonomní zbraně tedy s největší pravděpodobností povedou k častějším konfliktům, protože omezí dvě základní síly, které válkám historicky bránily anebo je zkracovaly: péči o civilisty a vlastní vojáky.

Tyto nové zbraně budou nejspíš vybaveny nákladnými etickými regulátory, jejichž cílem bude minimalizovat vedlejší škody. Podle zvláštní zpravodajky OSN Agnes Callmardové bude k umlčení protestů vůči nim jistě použit tzv. mýtus chirurgicky přesného úderu, opakované jako mantra armádními představiteli. Autonomní zbraně ale zcela jistě sníží potřebu budovat vlastní jednotky i riziko jejich ztrát, což drasticky změní analýzu nákladů a přínosů vedení války.

Problém odpovědnosti

Jak píše The Conversation, asymetrické války – tedy konflikty vedené se zeměmi, které nemají konkurenční technologie - budou pravděpodobně stále častější. A konečně, autonomní zbraně prolomí poslední hranici, kterou si lidstvo stanovilo proti válečným zločinům a zvěrstvům. Tato práva sahají až k Ženevské úmluvě z roku 1864. Vycházejí z předpokladu, že lidé jsou zodpovědní za své činy i ve válce a že právo zabíjet ostatní vojáky v boji, nedává právo vraždit civilisty.

Roboti mají oči a krájí bagety. Firma B:TECH dělá stroje budoucnosti

Bude tedy vinen robot, který spáchá válečný zločin? Kdo bude postaven před soud? Zbraň? Velitel? Výrobce? Stát? Nevládní organizace a odborníci na mezinárodní právo se obávají, že autonomní zbraně povedou jen k dalšímu snížení odpovědnosti.

„Představte si svět, kde vojáci, povstalci nebo teroristi mohou použít neomezenou smrtící sílu s nulovým rizikem, kdykoli a na místě podle svého výběru, bez jakékoli právní odpovědnosti. Je to svět, kde nevyhnutelné algoritmické chyby, které již dnes trápí technologické giganty jako Amazon či Google, mohou vést k eliminaci celých měst,“ napsal závěrem profesor James Dawes a dodala: „Podle mého názoru by svět neměl opakovat katastrofické chyby ze závodů jaderného zbrojení. Neměl by náměsíčně směřovat k dystopii.“