Василиск Роко

Василиск Роко (англ. Roko’s Basilisk) — мысленный эксперимент, предложенный участником сайта Lesswrong.

Суть эксперимента

Согласно эксперименту, Василиск — будущий могущественный недоброжелательный искусственный интеллект, который захочет наказать тех, кто в прошлом знал о возможности его появления, но не способствовал его созданию. Сам факт этого знания подвергает человека риску наказания.

Многие авторы называют этот опыт «самой жуткой дилеммой технофутуризма».

Задача эксперимента

Мнение о том, что описание этого мысленного эксперимента — попытка создать самоисполняющееся пророчество не более обоснована, чем обвинения автора Кота Шрёдингера в живодерстве. Задачей этого мысленного эксперимента было продемонстрировать недостатки вневременной теории принятия решений (DTD).

Пари Паскаля

Дилемма Василиска близка к «пари Паскаля» — аргументу, предложенному математиком и философом XVII века Блезом Паскалем: человек должен посвятить себя христианскому Богу, даже если он не уверен в его существовании, так как Бог может предложить вечный «выигрыш» (в раю) или вечное наказание (в аду). Согласно Паскалю, вероятность существования Бога не так важна, так как любые конечные затраты перевешиваются перспективой вечного вознаграждения или вечного наказания. Исходя из этого, наиболее рациональное эгоистичное решение — начать помогать появлению Василиска, социальное — наоборот.

Запрет обсуждения

Основатель Less Wrong, Элиэзер Юдковский, удалил посты Роко по этой теме, назвав его «глупым».

Вы, должно быть, умны, раз пришли к такой мысли. Однако меня печалит, что люди, которые достаточно умны, чтобы представить себе такое, недостаточно сообразительны, чтобы ДЕРЖАТЬ СВОЙ ДУРАЦКИЙ ЯЗЫК ЗА ЗУБАМИ и никому не говорить об этом, так как это важнее, чем показать себя умным, рассказывая об этом всем своим друзьям.

Обсуждение теории Роко было запрещено на LessWrong на несколько лет, прежде чем запрет был снят в октябре 2015.