Василиск Роко

С самого начала я должен предупредить, что приступая к чтению этой статьи, вы подвергаете себя потенциальной опасности в будущем, которой, впоследствии, вы не сможете избежать. И пусть она, на первый взгляд, гипотетическая, само наличие этой концепции делает её вполне вероятно реальной. Итак, я вас предупредил. Если вы готовы, то поехали.

Василиск Роко появился на стыке философского мысленного эксперимента и городской легенды. Первое упоминание о нем появилось на дискуссионном борде Less Wrong, где собираются люди, заинтересованные в оптимизации мышления и жизни через призму математики и рациональности. Его создатели являются значимыми фигурами в техно-футуризме, и среди достижений их исследовательского института — вклад в академическую дискуссию о технологической этике и теории принятия решений. Однако то, что вы собираетесь сейчас прочитать, может показаться странным и даже безумным. Несмотря на это, весьма влиятельные и состоятельные ученые верят в это. (не говоря уже об огромном количестве простых людей)

Однажды пользователь с именем Roko выложил следующий мысленный эксперимент: что если в будущем возникнет злонамеренный искусственный интеллект, который захочет наказать тех, кто не выполняет его приказы? И что если он захочет наказать тех людей, которые в прошлом не способствовали его созданию? Стали бы в таком случае читатели Less Wrong помогать злому ИИ появиться на свет или были бы обречены им на вечные мучения?

Основатель Less Wrong Елиезер Юдковски с гневом воспринял высказывание Roko. Вот что он ответил ему: «Вы, должно быть, умны, раз пришли к такой мысли. Однако меня печалит, что люди, которые достаточно умны, чтобы представить себе такое, недостаточно сообразительны, чтобы ДЕРЖАТЬ СВОЙ ДУРАЦКИЙ ЯЗЫК ЗА ЗУБАМИ и никому не говорить об этом, так как это важнее, чем показать себя умным, рассказывая об этом всем своим друзьям».

Юдковски признал, что Роко повинен в кошмарах, посещающих пользователей Less Wrong, успевших прочесть тред, и удалил его, благодаря чему Василиск Роко стал легендой. Этот мысленный эксперимент стал настолько опасным, что размышления о нем ставили под угрозу душевное здоровье пользователей.

Чем же занимается Less Wrong? Формированием концепции будущего человечества на основе сингулярности. Они верят, что вычислительная мощность в будущем станет настолько высокой, что с помощью компьютера можно будет создать искусственный интеллект — а вместе с ним и возможность загружать человеческое сознание на жесткий диск.
Термин «сингулярность» возник в 1958 году в ходе дискуссии двух гениев математики — Станислава Улама и Джона фон Неймана, когда Нейман сказал: «Постоянно ускоряющийся прогресс технологий сделает возможным приближение сингулярности, при которой технологии не смогут быть поняты людьми». Футуристы и писатели-фантасты вроде Вернора Винджа и Рэймонда Курцвейла популяризировали термин, так как считали, что сингулярность ждет нас всех уже очень скоро — в ближайшие 50 лет. Пока Курцвейл готовится к сингулярности, Юдковски возлагает большие надежды на крионику: «Если вы заранее не записали своих детей на криоконсервацию, вы — паршивые родители».

Если вы верите, что грядет сингулярность и что мощные ИИ появятся уже в ближайшем будущем, возникает закономерный вопрос: будут ли они дружелюбными или злыми? Фонд Юдковски ставит своей целью так направить развитие технологий, чтобы у нас появился именно дружественный искусственный интеллект. Этот вопрос для него и многих других людей имеет первостепенное значение. Сингулярность приведет нас к машине, эквивалентной богу.
Таким образом, Василиск Роко опасен только для тех, кто в него верит — в связи с этим участники Less Wrong, поддерживающие идею Василиска, обладают своего рода запретным знанием, что напоминает нам страшные истории Лавкрафта о Ктулху или Некрономиконе. Однако, если вы не подписываетесь под всеми этими теориями и не чувствуете искушения повиноваться коварной машине из будущего, Василиск Роко не представляет для вас никакой угрозы.

Ниже прилагаю видео, объясняющее концепцию Василиска Роко более подробно.