Окружающая среда

Глобальные риски человечества

Петр Левич

Если верить фантастическим фильмам и компьютерным играм, наше будущее может быть довольно печальным. Стоит ли готовиться к апокалипсису, в беседе с директором департамента взаимодействия науки, технологий и общества Московского технологического института Петром Левичем рассказал футуролог, исследователь глобальных рисков, член Российского трансгуманистического движения Алексей Турчин.

Смертельный вирус можно создать в любой лаборатории

Петр Левич: Давайте сосредоточимся на вопросе социальных рисков технологий. Безусловно, многие технологии ограниченны в развитии этическими барьерами незаслуженно. Но есть ведь и ситуации, когда определенный сценарий применения технологии может иметь действительно негативные последствия для общества.

Алексей Турчин: Все социальные риски можно поделить на два класса: локальные и такие, которые могут привести к необратимым последствиям, например, гибели человечества. Я посвятил значительную часть своих исследований глобальных рисков, потому что они кажутся мне более важными. Они недостаточно изучены, и люди склонны их игнорировать.

Первый глобальный риск появился в 1945 году в момент взрыва атомной бомбы, когда возникла угроза термоядерной реакции в атмосфере. Потом появились мысли о ядерной войне, и люди начали оценивать происходящее и возможные варианты будущего. С технологическим прогрессом число рисков возросло. С каждым годом количество изобретений, грозящих человечеству гибелью, увеличивается. Кроме того, они становятся дешевле. Если во второй половине XX века создание ядерной бомбы требовало десятков миллиардов долларов, то сейчас разработка искусственных вирусов, способных уничтожить человечество, стоит миллионы, может, даже сотни тысяч долларов. Это приводит к тому, что число акторов, которые могут позволить себе сделать такое оружие, возрастает. И здесь вступают в силу не моральные законы, а законы больших чисел.

Действительно, теперь генно-модифицированный вирус, способный уничтожить все человечество, можно создать в любой университетской лаборатории. Это уравнивает шансы маргинальных групп и нашей цивилизации, которая кажется нам незыблемой.

У нас есть технологии, будущие супертехнологии и одна сверхтехнология. Ядерное оружие, автомобили, ракеты — это технологии, которые были созданы в XX веке и есть у нас сейчас. Супертехнологии появятся в будущем: это биотех и нанотех. И все они ведут к единственному окончательному изобретению — искусственному интеллекту. Это «король» всех разработок, потому что он сможет сделать технологии, о которых мы даже не подозревали.

Карта глобальных рисков человечества

Риски существующих технологий мы можем представить и в какой-то мере контролировать. Если мы говорим о нанотехе, то в будущем мы сможем создавать нанороботов, способных к саморепликации. Они могут выйти из-под контроля и начать реплицироваться в окружающей среде, потребляя живую материю в качестве питания, и за несколько дней заполнить всю Землю. Этот сценарий называется «серой слизью» и может привести к гибели всего живого. Конечно, мы можем сделать всемирную систему защиты, основанную на нанотехнологиях. Есть такой проект «Нанощит» — нечто вроде иммунной системы, которая будет сканировать окружающую среду на предмет появления враждебных нанороботов. С одной стороны, это защитит нас от повеления опасных репликаторов, а с другой, она будет централизованно управляемой и в случае неправильной команды может сама уничтожить все вокруг. На нынешнем уровне риск нанотехнологий ничтожен: мы не можем делать таких роботов из-за их высокой цены. Но через несколько лет будет возможным печатать их в гигантских количествах за небольшие деньги, а потом перейти к реплицированию. И это станет очень опасным, потому что одно такое устройство сможет уничтожить всю Землю. Если технологии растут экспоненциально, то риски растут быстрее, потому что увеличивается число акторов. Мы вступаем в фазу опасных технологий неподготовленными, так как изменения происходят слишком быстро.

Карта рисков нанотехнологий

Иллюстрация: Grey Goo

Давайте поговорим о негативных сценариях развития био- и нейротехнологий.

Самое простое — создать один или серию разных вирусов гриппа. Если каждый из них будет способен убить половину населения планеты, то достаточно нескольких десятков или сотен генетически модифицированных вирусов, чтобы гарантированно уничтожить все человечество. Это называется «мультипандемией». Такая ситуация может произойти, если одновременно появится много независимых биохакеров и биотеррористов, которые начнут соревноваться друг с другом в выпуске вирусов. Вспомним компьютерные вирусы: в начале 80-х годов они появлялись по одному, а с развитием интернета в 90-е их стали делать по миллиону в год. Переход от единицы в год к миллиону произошел буквально за пару десятилетий. То же самое может случиться и с биологическим вирусом. Но если мы можем восстановить данные на компьютере, то вернуть умершего человека не в наших силах. Последствия такой гонки биохакеров будут бесконечно тяжелыми.

Карта биологических рисков

В том, чтобы сделать вирус, нет никакой сложности: уже были опубликованы генокоды гриппа, испанки, разработан обновленный вирус оспы, в котором 2 буквы генетического алфавита определяют стопроцентную летальность на мышах и людях. То есть уже точно известно, какие буквы нужно поменять в вирусах, чтобы они приобрели абсолютную летальность. Сейчас появятся такие инструменты усиления, как биотехнологический искусственный интеллект, который позволяет конструировать различные ДНК, тестировать их, заказывать кастом-синтез ДНК. Возможности для биохакеров возрастают.

Кроме того, если никто не создает болезни нарочно, они могут возникнуть сами путем так называемого процесса «рекомбинации», когда внутри одного животного встречаются вирусы двух разных происхождений. Например, в свинье встречаются вирусы птичьего и человеческого гриппа, и так возникает свиной грипп. То есть рано или поздно он все равно бы возник, и ни одному биотеррористу не надо ничего делать.

Хорошие новости: сейчас ведутся работы по созданию универсальных средств защиты, различных вакцин. Например, Intel недавно профинансировал разработку макромолекулы методом вычислительных технологий. Эта молекула прилипает почти к любому виду вирусов, способна обеззараживать воду, а в организме человека она будет останавливать вирусы.

Болезнь может легко распространиться по планете за счет того, что у нас есть крайне развитый транспорт, в том числе авиасообщение. Кроме того, люди в целом очень похожи генетически. К примеру, разница между двумя любыми шимпанзе гораздо больше, чем разница между двумя любыми homo sapiens. Дело в том, что 70 тысяч лет назад люди прошли «бутылочное горлышко» эволюции, и теперь генетически они очень похожи. А шимпанзе существуют несколько миллионов лет, у них разная иммунная система, которая дает им защиту от болезней. С точки зрения вируса мы практически клоны.

Если мы посмотрим на более отдаленное будущее, то увидим, что там вариантов негативного применения технологий еще больше. Мы идем к тому, что сможем управлять всеми параметрами клетки, объединить компьютер с клеткой и программировать клетку с любыми свойствами, вставлять в нее гены. Таким образом мы можем выращивать бактерии с заданными свойствами и превращать их в своего рода нанороботов, которые будут выполнять нужные нам задачи. И тогда развитие биотехнологий приведет к развитию нанотехнологий с уже описанными рисками. Такой сценарий называется «зеленая слизь», по аналогии с «серой слизью» механических нанотехнологий.

И это только одна из сотни возможностей. Кроме того, есть технология CRISPR, которая позволяет достаточно просто редактировать гены в том числе взрослого организма. С помощью CRISPR можно вывести абсолютно доминантный ген. Он может быстро заменить популяцию москитов на ту, которая, допустим, не будет переносить малярию. Но возможен и обратный сценарий.

Визуализация технологии CRISPR. Иллюстрация: Massachusetts Institute of Technology

Благодаря биотехнологиям можно влиять на мозг человека, создавать нейрошунты, новые наркотики, это такой социальный риск, который описывали братья Стругацкие в своем романе «Хищные вещи века». Эта область уже давно должна стать сферой контроля различных организаций, которые следят за генокодами, синтезируемыми биохакерами. На ближайшие 10 лет самыми опасными для человечества являются биотехнологии. Потом их, скорее всего, сменят нанотехнологии, затем — угроза недружественного искусственного интеллекта. Причем нанотех может занять очень узкий промежуток времени и ускорить развитие искусственного разума. Если последний будет использован для контроля Земли или будет сотрудничать с государствами, у нас произойдет снижение всех рисков. Чтобы регулировать их, должно быть равное соотношение угрозы и контроля: высокий уровень обработки информации и прогнозирования.

В итоге получается, что скоро человечество окажется на развилке. Нас ждет или гибель, или создание единой цивилизации, управляемой искусственным интеллектом, и эпоха детального контроля жизни. И выбор между этими путями произойдет в течение XXI века.

В XXI веке люди достигнут бессмертия

Как искусственный интеллект сочетается с бессмертием?

В медицине развитие искусственного интеллекта направлено на предотвращение причин старения и смерти. Уже сейчас он используется для диагностики заболеваний, разработки новых лекарств, конструирования молекул и управления медицинскими нанороботами. Когда искусственный разум будет значительно превосходить человеческий, он сможет найти пути лечения рака, предотвращать аварии благодаря автопилоту на автомобилях, разработать технологию пересадку тела (или головы, смотря как посмотреть). Потом люди получат бессмертное тело, состоящее из наномеханизмов, в мозг человека будут внедрены нейроимпланты, и сознание будет загружено в компьютер или перенесено на другой носитель. Когда у нас появится сверхчеловеческий искусственный интеллект, фактически это будет равносильно достижению бессмертия. Если мы доживем до его создания, которое может произойти в середине XXI века, то мы автоматически получаем возможность прожить еще несколько десятков лет либо как индивидуальные существа, либо объединяясь в мозг-улей или реализуя другие возможности, которые нам сейчас неизвестны и недоступны для понимания.

Давайте уточним, что такое слабый и сильный искусственный интеллект.

У нас есть узкоспециализированный искусственный интеллект. Это система Deep Learning — нейронные сети, которые профессионально решают единственную задачу, ради которой они создавались. Однако в ближайшем будущем у нас появится универсальный искусственный интеллект, справляющийся с любыми заданиями. Это будет некой моделью человека, которая сможет ориентироваться в окружающей среде и вести контекстно адекватный диалог на естественном языке. Довольно быстро после этого мы сможем усовершенствовать интеллект до уровня, превосходящего возможности человека. В результате мы получим сверхразум, способный решать задачи, которые раньше были подвластны только всей цивилизации. Его сила будет равна и даже выше силы всей человеческой науки. И такой искусственный интеллект называется сильным ИИ.

Как избежать конца света?

Какие способы предотвращения глобальных рисков существуют на данный момент?

У меня есть классификация, которая включает в себя все известные способы.

Карта предотвращения глобальных рисков

Наиболее привлекательный — план А, который создаст инфраструктуру для предотвращения катастрофы. Он состоит из четырех этапов. Первый — международная кооперация под эгидой ООН. Так, например, было с вирусом Эбола: государства пообщались и отправили миссию в Африку. В принципе, у нас уже есть подходящая инфраструктура, однако в реальности ООН малофункциональна. Она начинает работать, только когда назревает настоящая угроза.

На второй стадии у нас появляется новая организация или новая форма делегирования. На третьей — создание международного агентства, которое занимается только глобальными рисками и обладает наднациональными полномочиями для их предотвращения. Потом нам нужно будет организовать нечто вроде всемирного правительства, но, к сожалению, подобное решение в нынешних или похожих на нынешние условиях может провести к новой мировой войне.

Город будущего. Иллюстрация: Epcot Center, 1982

Есть альтернативный путь — децентрализованный контроль, направленный на повышение уровня образования, морали и ценностей людей, чтобы уменьшить риск появления террористов. Можно пойти по пути, предложенном Дэвидом Брином, и ввести «прозрачное общество», децентрализованную систему контроля, где все будут наблюдать друг за другом через всемирную сеть веб-камер. Или же будет взаимный контроль, когда каждый контролирует своего соседа, друга, чтобы он не создал вирус. Возможно, координировать различные решения будет совет экспертов.

Также есть вариант изобретения искусственного интеллекта. Эта утопическая теория сводится только к одному вопросу: как создать разум, который решит все наши проблемы?

Четвертый путь — это повышение сопротивляемости среды к внешним угрозам. Он включает в себя цепь решений, которые снижают вероятность катастрофы за счет повышения защищенности жилых и промышленных объектов. В этот вариант входят строительство более прочных зданий и создание продуктовых запасов. Кроме того, нужно сделать человека более живучим. Если мы делаем нанотехнологичное тело, то оно уже устойчиво к биологическим вирусам.

План Б состоит в том, чтобы пережить глобальную катастрофу. Это создание бункеров, расселение на Луне, Марсе и за пределами Солнечной системы. Такое решение сохранит человеческую расу даже после глобальной катастрофы.

План С — собрать информацию о людях, диски, образцы ДНК, которая может храниться миллионы лет, и потом, если какая-то другая жизнь возникнет на Земле, то данные будут найдены.

У меня есть аналогичная карта путей достижения радикального управления жизнью, где тоже есть планы А, Б и С: выживание, потом крионика, цифровое бессмертие. Есть некая единая матрица, в которой разные модели будущего могут сосуществовать.

А есть ли рациональное обоснование того, что разговор о глобальных рисках сейчас актуален, как никогда? Может быть, это какой-то психологический паттерн, когда люди в каждом поколении хотят, чтобы уж на их долю точно выпал самый важный момент человеческой истории. Может быть это такой аналог вечной проблемы «отцов и детей», которая возникает в каждом поколении?

Такой психологический эффект, безусловно, есть. Каждому поколению хочется жить в самое высокотехнологичное, интересное и прогрессивное время. Обидно, если то самое будущее, оказаться в котором они мечтали, наступит только через 50 лет.

На самом деле был период в истории человечества, когда разговор о рисках был более актуальным. В 1980-е годы сотни тысяч людей выходили на демонстрации против ядерной войны, и они воспринимали угрозу глобальной катастрофы гораздо более серьезно, чем это делаем мы сейчас. Во-первых, тогда это был, с одной стороны, более понятный, а с другой — более новый риск. Люди хорошо представляли себе, что такое мировое война, но были в шоке от мощи вооружения, которое будет в ней применяться. Сейчас же ядерная угроза приелась. Мы видим, что, несмотря на мрачные прогнозы, ничего не случается, и думаем, что, может, и не случится. Однако это не так. Глобальные риски были, есть и будут, им нужно противостоять, думая не об экспонентах, а о том, как защитить свою жизнь и будущее всего человечества.

Подпишись на Аппарат
Facebook
Вконтакте
E-mail дайджест