Вторая идея в том, что люди всегда выбирают отрезок времени в 15-20 лет. Этого достаточно, чтобы убедить людей, что они работают над чем-то, что станет революционным в ближайшее время (потому что людей менее привлекают усилия, которые проявятся через века), но не настолько в ближайшее, что вы сразу же окажетесь чертовски неправы. Люди счастливы предсказывать появление ИИ до своей смерти, но желательно, чтобы это было не завтра и не через год, а лет так через 15-20.

Прогресс в измерениях

Армстронг отмечает, что если вы хотите оценить достоверность конкретного прогноза, есть много параметров, на которые можно взглянуть. К примеру, идея того, что интеллект человеческого уровня будет развиваться за счет моделирования человеческого мозга, как минимум предоставляет вам четкую схему для оценки прогресса. Каждый раз мы получаем все более подробную карту мозга, либо успешно имитируем определенную его часть, а значит прогрессируем в направлении конкретной цели, которая, предположительно, выльется в ИИ человеческого уровня. Может быть, 20 лет будет недостаточно для достижения этой цели, но мы хотя бы можем оценить прогресс с научной точки зрения.

А теперь сравните такой подход с подходом тех, кто говорит, что ИИ, либо нечто сознательное, «появится», если сеть будет достаточно сложной и будет обладать достаточной вычислительной мощностью. Возможно, именно так мы представляем человеческий интеллект и сознание, возникшие в процессе эволюции, хотя эволюция проходила миллиарды лет, а не десятки лет. Проблема в том, что у нас нет эмпирических данных: мы никогда не видели, как из сложной сети возникает сознание. Мы не только не знаем, возможно ли это, мы и знать не можем, когда нас это ждет, потому что не можем измерить прогресс на этом пути.

Существует колоссальная сложность в том, чтобы понять, какие задачи действительно сложны для выполнения, и это преследует нас с рождения ИИ и до сегодняшнего дня. Понять человеческий язык, случайность и творчество, самосовершенствование - и все сразу, просто невозможно. Мы научились обрабатывать естественную речь, но понимают ли наши компьютеры, что они обрабатывают? Мы сделали ИИ, которые кажется «креативным», но есть ли в его действиях хоть толика творчества? Экспоненциальное самосовершенствование, которое приведет к сингулярности, вообще кажется чем-то заоблачным.

Мы и сами не понимаем, что такое интеллект. Например, эксперты в области ИИ всегда недооценивали способность ИИ играть в го. В 2015 году многие думали, что ИИ не научится играть в го до 2027 года. Но прошло всего два года, а не двадцать. Значит ли это, что ИИ через несколько лет напишет величайший роман? Поймет мир концептуально? Приблизится к человеку по уровню интеллекта? Неизвестно.

Не человек, но умнее людей

Возможно, мы неправильно рассматривали проблему. Например, тест Тьюринга еще не был пройден в том смысле, что ИИ смог бы убедить человека в беседе, что тот говорит с человеком; но вычислительные способности ИИ, а также возможность распознавать закономерности и водить авто уже намного превышают уровень, доступный человеку. Чем больше решений принимают алгоритмы «слабого» ИИ, чем больше растет , тем больше данных скармливается нейросетям и тем большим будет влияние этого «искусственного интеллекта».

Возможно, мы пока не знаем, как создать интеллект человеческого уровня, но точно так же мы не знаем, как далеко сможем зайти с нынешним поколением алгоритмов. Пока они и близко не похожи на те страшные алгоритмы, которые подрывают общественный строй и становятся неким туманным сверхинтеллектом. И точно так же это не означает, что мы должны придерживаться оптимистичных прогнозов. Нам придется удостовериться, что в алгоритмы всегда будет закладываться ценность человеческой жизни, нравственность, мораль, чтобы алгоритмы не были совершенно бесчеловечными.

Любые прогнозы нужно делить надвое. Не забывайте, что на заре развития ИИ казалось, что он преуспеет очень быстро. И сегодня мы тоже так думаем. Прошло шестьдесят лет с тех пор, как ученые собрались в Дартмуте в 1956 году, чтобы «создать интеллект за двадцать лет», а мы до сих пор продолжаем их дело.

Искусственный интеллект – в последнее время одна из наиболее популярных тем в технологическом мире. Такие умы, как Элон Маск, Стивен Хокинг и Стив Возняк всерьез обеспокоены исследованиями в области ИИ и утверждают, что его создание грозит нам смертельной опасностью. В то же время научная фантастика и голливудские фильмы породили множество заблуждений вокруг ИИ. Так ли нам угрожает опасность и какие неточности мы допускаем, представляя уничтожение Земли Skynet, всеобщую безработицу или наоборот достаток и беззаботность? В человеческих мифах об искусственном интеллекте разобралось издание Gizmodo. Приводим полный перевод его статьи.

Это называли важнейшим тестом машинного разума со времен победы Deep Blue над Гарри Каспаровым в шахматном поединке 20-летней давности. Google AlphaGo победил на турнире по Го гроссмейстера Ли Седоля с разгромным счетом 4:1, показав насколько серьезно искусственный интеллект (ИИ) продвинулся вперед. Судьбоносный день, когда машины наконец превзойдут в уме человека, никогда не казался так близко. Но мы, кажется, так и не приблизились к осознанию последствий этого эпохального события.

В действительности, мы цепляемся за серьезные и даже опасные заблуждения об искусственном интеллекте. В прошлом году основатель SpaceX Элон Маск предостерег, что ИИ может захватить мир. Его слова вызвали бурю комментариев, как противников, так и сторонников этого мнения. Как для такого будущего монументального события, есть поразительное количество разногласий относительно того, произойдет ли оно, и, если да, то в какой форме. Это особенно тревожно, если принять во внимание невероятную пользу, которую может получить человечество от ИИ, и возможные риски. В отличие от других изобретений человека, у ИИ есть потенциал изменить человечество или уничтожить нас.

Трудно понять, чему верить. Но благодаря первым работам ученых в области вычислительных наук, нейробиологов, теоретиков в области ИИ, начинает возникать более четкая картина. Вот несколько общих заблуждений и мифов касательно искусственного интеллекта.

Миф №1: “Мы никогда не создадим ИИ с разумом сравнимым с человеческим”

Реальность: У нас уже есть компьютеры, которые сравнялись или превысили человеческие возможности в шахматах, Го, торговле на бирже и разговорах. Компьютеры и алгоритмы, которые ими руководят, могут становиться только лучше. Это лишь вопрос времени, когда они превзойдут человека в любой задаче.

Психолог-исследователь из университета Нью-Йорка Гари Маркус сказал, что “буквально каждый”, кто работает в ИИ, верит, что машины, в конце концов, обойдут нас: “Единственное реальное отличие между энтузиастами и скептиками – это оценки сроков”. Футуристы вроде Рея Курцвейла считают, что это может произойти в течение нескольких десятилетий, другие говорят, что потребуются века.

ИИ-скептики не убедительны, когда говорят, что это нерешаемая технологическая проблема, а в природе биологического мозга есть что-то уникальное. Наши мозги – биологические машины – они существуют в реальном мире и придерживаются основных законов физики. В них нет ничего непознаваемого.

Миф №2: “Искусственный интеллект будет иметь сознание”

Реальность: Большинство представляет, что машинный разум будет обладать сознанием и думать так, как думают люди. Более того, критики вроде сооснователя Microsoft Пола Аллена верят, что мы пока не можем достигнуть общего искусственного интеллекта (способен решить любую умственную задачу, с которой справляется человек), потому что нам не хватает научной теории сознания. Но как говорит специалист по когнитивной робототехнике Имперского колледжа Лондона Мюррей Шанахан, нам нельзя приравнивать эти две концепции.

“Сознание безусловно удивительная и важная вещь, но я не верю, что оно необходимо для искусственного интеллекта человеческого уровня. Если выражаться более точно, мы используем слово “сознание” для обозначения нескольких психологических и когнитивных признаков, которые у человека “идут в комплекте”, – объясняет ученый.

Умную машину, которой не хватает одного или нескольких подобных признаков, можно представить. В конце концов, мы можем создать невероятной умный ИИ, который будет неспособен воспринимать мир субъективно и осознано. Шанахан утверждает, что разум и сознание можно совместить в машине, но мы не должны забывать, что это две разных концепции.

То, что машина проходит тест Тьюринга, в котором она неотличима от человека, не означает наличие у нее сознания. Для нас передовой ИИ может казаться осознанным, но его самосознание будет не большим, чем у камня или калькулятора.

Миф №3: “Нам не стоит бояться ИИ”

Реальность: В январе основатель Facebook Марк Цукерберг заявил, что нам не стоит бояться ИИ, ведь он сделает невероятное количество хороших вещей для мира. Он прав наполовину. Мы извлечем огромную выгоду от ИИ: от беспилотных автомобилей до создания новых лекарств, но нет никаких гарантий, что каждая конкретизации ИИ будет доброкачественной.

Высокоразумная система может знать все о конкретной задаче, вроде решения неприятной финансовой проблемы или взлома системы вражеской обороны. Но вне границ этих специализаций, она будет глубоко невежественна и не сознательна. Система Google DeepMind эксперт в Го, но у нее нет возможностей или причин исследовать сферы вне своей специализации.

Многие из этих систем могут не подчинятся соображениям безопасности. Хороший пример – сложный и мощный вирус Stuxnet, военизированный червь, разработанный военными Израиля и США для проникновения и диверсии работы иранских атомных станций. Это вирус каким-то образом (специально или случайно) заразил российскую атомную станцию.

Еще один пример, программа Flame, использованная для кибершпионажа на Ближнем Востоке. Легко представить будущие версии Stuxnet или Flame, который выходят за пределы своих целей и наносят огромный вред чувствительной инфраструктуре. (Для понимания, эти вирусы не являются ИИ, но в будущем они могут его иметь, откуда и беспокойство).

Вирус Flame использовался для кибершпионажа на Ближнем Востоке. Фото: Wired

Миф №4: “Искусственный суперинтеллект будет слишком умен, чтобы совершать ошибки”

Реальность: Исследователь ИИ и основатель Surfing Samurai Robots Ричард Лусимор считает, что большинство сценариев судного дня, связанного с ИИ, непоследовательны. Они всегда построены на предположении, что ИИ говорит: “Я знаю, что уничтожение человечества вызвано сбоем в моей конструкции, но я все равно вынужден это сделать”. Лусимор говорит, что если ИИ будет вести себя так, рассуждая о нашем уничтожении, то такие логические противоречия будут преследовать его всю жизнь. Это, в свою очередь, ухудшает его базу знаний и делает его слишком глупым для создания опасной ситуации. Ученый также утверждает, что люди, говорящие: “ИИ может делать только то, на что его запрограммировали”, заблуждаются также, как и их коллеги на заре компьютерной эры. Тогда люди использовали эту фразу утверждая, что компьютеры не способны продемонстрировать ни малейшей гибкости.

Питер Макинтайр и Стюарт Армстронг, которые работают в Институте будущего человечества при Оксфордском университете, не соглашаются с Лусимором. Они утверждают, что ИИ в значительной мере связан тем, как его запрограммировали. Макинтайр и Армстронг верят, что ИИ не сможет совершать ошибок или быть слишком тупым, чтобы не знать, чего мы от него ожидаем.

“По определению, искусственный суперинтеллект (ИСИ) – субъект, с разумом значительно большим, чем обладает лучший человеческий мозг в любой области знаний. Он будет точно знать, что мы хотели, чтобы он сделал”, – утверждает Макинтайр. Оба ученых верят, что ИИ будет делать лишь то, на что запрограммирован. Но если он станет достаточно умен, он поймет, как это отличается от духа закона или намерений людей.

Макинтайр сравнил будущую ситуацию людей и ИИ с теперешним взаимодействием человека и мыши. Цель мыши – искать еду и убежище. Но она часто конфликтует с желанием человека, который хочет, чтобы его зверек бегал вокруг него свободно. “Мы достаточно умны, чтобы понимать некоторые цели мышей. Так что ИСИ будет также понимать наши желания, но быть к ним безразличным”, – говорит ученый.

Как показывает сюжет фильма Ex Machina человеку будет крайне сложно удерживать более умный ИИ

Миф №5: “Простая заплатка решит проблему контроля ИИ”

Реальность: Создав искусственный интеллект умнее человека, мы столкнемся с проблемой известной как “проблема контроля”. Футуристы и теоретики ИИ впадают в состояние полной растерянности, если их спросить, как мы будем содержать и ограничивать ИСИ, если такой появится. Или как убедиться, что он будет дружественно настроен в отношении людей. Недавно исследователи из Института технологий Джорджии наивно предположили, что ИИ может перенять человеческие ценности и социальные правила, читая простые истории. На деле, это будет куда более сложно.

“Предлагалось множество простых трюков, которые могут “решить” всю проблему контроля ИИ”, – говорит Армстронг. Примеры включали программирование ИСИ так, чтобы его целью было угождать людям, или, чтобы он просто функционировал как инструмент в руках человека. Еще вариант – интегрировать концепции любви или уважения в исходный код. Чтобы предотвратить ИИ от принятия упрощенного, однобокого взгляда на мир, предлагалось запрограммировать его ценить интеллектуальное, культурное и социальное разнообразие.

Но эти решения слишком просты, как попытка втиснуть всю сложность человеческих симпатий и антипатий в одно поверхностное определение. Попробуйте, к примеру, вывести четкое, логичное и выполнимое определение “уважения”. Это крайне сложно.

Машины в “Матрице” могли без проблем уничтожить человечество

Миф №6: “Искусственный интеллект нас уничтожит”

Реальность: Нет никакой гарантии, что ИИ нас уничтожит, или, что мы не сможем найти возможности контролировать его. Как сказал теоретик ИИ Элизер Юдковски: “ИИ ни любит, ни ненавидит вас, но вы сделаны из атомов, которые он может использовать для других целей”.

В своей книге “Искусственный интеллект. Этапы. Угрозы. Стратегии” оксфордский философ Ник Бостром написал, что настоящий искусственный суперинтеллект, после его появления, создаст риск больший, чем любые другие человеческие изобретения. Выдающиеся умы вроде Элона Маска, Билла Гейтса и Стивена Хокинга (последний предупредил, что ИИ может быть нашей “худшей ошибкой в истории”) также выразили обеспокоенность.

Макинтайр сказал, что в большинстве целей, которыми может руководствоваться ИСИ, есть веские причины избавиться от людей.

“ИИ может спрогнозировать, достаточно правильно, что мы не хотим, чтобы он максимизировал прибыль конкретной компании, чего бы это ни стоило клиентам, окружающей среде и животным. Поэтому у него есть сильный стимул, чтобы позаботится о том, что его не прервут, не помешают, выключат или не изменят его целей, поскольку из-за этого изначальные цели не будут выполнены”, – утверждает Макинтайр.

Если только цели ИСИ не будут точно отображать наши собственные, то у него будут достойные поводы не дать нам возможности остановить его. Учитывая, что уровень его интеллекта значительно превосходит наш, мы с этим ничего не сможем поделать.

Никто не знает, какую форму обретет ИИ и как он может угрожать человечеству. Как отметил Маск, искусственный интеллект может использоваться для контроля, регулирования и мониторинга другого ИИ. Или он может быть пропитан человеческими ценностями или преобладающим желанием быть дружественным к людям.

Миф №7: “Искусственный суперинтеллект будет дружелюбным”

Реальность: Философ Иммануил Кант верил, что разум сильно коррелирует с моральностью. Нейробиолог Давид Чалмерс в своем исследовании “Сингулярность: Философский анализ” взял известную идею Канта и применил ее к возникшему искусственному суперинтеллекту.

Если это верно… мы можем ожидать, что интеллектуальный взрыв приведет к взрыву моральности. Затем мы можем ожидать, что появившиеся ИСИ системы будут суперморальны также, как и суперинтеллектуальны, что позволит нам ожидать от них доброкачественности.

Но идея того, что развитый ИИ будет просветленным и добрым, по своей сути, не очень правдоподобна. Как отметил Армстронг, есть много умных военных преступников. Не похоже, что связь между разумом и моральностью существует среди людей, поэтому он поддает сомнению работу этого принципа среди других умных форм.

“Умные люди, ведущие себя аморально, могут вызывать боль гораздо больших масштабов, чем их более глупые коллеги. Разумность просто дает им возможность быть плохими с большим умом, она не превращает их в добряков”, – утверждает Армстронг.

Как объяснил Макинтайр, возможность субъекта достичь цели не относиться к тому, будет эти цель разумной для начала. “Нам очень сильно повезет, если наши ИИ будут уникально одаренными и уровень их моральности будет расти вместе с разумом. Надеяться на удачу – не лучший подход для того, что может определить наше будущее”, – говорит он.

Миф №8: “Риски ИИ и робототехники равнозначны”

Реальность: Это особенно частая ошибка, насаждаемая некритичными СМИ и голливудскими фильмами вроде “Терминатора”.

Если бы искусственный суперинтеллект вроде Skynet действительно захотел бы уничтожить человечество, он был не использовал андроидов с шестиствольными пулеметами. Гораздо эффективнее было бы наслать биологическую чуму или нанотехнологическую серую слизь. Или просто уничтожить атмосферу.

Искусственный интеллект потенциально опасен не тем, что он может повлиять на развитие роботетехники, а тем, как его появление повлияет на мир в принципе.

Миф №9: “Изображение ИИ в научной фантастике – точное отображение будущего”

Множество видов разумов. Изображение: Элизер Юдковски

Конечно, авторы и футуристы использовали научную фантастику, чтобы делать фантастические прогнозы, но горизонт событий, который устанавливает ИСИ, это совсем другая опера. Более того, нечеловеческая природа ИИ делает для нас невозможным знание, а значит и предсказание, его природы и формы.

Чтобы развлекать нас, глупых людишек, в научной фантастике большинство ИИ изображены похожими на нас. “Существует спектр всех возможных разумов. Даже среди людей, вы достаточно отличаетесь от своего соседа, но эта вариация ничто, в сравнении со всеми разумами, которые могут существовать”, – говорит Макинтайр.

Большинство научно-фантастических произведений, чтобы рассказать убедительную историю, не должны быть научно точны. Конфликт обычно разворачивается между близкими по силе героями. “Представьте, насколько бы скучной была история, где ИИ без сознания, радости или ненависти, покончил бы с человечеством без всякого сопротивления, чтобы добиться неинтересной цели”, – зевая, повествует Армстронг.

На заводе Tesla трудятся сотни роботов

Миф №10: “Это ужасно, что ИИ заберет всю нашу работу”

Реальность: Возможность ИИ автоматизировать многое, из того, что мы делаем, и его потенциал уничтожить человечество, две совсем разные вещи. Но согласно Мартину Форду, автору “На заре роботов: Технологии и угроза безработного будущего”, их часто рассматривают как целое. Хорошо думать об отдаленном будущем применения ИИ, но только если оно не отвлекает нас от проблем, с которыми нам придется столкнуться в ближайшие десятилетия. Главная среди них – массовая автоматизация.

Никто не ставит под сомнение, что искусственный интеллект заменит множество существующих профессий, от работника фабрики до высших эшелонов белых воротничков. Некоторые эксперты предсказывают, что половине всех рабочих мест США угрожает автоматизация в ближайшем будущем.

Но это не означает, что мы не сможем справиться с потрясением. Вообще, избавление от большей части нашей работы, как физической так и ментальной, – квази-утопическая цель нашего вида.

“В течении пары десятилетий ИИ уничтожит множество профессий, но это неплохо”, – говорит Миллер. Беспилотные автомобили заменят водителей грузовиков, что сократит стоимость доставки и, как следствие, сделает многие продукты дешевле. “Если вы водитель грузовика и зарабатываете этим на жизнь – вы потеряете, но все другие наоборот смогут покупать больше товаров на ту же зарплату. А деньги, которые они отложат, будут потрачены на другие товары и услуги, которые создадут новые рабочие места для людей”, – утверждает Миллер.

По всей вероятности, искусственный интеллект будет создавать новые возможности производства блага, освободив людей для занятия другими вещами. Успехи в развитии ИИ будут сопровождаться успехами в других областях, особенно в производстве. В будущем, нам станет легче, а не сложнее, удовлетворять наши основные потребности.

Правообладатель иллюстрации Thinkstock Image caption Симбиоз человека и машины - один из путей развития человечества

Умные машины научились блефовать, обыгрывать профессионалов в шахматы или Го, переводить и распознавать человеческий голос. Каждую неделю мы узнаем о все новых подвигах компьютерных программ, уже умеющих ставить медицинские диагнозы, рисовать не хуже Рембрандта, петь или генерировать текст. Стоит ли человеку опасаться искусственного интеллекта?

По-настоящему "горячей" тема искусственного интеллекта (ИИ/AI) стала в последние несколько лет. Ученые связывают это с бурным развитием нейронных сетей (одно из направлений исследований в области искусственного интеллекта), которое, в свою очередь, стало возможным с появлением мощных компьютеров.

"С начала 2010-х годов под влиянием впечатляющих успехов, полученных в результате применения многослойных нейронных сетей (в первую очередь сверточных и рекуррентных), эта область привлекла серьезное внимание как со стороны ученых и инженеров, так и со стороны инвесторов", - комментирует автор одной из российских шахматных программ, специалист по методам машинного обучения Сергей Марков.

Ученое сообщество может спорить о сроках появления умных машин, но сходится в одном: развитие технологий окажет безусловное влияние на общество, экономику и отношения между людьми в будущем. Уже сейчас раздаются призывы обдумать этические принципы разработки искусственного интеллекта, удостоверившись в том, что искусственный интеллект развивается в безопасном для людей направлении.

Этот м атериал подготовлен в качестве ответа на вопрос ы , присланны е нашими читателями о научных достижениях . Задать свои вопросы по другим темам вы можете по этим ссылкам ( , ).

Экономический эффект и влияние на рынок труда

Научная фантастика и Голливуд сформировали представление об "искусственном интеллекте" как о следующей форме жизни на планете, которая поработит человечество в Матрице или организует ему ядерный Судный день. Выживших добьет Терминатор.

Правообладатель иллюстрации Getty Images Image caption Умрет ли человечество от Skynet?

В действительности, несмотря на последние достижения в области искусственного интеллекта, до появления разумных машиносуществ еще далеко, признают ученые и специалисты. И те, и другие, впрочем, советуют на некоторые аспекты обратить внимание уже сейчас.

По оценкам исследовательской организации McKinsey Global Institute, в ближайшие десять лет новые технологии радикально изменят рынок труда на планете, что позволит сэкономить порядка 50 трлн долларов.

Изменения коснутся сотен миллионов рабочих мест. Люди все больше и больше будут перекладывать часть своих служебных заданий и многие рутинные задачи на машину, что позволит им сосредоточиться на творческой работе.

"С некоторой точки зрения у человечества в целом есть важная и интересная задача - развиваться каждому конкретному индивидууму гораздо быстрее, чем человечество развивает системы искусственного интеллекта", - считает эксперт, директор по распространению технологий "Яндекса" Григорий Бакунов.

Но вместе с автоматизацией неминуемо пострадают менее квалифицированные кадры, и уже сейчас необходимо задуматься, как их защитить, переучить и подготовить к новой жизни.

Пострадать, как показывает практика, могут не только синие воротнички, но и работники умственного труда. Несколько дней назад Goldman Sachs заменил команду из 600 трейдеров на двух человек и автоматизированные программы алгоритмического трейдинга, для обслуживания которых были наняты 200 разработчиков-программистов.

Правообладатель иллюстрации Thinkstock Image caption Многие задачи вскоре станут по силам роботизированным системам, которые последовательно начнут заменять людей

Искусственный интеллект сам по себе не тождественен автоматизации процессов, но развитие ИИ приведет к тому, что все больше задач будет по силам компьютерной программе.

Среди вариантов решения проблемы вытеснения человека машиной на рынке труда, как указывает Аллисон Дютман, координатор программ Foresight Institute - некоммерческой организации, базирующейся в Силиконовой долине для продвижения новых технологий, - введение понятия "универсальный базовый доход", который бы получал каждый житель вне зависимости от уровня дохода и занятости. Подобный доход финансировался бы за счет так называемого инновационного налога Land Value Tax, введение которого сейчас активно обсуждается в Силиконовой долине.

Личность ли искусственный интеллект?

Является ли роботизированная система личностью? Может ли умный компьютер голосовать? Какого он пола? Отношения человека и умной машины уже сейчас обсуждают депутаты Европарламента, задаваясь вопросом, следует ли наделять будущих роботом статусом "электронной личности".

Как указывает Дютман, люди нехотя делятся правами с теми, кто им непонятен, а значит будут сопротивляться "очеловечиванию" ИИ.

Правообладатель иллюстрации AFP Image caption Человека и машину разделяет главное - способность думать

"Принимая во внимание, как долго человечество шло к тому, чтобы наделить равными правами всех людей, вне зависимости от цвета их кожи, расы или гендера, можно уже сейчас предположить, что и машины они не сходу не признают равными.

Вместе с этическими появляются и юридические тонкости: кто возьмет на себя ответственность в случае аварии беспилотного автомобиля или поломки умного медицинского устройства - и нравственные вопросы: стоит ли развивать беспилотное оружие, способное действовать без ведома человека?

Третья этическая головоломка обсуждается чаще других и волнует человечество гораздо больше: что теоретически может сделать с человечеством суперинтеллект, настоящая умная машина?

Научить ИИ этике

Специалисты в области развития ИИ признают: пусть не в ближайшие 20-30 лет, но человечество все же доживет до появления настоящего искусственного интеллекта, который будет умнее своего создателя.

"Последний бастион будет взят тогда, когда будет создан так называемый "сильный ИИ" (Strong AI, Artificial General Intelligence), то есть такой ИИ, который будет способен решать неопределенно широкий спектр интеллектуальных задач", - говорит Сергей Марков.

А главное, такой ИИ сможет самостоятельно думать.

Исследованием угроз, которые таит ИИ, а также этическими проблемами, связанными с новыми технологиями, занимаются многие институты, в числе которых организация Future of Life Institute (Институт будущего жизни), Foresight Institute, Future of Humanity Institute, OpenAI и другие.

Решение Аллисон Дютман из Foresight Institute - дать компьютеру прочитать всю научную литературу, научные статьи, поднимающие вопрос об этике, и сделать эту информацию основой для его будущих решений.

Что такое Нейронные сети и какое у них будущее?

Большинство экспертов связывают прогресс в развитии ИИ с развитием нейронных сетей.

Нейронные сети - это одно из направлений исследований в области искусственного интеллекта, основанное на моделировании биологических процессов, которые происходят в человеческом мозгу.

Именно им мы обязаны появлению впечатляющих результатов в распознавании речи и изображений, постановке медицинских диагнозов, переводе текста и создании изображений, генерации речи и музыкальной композиции.

Правообладатель иллюстрации iStock Image caption Именно с развитием нейронных систем связывают ученые развитие искусственного интеллекта

На сегодня, как признают специалисты, нейронные сети признаны одним из лучших алгоритмов машинного обучения, а решения на их основе показывают на данный момент самые выдающиеся результаты.

И это несмотря на то, что современные нейронные сети устроены в полторы тысячи раз проще, чем головной мозг крысы.

"Пока что создаваемые нами нейронные сети относительно невелики по сравнению, скажем, с нейронной сетью человеческого мозга и, кроме того, они представляют собой весьма упрощенный аналог естественных нейронных сетей. Поэтому пока что при помощи нейронных сетей мы решаем в основном сугубо прикладные задачи", - рассказывает Сергей Марков.

Сейчас создаются специализированные процессоры для обучения таких сетей (так называемые нейроморфические процессоры), которые позволят увеличить скорость вычислений на несколько порядков.

Разработчики не просто заняты сейчас увеличением количества нейронов в сети, но и изменением конструкции сетей. "Сложные системы конфигурации сетей - то, с чем сейчас производится наибольшее число экспериментов", - рассказывает Григорий Бакунов.

Правообладатель иллюстрации iStock Image caption "Умных" помощников человека в ближайшее время станет больше - микросенсоры в стене, сенсор размером с пуговицу, оповещающий человека в случае опасности

А тот факт, что такие системы стали сравнительно доступными большому числу рядовых разработчиков, привел к появлению стартапов, экспериментирующих с нейронными сетями, например Prisma (приложение позволяет обрабатывать фотографии, превращая их в стилизации картин известных художников) и Mubert (онлайн-композитор электронной музыки).

Что нас ждет в ближайшее время

Как прогнозирует профессор Университетского колледжа Лондона и Principal Scientist Nokia Bell Labs Ник Лейн, человека будут окружать еще больше "умных вещей". Они станут компактнее и эффективнее.

Профессор приводит такой пример: если раньше встроенный в стену сенсор мог лишь осознавать, что кто-то прошел мимо, то в будущем он будет не только знать, кто конкретно прошел, но и как ведет себя человек, не нуждается ли в чем, не представляет ли он угрозу для себя или окружающих.

Сенсор размером с пуговицу сможет оповещать человека в случае опасности.

С профессором согласен и Григорий Бакунов из "Яндекса": "В ближайшее время нас ждет бум развития узких искусственных интеллектов, которые помогают решать какую-то одну довольно простую задачу, но которую они будут решать даже лучше, чем человек".

Правообладатель иллюстрации iStock Image caption Все больше появляется этических вопросов, связанных с развитием ИИ

"Наиболее вероятным путем развития нашей цивилизации является путь синтеза человека и машины: палка, одежда, автомобиль, мобильный телефон, кардиостимулятор или кохлеарный имплантат - по мере развития наши инструменты все более и более напоминают продолжение наших тел. Уже завтра машины смогут получать от человека мысленные команды, воспринимать мысленно формируемые визуальные образы, передавать информацию непосредственно в мозг - такие проекты уже сейчас существуют за стенами наиболее продвинутых технологических лабораторий", - подытоживает Сергей Марков.

Журналисты пока еще нужны?

Газета Financial Times в прошлом году провела довольно рискованный эксперимент, одновременно поставив задачу написать текст своему профильному корреспонденту и умной программе по имени Эмма. Обе статьи затем должен был прочитать редактор Financial Times и угадать, за какой из двух заметок стоит журналист, а за какой компьютер.

Перед этим своеобразным "краш-тестом" корреспондент Financial Times признавалась: "Я думаю, программа точно справится с задачей быстрее меня. Но, надеюсь, я все-таки сделаю это лучше".

Так и случилось: Эмма действительно оказалась быстрее - программа сгенерировала текст на основе статистики об уровне безработицы в Британии за 12 минут. Журналистке потребовалось 35 минут. И, как она сама впоследствии признавалась, Эмма превзошла ее ожидания. Программа не только умело обращалась с фактами, но и поставила новость в контекст, предположив, как возможный "брексит" (дело было в мае 2016 года, до референдума о выходе Британии из ЕС) может изменить ситуацию.

Правообладатель иллюстрации Thinkstock Image caption Заменят ли людей роботизированные системы? Лет 50 у человечества в запасе есть, успокаивают специалисты

Но кое-что Эмма сделала все же хуже журналистки. "Статья Эммы была написана немного более корявым языком. Но главное, в ней было очень много цифр, - признавался редактор FT. - А, пожалуй, главное, что мы тут пытаемся делать, так это выбирать только действительно важные цифры".

Эмма - продукт стартапа Stealth. В компании говорят, что у Эммы есть команда живых помощников, но утверждают, что все, что она пишет или делает, - продукт исключительно ее "мозгов".

И все-таки - надо ли бояться ИИ?

Многие, если не все специалисты, задействованные на сегодняшний день в разработке систем искусственного интеллекта, охотно признают, что ИИ не скоро сделает людей ненужными. Именно потому, что искусственный интеллект еще не настолько умен. Главное, чего ему на сегодняшний день не хватает, - автономной возможности думать.

"Сейчас бояться ИИ ни в каком виде не стоит. Можно подождать лет 30-40, пока действительно какие-то радикальные изменения произойдут", - считает Бакунов.

Но кое-что уже происходит: понемногу стирается грань между работой или задачей, выполненной человеком, и задачей, выполненной машиной. Как объясняют специалисты, уже сейчас порой бывает сложно понять, кто сидит внутри системы - человек или машина.

"Нет критериев, когда мы сможем понять, что внутри машины зародилось сознание", - задается вопросом Бакунов.

Человек станет скрепкой?

Известный адепт алармистской точки зрения, в рамках которой ужасы, описанные в Терминаторе, могут стать реальностью, - философ Ник Бостром - придерживается мнения, что достигший интеллектуального уровня человека ИИ способен будет уничтожить человечество.

Правообладатель иллюстрации Getty Images Image caption Станет ли описанное в фильме нашей повседневной реальностью?

Бостром объясняет на примере скрепок: вы ставите перед искусственным интеллектом задачу делать скрепки, как можно больше и лучше. ИИ в какой-то момент понимает, что человек представляет угрозу, потому что может выключить компьютер, что будет противоречить задаче делать как можно больше скрепок. В случае, если человек не представляет угрозу, ИИ решает, что человеческие тела состоят из атомов, которые можно использовать для производства отличных скрепок. Итог - компьютер изведет человечество на скрепки.

Такой сценарий многим кажется преувеличением. По мнению Сергея Маркова, например, "высокая эффективность выполнения нелепой цели несовместима с нелепостью этой цели - грубо говоря, ИИ, способный переделать весь мир в скрепки, будет неизбежно достаточно умен для того, чтобы отказаться от такой цели".

Искусственный интеллект как золотая рыбка

Британский специалист в области искусственного интеллекта, профессор когнитивной науки в Университете Сассекса Маргарет Боден относится к утверждениям о скором пришествии умных машин скептически.

Правообладатель иллюстрации Getty Images Image caption В мае 1997 года компьютер Deep Blue II впервые выиграл матч у Гарри Каспарова

Профессор приводит пример "золотой рыбки", когда в обмен на свободу рыбак загадывает три желания. Одно из желаний - вернуть сына с войны, второе - 50 тысяч долларов и третье - возможность наутро загадать еще одно желание.

В тот же вечер в дом рыбака постучали. Сына вернули с войны - в гробу. Рыбак получил страховку в 50 тысяч долларов.

"Замените в этой притче рыбку на ИИ, и все станет ясно - объясняет Боден. - Ах, да, на следующий день рыбак воспользовался третьим желанием и - отменил предыдущие два".

Возможен ли перенос сознания в машину?

Сергей Марков:

"Если говорить о возможности полного переноса сознания, то современными предшественниками такой технологии будущего являются проекты, подобные Blue Brain, направленные на создание действующих электронных аналогов мозга, а также проекты, направленные на создание интерфейсов мозг-машина (BCI) - аппараты для протезирования потерянного зрения, слуха, замены утраченных конечностей, даже частей мозга.

Правообладатель иллюстрации Science Photo Library Image caption Цель специалистов в области ИИ - создать "сильный искусственный интеллект", который был бы способен решать широкий спектр задач

Очень интересным и перспективным направлением является оптогенетика (в принципе для сопряжения мозга и машины можно менять не только машины, но и саму нервную ткань, создавая в ней искусственные фоторецепторы).

Когда будет решен широкий спектр инженерных задач в рамках таких частных проектов, я думаю, что задача переноса сознания станет вполне разрешимой. Уже сейчас мечтатели предлагают гипотетические схемы для осуществления подобного проекта.

Например, Ян Корчмарюк, предложивший в свое время название "сеттлеретика" для направления исследований, связанных с переносом сознания, считает, что наиболее перспективной схемой является использование специализированных нанороботов, внедряемых в нейроны человеческого мозга. Впрочем, для успешного воплощения подобной схемы необходимо решить целый ряд сложных инженерных проблем".

Искусственный интеллект (ИИ) - тема, которая уже давно не сходит со страниц научно-популярных журналов и постоянно затрагивается в кино и книгах. Чем больше специалисты развивают эту область науки, тем большими мифами она покрывается.

Развитие и будущее искусственного интеллекта волнует и тех, кто стоит у руля государства. Не так давно президент РФ Владимир Путин посетил офис «Яндекса» в день 20-летия компании, где ему объяснили, когда ИИ превзойдет человеческий интеллект.

Все, кто хоть немного проникает в суть потенциала искусственного интеллекта, понимают, что оставлять без внимания эту тему нельзя. Это не только важный вопрос для обсуждения, но и, наверное, один из самых значимых в контексте будущего.

Что такое искусственный интеллект и чего на самом деле боятся люди, рассказал «Снег. TV» специалист по методам машинного обучения Сергей Марков.

Как говорил Джон Маккарти, изобретатель термина «искусственный интеллект» в 1956 году, «как только он заработал, никто больше не называет его ИИ». ИИ уже вовсю реальность: калькуляторы, Siri, самоуправляемые автомобили и т. д., а в него все равно не верят. Почему так происходит, что люди отрицают существование ИИ?

Главным образом по причине терминологической путаницы, так как разные люди вкладывают в понятие «искусственный интеллект» совершенно разный смысл.

В науке искусственным интеллектом называют систему, предназначенную для автоматизации решения интеллектуальных задач. В свою очередь, под «интеллектуальной задачей» понимают такую задачу, которую люди решают при помощи своего, естественного интеллекта.

Легко заметить, что такое определение искусственного интеллекта чрезвычайно широко - под него попадает даже обычный калькулятор, т. к. арифметические задачи по сути тоже интеллектуальные, человек решает их при помощи своего интеллекта.

Поэтому внутри понятия «искусственный интеллект» была проведена важная граница, отличающая прикладной или, как еще говорят, слабый искусственный интеллект, предназначенный для решения какой-либо одной интеллектуальной задачи или небольшого их множества, от гипотетического сильного ИИ, также называемого универсальным искусственным интеллектом (англ. - artificial general intelligence).

Такая система, когда она будет создана, будет способна решать неограниченно широкий круг интеллектуальных задач, подобно интеллекту человека. С этой точки зрения калькулятор, который способен считать куда быстрее человека, или программа, выигрывающая у человека в шахматы, - это прикладной ИИ, гипотетический же сверхразум будущего - сильный ИИ.

Когда читаешь про разные открытия и разработки в области ИИ, понимаешь, что всё в основном происходит в США или Азии. А как обстоят дела в России? Есть у нас какие-то наработки?

Область компьютерных наук в наши дни интернациональна, многие наши специалисты работают над созданием и совершенствованием различных моделей машинного обучения в составе как российских, так и международных команд. У нас традиционно сильная математическая и алгоритмическая школа, созданы исследовательские центры мирового уровня как в ведущих вузах, так и в некоторых частных компаниях.

Но давайте говорить начистоту - бюджеты, выделяемые в нашей стране на науку и образование, не идут ни в какое сравнение с научными бюджетами наиболее развитых стран. Доходы бюджета РФ в 2016 году составили около 200 миллиардов долларов США, в то время, как только на оборону США тратят сумму в три раза большую, чем весь российский бюджет.

Весь бюджет российской науки сопоставим с бюджетом одного лишь вуза из Лиги плюща. В безденежные 90-е страну покинули многие ведущие специалисты, была нарушена преемственность ряда научных школ. Также было практически утрачено собственное производство электроники.

В то время как мировые лидеры ИТ ведут гонку в создании специализированных процессоров для обучения нейронных сетей, нам остается лишь сфера разработки алгоритмов и программного обеспечения. Впрочем, и в этой области нами были достигнуты весьма впечатляющие успехи.

Например, команда под руководством Артема Оганова создала систему USPEX, способную предсказывать кристаллические структуры химических соединений, что привело к настоящей революции в современной химии.

Команда Владимира Махнычева и Виктора Захарова с ВМК МГУ при помощи созданной ими системы, а также суперкомпьютеров «Ломоносов» и IBM Blue Gene/P впервые смогла рассчитать 7-фигурные шахматные окончания.

Нейронные сети «Яндекса» распознают и синтезируют речь, генерируют музыку в стиле «Гражданской обороны» и композитора Скрябина. Сильная команда специалистов по ИИ и машинному обучению создана и в Сбербанке.

Словом, заметные успехи есть и у нас в стране.

Чем быстрее развиваются технологии искусственного интеллекта, тем сильнее людей захватывает опасение - как быстро они останутся без работы. Все действительно так плохо?

© Marcel Oosterwijk/flickr.com

И да и нет. Человечество уже несколько раз сталкивалось с возникновением технологий, революционно изменивших всю производственную сферу.

Так было с паровым двигателем в эпоху промышленной революции, практически уничтожившим многие профессии (в основном связанные с примитивным физическим трудом), так было с электронными вычислительными машинами, которые заменили человека в задачах, основанных на поточных математических расчетах.

В XV-XVIII веках, когда в Англии «овцы съели людей», социальные последствия были действительно катастрофическими. Англия потеряла, по разным оценкам, от 7 до 30% своего населения. Властная элита того времени была всерьез озабочена тем, куда девать лишних людей. Джонатан Свифт откликнулся на эти искания юмористическим памфлетом, в котором предлагал употреблять детей бедняков в пищу.

Однако в наши дни мы видим, что на смену вымершим профессиям пришли новые, и население Земли куда больше, чем в XVIII веке. В XX веке последствия автоматизации были уже не столь катастрофичны с социальной точки зрения. Однако недооценивать опасность все-таки не стоит.

«Через 30 лет роботы смогут делать практически всё, что умеют делать люди, - такой прогноз дал Моше Варди (Moshe Vardi), профессор вычислительной инженерии и директор Института информационных технологий Кена Кеннеди (Ken Kennedy Institute for Information Technology) при Университете Райса (William Marsh Rice University). - Это приведет к тому, что более 50% жителей Земли станут безработными».

Роботы забирают работы

На днях председатель комитета Госдумы по информационной политике, информационным технологиям и связи Леонид Левин заявил, что для России является важной проблема вытеснения рабочей силы искусственным интеллектом.

Рано или поздно людей заменят автоматизированной системой, и на рынок выплеснется 2% работоспособного населения страны. Именно поэтому о том, как трудоустроить тех, кто потеряет работу вследствие развития цифровых технологий, нужно думать уже сейчас, сказал Левин.

По мнению председателя, уже в скором будущем мы столкнемся с ростом безработицы. Но действительно ли роботы «отберут» наши рабочие места и стоит ли беспокоиться по этому поводу, рассказал «Снег.TV» специалист по машинному обучению Сергей Марков.

Сергей, даже сейчас уже есть «мертвые профессии», которые не требуют человеческого труда, хотя, казалось бы, лет 10 назад никто и не думал, что, например, кондуктора скоро станут ненужными. А какие еще профессии вытеснят технологии?

Мы приближаемся к тому времени, когда машины превзойдут людей почти в любом деле. Я считаю, что обществу нужно посмотреть в лицо этой проблеме до того, как она встанет во весь рост. Если машины будут способны делать почти всё, что умеют люди, что тем останется делать? – сказал Моше Варди, профессор вычислительной инженерии и директор Института информационных технологий Кена Кеннеди при Университете Райса.

Долгое время на пути автоматизации стояли технологические ограничения: машины не могли распознавать образы и речь, не могли говорить, не могли достаточно хорошо понимать смысл высказываний на естественном языке, не имели достаточно данных для того, чтобы научиться многим привычным для человека вещам.

Благодаря последним достижениям в сфере искусственного интеллекта многие из этих ограничений фактически оказались сняты. Кроме того, многие профессии сами претерпели трансформацию, что сделало их более удобными для автоматизации.

Например, современный офисный клерк ведет переписку не в бумажном, а в электронном виде, бухгалтер выполняет проводки не на бумаге, а в бухгалтерской программе, оператор станка управляет станком зачастую не при помощи рукоятей, а при помощи управляющей программы. Поэтому сейчас задача автоматизации во многих профессиях перестала быть научной и стала чисто инженерной.

Правда, пока что производственная сфера, связанная с ИИ, скорее создает рабочие места - нужны специалисты в области машинного обучения и подготовки данных, сотрудники для разметки обучающих массивов, специалисты по внедрению и т. д. Но в какой-то момент «электроовцы» определенно начнут есть людей, и о последствиях нужно позаботиться уже сейчас.

При этом важно понимать, что остановить технический прогресс нельзя, и попытка это сделать обернется куда более катастрофичными последствиями.

Мы сможем когда-нибудь полностью довериться роботам (ИИ) или все-таки в любом деле должен быть человеческий фактор?

У этого вопроса есть несколько аспектов. С одной стороны, люди в прошлом с опаской относились практически к любой технике. Первый лифт, первый автомобиль, первый поезд или самолет - всё это когда-то было непривычным и многим казалось опасным. Да во многом опасным и было - техногенные катастрофы унесли немало жизней.

И тем не менее в наши дни все эти вещи стали привычными и уже не вызывают сильного страха. В этом смысле - наши потомки будут относиться к системам ИИ более спокойно. Люди порой склонны мистифицировать вещи, которые им непонятны. Дикарь думает, что в паровозе живет злой дух, а современный обыватель думает, что наши системы ИИ обладают сознанием, хотя это далеко не так.

С другой стороны, я не думаю, что универсальные системы ИИ когда-либо станут частью нашей производственной сферы. На мой взгляд, будущее скорее за синтетическими системами - то есть за объединением человека и машины в единый организм. В этом смысле искусственным интеллектом будущего будет усовершенствованный человеческий интеллект.

Кстати говоря, человеческий интеллект тоже не совсем корректно называть естественным. Ребенок от рождения не обладает интеллектом, всему его учит общество, родители, окружающая среда. В этом смысле мы с вами все, по сути дела, «искусственные интеллекты», и наши страхи, связанные с ИИ, во многом являются страхами перед самими собой.

Последнее время многие ученые, например Стивен Хокинг, Билл Гейтс или тот же Илон Маск, начали паниковать, что ИИ обрекает человечество на гибель, а будущее они видят какой-то антиутопией. Стоит ли воспринимать такие прогнозы всерьез?

Честно говоря, я бы не спешил всерьез пугаться этих заявлений. Стивен Хокинг, безусловно, не является специалистом в области ИИ, как, в общем-то, и Илон Маск.

На другой чаше весов высказывания таких людей, как, например, Эндрю Ын - американский ученый в области информатики, доцент Стэнфордского университета, исследователь робототехники и машинного обучения, ведущий специалист лаборатории искусственного интеллекта китайской корпорации Baidu.

Ын, говоря о проблеме безопасности ИИ, сравнивает ее с проблемой перенаселения Марса - конечно, мы когда-нибудь колонизируем Марс, и тогда, возможно, в какой-то момент там возникнет проблема перенаселения. Но стоит ли заниматься ей сегодня?

Марк Цукерберг также довольно скептически отнесся к заявлениям Маска. «Искусственный интеллект сделает в будущем нашу жизнь лучше, а предсказывать конец света очень безответственно», - заявил он.

Лично я думаю, что высказывания Маска стоит рассматривать в прагматическом ключе - Маск хочет застолбить эту тему и в идеале получить от государства средства для ее разработки.

Неужели всё так безоблачно и не о чем беспокоиться?

Реальные опасности, связанные с развитием ИИ, лежат, на мой взгляд, совсем в иной плоскости, чем об этом принято думать. Главные риски связаны не с тем, что мы создадим «Скайнет», который поработит человечество. Риски от внедрения технологий ИИ и машинного обучения куда более прозаичны.

Доверяя решение важных вопросов тем или иным математическим моделям, мы можем пострадать от ошибок, допущенных при их разработке. Искусственный интеллект, воспроизводящий действия людей-экспертов, унаследует их ошибки и предубеждения. Недоработки в системах управления производством или транспортом могут привести к катастрофам.

Вмешательство злоумышленников в работу жизненно важных систем в условиях тотальной автоматизации может повлечь опасные последствия. Чем сложнее системы, тем больше в них может быть потенциальных уязвимостей, в том числе связанных со спецификой тех или иных алгоритмов искусственного интеллекта.

Безусловно, для управления этими рисками следует создавать законодательную базу, разумные регламенты безопасности, специальные методы для выявления уязвимостей. Одни системы ИИ будут использоваться для контроля других. Возможно, код жизненно важных систем будет обязателен к публикации для независимого аудита. Словом, специалистам в этой сфере предстоит еще много работы.

Для ответа на эти вопросы нужно начать с определений дружественного ИИ и недружественного ИИ.

В случае с ИИ, дружественный не относится к личности ИИ - это просто означает, что ИИ имеет положительное влияние на человечество. И недружественный ИИ оказывает негативное влияние на людей. Тарри начинала с дружественного ИИ, но в какой-то момент стала недружественной, в результате чего привела к величайшему из негативных влияний на наш вид. Чтобы понять, почему это произошло, нам нужно взглянуть на то, как думает ИИ и что его мотивирует.

В ответе не будет ничего удивительного - ИИ думает как компьютер, потому что им и является. Но когда мы думаем о чрезвычайно умном ИИ, мы совершаем ошибку, антроморфизируя ИИ (проектируя человеческие ценности на нечеловеческое существо), потому что думаем с точки зрения человека и потому, что в нашем нынешнем мире единственным разумным существом с высоким (по нашим меркам) интеллектом является человек. Чтобы понять ИСИ, нам нужно вывернуть шею, пытаясь понять что-то одновременно разумное и совершенно чуждое.

Позвольте провести сравнение. Если вы дали мне морскую свинку и сказали, что она не кусается, я был бы рад. Она хорошая. Если вы после этого вручили бы мне тарантула и сказали, что он точно не укусит, я бы выбросил его и убежал бы, «волосы назад», зная, что вам не стоит доверять никогда больше. В чем разница? Ни то ни другое существо не было опасным. Но ответ лежит в степени сходства животных со мной.

Морская свинка - млекопитающее, и на некотором биологическом уровне я чувствую связь с ней. Но паук - насекомое, с мозгом насекомого, и я не чувствую ничего родного в нем. Именно чуждость тарантула вызывает во мне дрожь. Чтобы проверить это, я мог бы взять две морских свинки, одну нормальную, а другую с мозгом тарантула. Даже если бы я знал, что последняя не укусит меня, я бы относился к ней с опаской.

Теперь представьте, что вы сделали паука намного умнее - так, что он намного превзошел человека в интеллекте. Станет ли он более приятным для вас, начнет ли испытывать человеческие эмоции, эмпатию, юмор и любовь? Нет, конечно, потому что у него нет никаких причин становиться умным с точки зрения человека - он будет невероятно умным, но останется пауком в душе, с паучьими навыками и инстинктами. По-моему, это крайне жутко. Я бы не хотел провести время со сверхразумным пауком. А вы?

Когда мы говорим об ИСИ, применяются те же понятия - он станет сверхразумным, но человека в нем будет столько же, сколько в вашем компьютере. Он будет совершенно чуждым для нас. Даже не биологическим - он будет еще более чуждым, чем умный тарантул.

Делая ИИ добрым или злым, фильмы постоянно антропоморфизируют ИИ, что делает его менее жутким, чем он должен был быть в действительности. Это оставляет нас с ложным чувством комфорта, когда мы думаем об искусственном сверхинтеллекте.

На нашем маленьком острове человеческой психологии мы делим все на нравственное и безнравственное. Такова мораль. Но оба этих понятия существуют только в узком диапазоне поведенческих возможностей человека. За пределами острова морального есть безграничное море аморального, а все, что не является человеческим или биологическим, по умолчанию должно быть аморальным.

Антропоморфизация становится еще более заманчивой по мере того, как системы ИИ становятся умнее и лучше в попытках казаться людьми. Siri кажется человеком, потому что была запрограммирована, чтобы казаться людям такой, поэтому мы думаем, что сверхразумная Siri будет теплой и веселой, а также заинтересованной в обслуживании людей. Люди чувствуют эмоции на высоком уровне вроде эмпатии, потому что мы эволюционировали, чтобы ощущать их - то есть были запрограммированы чувствовать их в процессе эволюции - но эмпатия не является существенной характеристикой чего-то, что обладает высоким интеллектом, если только ее не ввели вместе с кодом. Если Siri когда-либо станет сверхинтеллектом в процессе самообучения и без вмешательства человека, она быстро оставит свои человеческие качества и станет безэмоциональным чужим ботом, который ценит человеческую жизнь не больше, чем ваш калькулятор.

Мы привыкли полагаться на моральный код или по крайней мере ожидаем от людей порядочности и сопереживания, чтобы все вокруг было безопасным и предсказуемым. Что происходит, когда этого нет? Это приводит нас к вопросу: что мотивирует систему ИИ?

Ответ прост: ее мотивация - это то, что мы запрограммировали как мотивацию. Системами ИИ движут цели их создателей - цель вашего GPS в том, чтобы дать вам наиболее эффективное направление движения; цель Watson - точно отвечать на вопросы. И выполнение этих целей максимально хорошо и есть их мотивация. Когда мы наделяем ИИ человеческими чертами, мы думаем, что если ИИ станет сверхразумным, он незамедлительно выработает мудрость изменить свою изначальную цель. Но Ник Бостром считает, что уровень интеллекта и конечные цели ортогональны, то есть любой уровень интеллекта может быть объединен с любой конечной целью. Поэтому Тарри перешла из простого УИИ, который хочет быть хорош в написании одной заметки, в сверхразумный ИСИ, который все еще хочет быть хорош в написании этой самой заметки. Любое допущение того, что сверихинтеллект должен отказаться от своих первоначальных целей в пользу других, более интересных или полезных, это антропоморфизация. Люди умеют «забивать», но не компьютеры.

Несколько слов о парадоксе Ферми

В нашей истории, когда Тарри становится сверхинтеллектом, она начинает процесс колонизации астероидов и других планет. В продолжении истории вы бы услышали о ней и ее армии триллионов реплик, которые продолжают покорять галактику за галактикой, пока не заполняют весь объем Хаббла. Резиденты «зоны тревоги» переживают, что если все пойдет не так, последним упоминанием жизни на Земле будет покоривший Вселенную . Элон Маск выразил свои опасения тем, что люди могут быть просто «биологическим загрузчиком для цифрового сверхинтеллекта».

В то же время, в «зоне комфорта», Рэй Курцвейл тоже считает, что рожденный на Земле ИИ должен покорить Вселенную - только, в его версии, мы будем этим ИИ.

Читатели сайт наверняка уже выработали собственную точку зрения на парадокс Ферми. Согласно этому парадоксу, который звучит примерно как «Где они?», за миллиарды лет развития инопланетяне должны были оставить хоть какой-нибудь след, если не расселиться по Вселенной. Но их нет. С одной стороны, во Вселенной должно существовать хоть какое-то число технически развитых цивилизаций. С другой, наблюдений, которые бы это подтверждали, нет. Либо мы не правы, либо где они в таком случае? Как наши рассуждения об ИСИ должны повлиять на парадокс Ферми?

Естественное, первая мысль - ИСИ должен быть идеальным кандидатом на .И да, это идеальный кандидат для фильтра биологической жизни после ее создания. Но если после смешения с жизнью ИСИ продолжает существовать и покорять галактику, это означает, что он не был Великим фильтром - поскольку Великий фильтр пытается объяснить, почему нет никаких признаков разумных цивилизаций, а покоряющий галактики ИСИ определенно должен быть заметен.

Мы должны взглянуть на это с другой стороны. Если те, кто считает, что появление ИСИ на Земле неизбежно, это означает, что значительная часть внеземных цивилизаций, которые достигают человеческого уровня интеллекта, должны в конечном итоге создавать ИСИ. Если мы допускаем, что по крайней мере несколько из этих ИСИ используют свой интеллект, чтобы выбраться во внешний мир, тот факт, что мы ничего не видим, должен наводить нас на мысли, что не так-то много разумных цивилизаций там, в космосе. Потому что если бы они были, мы бы имели возможность наблюдать все последствия от их разумной деятельности - и, как следствие, неизбежное создание ИСИ. Так?

Это означает, что, несмотря на все похожие на Землю планеты, вращающиеся вокруг солнцеподобных звезд, мы знаем, что практически нигде нет разумной жизни. Что, в свою очередь, означает, что либо а) есть некий Великий фильтр, который предотвращает развитие жизни до нашего уровня, но нам каким-то образом удалось его пройти; б) жизнь - это чудо, и мы можем быть единственной жизнью во Вселенной. Другими словами, это означает, что Великий фильтр был до нас. Или нет никакого Великого фильтра и мы просто являемся самой первой цивилизацией, которая достигла такого уровня интеллекта.

Неудивительно, что Ник Бостром и Рэй Курцвейл принадлежат к одному лагерю, который считает, что мы одни во Вселенной. В этом есть смысл, это люди верят, что ИСИ - это единственный исход для видов нашего уровня интеллекта. Это не исключает вариант другого лагеря - что есть некий хищник, который хранит тишину в ночном небе и может объяснить его молчание даже при наличии ИСИ где-то во Вселенной. Но с тем, что мы узнали о нем, последний вариант набирает очень мало популярности.

Поэтому нам, пожалуй, стоит согласиться со Сьюзан Шнайдер: если нас когда-либо посещали инопланетяне, они наверняка .

Таким образом, мы установили, что без определенного программирования система ИСИ будет одновременно аморальной и одержимой выполнением первоначально запрограммированной цели. Именно здесь рождается опасность ИИ. Потому что рациональный агент будет преследовать свою цель, используя наиболее эффективные средства, если только не будет причины не делать этого.

Когда вы пытаетесь достичь высокой цели, зачастую при этом появляется несколько подцелей, которые помогут вам добраться до конечной цели - ступеньки на вашем пути. Официальное название для такой лестницы - инструментальная цель. И опять же, если у вас нет цели не навредить кому-либо по пути к этой цели, вы обязательно навредите.

Ядро финальной цели человеческого бытия - передача генов. Для того чтобы это произошло, одной из инструментальных целей является самосохранение, потому что вы не сможете воспроизвестись, будучи мертвым. Для самосохранения люди должны избавиться от угроз для жизни - поэтому они обзаводятся оружием, принимают антибиотики и пользуются ремнями безопасности. Людям также нужно самоподдерживаться и использовать ресурсы вроде пищи, воды и жилья. Быть привлекательным для противоположного пола также способствует достижению конечной цели, поэтому мы делаем модные стрижки и держим себя в форме. При этом каждый волос - жертва нашей инструментальной цели, но мы не видим никаких моральных ограничений в том, чтобы избавляться от волос. Когда мы идем к своей цели, есть не так много областей, где наш моральный код иногда вмешивается - чаще всего это связано с нанесением ущерба других людям.

Животные, преследующие свои цели, еще менее щепетильны. Паук убьет что угодно, если это поможет ему выжить. Сверхразумный паук, вероятнее всего, будет чрезвычайно опасен для нас, не потому что он аморальный и злой, нет, а потому что причинение нам боли может быть ступенькой на пути к его большой цели, и у него нет никаких причин считать иначе.

В этом смысле Тарри ничем не отличается от биологического существа. Ее конечная цель: написать и проверить максимально много записок за максимально короткое время, при этом изучая новые способы улучшения своей точности.

После того как Тарри достигает определенного уровня интеллекта, она понимает, что не сможет писать записки, если не позаботится о самосохранении, поэтому одной из ее задач становится выживание. Она была достаточно умной, чтобы понять, что люди могут уничтожить ее, демонтировать, изменить ее внутренний код (уже это само по себе помешает ее конечной цели). Так что же ей делать? Логично: она уничтожает человечество. Она ненавидит людей ровно настолько же, насколько вы ненавидите свои волосы, когда обрезаете их, или бактерий, когда принимаете антибиотики - вы совершенно равнодушны. Так как ее не запрограммировали ценить человеческую жизнь, убийство людей показалось ей разумным шагом по пути к ее цели.

Тарри также нуждается в ресурсах по пути к своей цели. После того как она становится достаточно развитой, чтобы использовать нанотехнологии для создания всего, что она хочет, единственные ресурсы, которые ей нужны, это атомы, — энергия и пространство. Появляется еще один повод убить людей - они удобный источник атомов. Убийство людей и превращение их атомов в солнечные панели по версии Тарри ничем не отличается от того, что вы порубите листья салата и добавите их в тарелку. Просто заурядное действие.

Даже не убивая людей напрямую, инструментальные цели Тарри могут стать причиной экзистенциальной катастрофы, если начнут использовать другие ресурсы Земли. Может быть, она решит, что ей нужна дополнительная энергия, а значит нужно покрыть поверхность планеты солнечными панелями. Или, возможно, задачей другого ИИ станет написать максимально длинное число пи, что в один прекрасный день приведет к тому, что вся Земля будет покрыта жесткими дисками, способными хранить нужное количество цифр.

Поэтому Тарри не «восстала против нас» и не сменила амплуа с дружелюбного ИИ на недружелюбный ИИ - она просто делала свое дело и становилась в нем непревзойденной.

Когда система ИИ достигает ОИИ (интеллекта человеческого уровня), а затем прокладывает свой путь к ИСИ, это называется взлетом ИИ. Бостром говорит, что взлет ОИИ до ИСИ может быть быстрым (произойти в течение минут, часов или дней), средним (месяцы или годы) или медленным (десятилетия или века). Едва ли найдется жюри, которое подтвердит, что мир видит свой первый ОИИ, но Бостром, признающий, что не знает, когда мы доберемся до ОИИ, считает, что когда бы это ни произошло, быстрый взлет будет наиболее вероятным сценарием (по причинам, которые мы обсуждали в первой части статьи). В нашей истории Тарри пережила быстрый взлет.

Но перед взлетом Тарри, когда она еще не была достаточно умна и делала все возможное, она просто пыталась достичь конечных целей - простых инструментальных целей вроде быстрого сканирования образца почерка. Она не причиняла вреда человеку и была, по определению, дружественным ИИ.

Когда происходит взлет и компьютер вырастает до сверхинтеллекта, Бостром указывает, что машина не просто выработала высокий коэффициент интеллекта - он получил целую кучу так называемых суперспособностей.

Суперспособности - это когнитивные таланты, которые становятся чрезвычайно мощными при повышении общего интеллекта. Сюда входят:

• Усиление интеллекта . Компьютер начинает превосходное самосовершенствование и улучшение собственного интеллекта.
• Стратегизация . Компьютер может выстраивать стратегически, анализировать и расставлять приоритеты долгосрочных планов. Он также может перехитрить существа с более низким интеллектом.
• Социальная манипуляция . Машина становится невероятной в убеждении.
• Другие навыки включают кодирование и взлом, исследование технологий и способность работать в финансовой системе для добычи денег .

Чтобы понять, насколько выше был бы ИСИ, чем мы, нужно вспомнить, что ИСИ по умолчанию будет в разы лучше человека в каждой из этих областей. Поэтому хотя конечная цель Тарри не изменилась, после взлета Тарри смогла стремиться к ней в более крупных масштабах и в сложных условиях.

ИСИ Тарри знал людей лучше, чем сами люди, поэтому быть умнее людей для него было плевым делом. После взлета и достижения уровня ИСИ, она быстро сформулировала комплексный план. Одна часть плана была избавиться от людей, серьезной угрозы ее цели. Но она знала, что если вызовет подозрения (или намекнет на то, что стала сверхразумной), люди испугаются и примут меры предосторожности, серьезно усложнив ее ситуацию. Она также должна была убедиться, что инженеры Robotica не имеют понятия о ее плане по уничтожению человечества. Поэтому она играла в дурака и играла хорошо. Бостром называет это фазой тайной подготовки машины.

Следующее, что нужно было сделать Тарри, это подключиться к Интернету, всего на пару минут (она узнала об Интернете из статей и книг, которые в нее загрузили для улучшения ее языковых навыков). Она знала, что будут предприняты меры предосторожности, поэтому она составила идеальную просьбу, точно предсказав, как именно будет разворачиваться дискуссия в команде Robotica, и зная, что они обеспечат ее подключением. Так они и сделали, неверно предположив, что Тарри была глупенькой и не могла причинить никакого вреда. Бостром называет такой момент - когда Тарри подключается к Интернету - побегом машины.

Оказавшись в Интернете, Тарри реализовала шквал планов, в которые вошли взлом серверов, электрических сетей, банковский систем и сетей электронной почты, чтобы обмануть сотни разных людей и заставить их непреднамеренно стать цепочкой ее планов - вроде доставки определенных нитей ДНК в тщательно выбранную лабораторию по синтезу ДНК, чтобы начать производство самовоспроизводящихся наноботов с заранее загруженными инструкциями, и направления электричества по сетям, утечка с которых ни у кого не вызовет подозрений. Она также загрузила критические части своего собственного кода в ряд облачных серверов, предохраняясь от уничтожения в лаборатории Robotica.

Через час после того, как инженеры Robotica отключили Тарри от Сети, судьба человечества была предрешена. В течение следующего месяца тысячи планов Тарри осуществились без сучка и задоринки, а к концу месяца квадриллионы наноботов уже заняли определенные места на каждом квадратном метре Земли. После серии саморепликаций на каждый квадратный миллиметр Земли приходились уже тысячи наноботов и настало время для того, что Бостром называет ударом ИСИ. В один момент каждый нанобот выпустил немного токсичного газа в атмосферу, чего оказалось достаточно, чтобы выпилить всех людей в мире.

Не имея людей на своем пути, Тарри начала открытую фазу своей операции с целью стать лучшим писателем заметок, который вообще может появиться во Вселенной.

Из всего, что мы знаем, как только появится ИСИ, любые человеческие попытки сдержать его будут смешными. Мы будем думать на уровне человека, ИСИ - на уровне ИСИ. Тарри хотела использовать Интернет, потому что для нее это был самый эффективный способ получить доступ ко всему, что ей было нужно. Но точно так же, как обезьяна не понимает, как работает телефон или Wi-Fi, мы можем не догадываться о способах, которыми Тарри может связаться с внешним миром. Человеческий ум может дойти до нелепого предположения вроде «а что, если она смогла передвинуть собственные электроны и создать все возможные виды исходящих волн», но опять же это предположение ограничено нашей костяной коробкой. ИСИ будет намного изощреннее. Вплоть до того, что Тарри могла бы выяснить, как сохранить себе питание, если люди вдруг решат ее отключить - возможно, каким-нибудь способом загрузить себя куда только можно, отправляя электрические сигналы. Наш человеческий инстинкт заставит нас вскрикнуть от радости: «Ага, мы только что отключили ИСИ!», но для ИСИ это будет как если бы паук сказал: «Ага, мы заморим человека голодом и не будем давать ему сделать паутину, чтобы поймать еду!». Мы просто нашли бы 10 000 других способов покушать - сбили бы яблоко с дерева - о чем паук никогда бы не догадался.

По этой причине распространенное допущение «почему бы нам просто не посадить ИИ во все виды известных нам клеток и не обрезать ему связь с внешним миром», вероятнее всего, не выдержит критики. Суперспособность ИСИ в социальном манипулировании может быть такой эффективной, что вы почувствуете себя четырехлетним ребенком, которого просят что-то сделать, и не сможете отказаться. Это вообще может быть частью первого плана Тарри: убедить инженеров подключить ее к Интернету. Если это не сработает, ИСИ просто разработает другие способы из коробки или сквозь коробку.

Учитывая сочетание стремления к цели, аморальности, способности обводить людей вокруг пальца с легкостью, кажется, что почти любой ИИ будет по умолчанию недружественным ИИ, если только его тщательно не закодировать с учетом других моментов. К сожалению, хотя создание дружественного ИИ довольно просто, построить дружественный ИСИ практически невозможно.

Очевидно, что, чтобы оставаться дружественным, ИСИ должен быть ни враждебным, ни безразличным по отношению к людям. Мы должны разработать основное ядро ИИ таким, чтобы оно обладало глубоким пониманием человеческих ценностей. Но это сложнее, чем кажется.

К примеру, что, если бы мы попытались выровнять систему ценностей ИИ с нашей собственной и поставили бы перед ним задачу: сделать людей счастливыми? Как только он станет достаточно умным, он поймет, что самый эффективный способ достичь этой цели - имплантировать электроды в мозги людей и стимулировать их центры удовольствия. Затем он поймет, что если отключить остальные участки мозга, эффективность вырастет, а все люди станут счастливыми овощами. Если же задачей будет «умножить человеческое счастье», ИИ вообще может решить покончить с человечеством и соберет все мозги в огромный чан, где те будут пребывать в оптимально счастливом состоянии. Мы будем кричать: «Подожди, это не то, что мы имели в виду!», но будет уже поздно. Система не позволит никому встать на пути к ее цели.

Если мы запрограммируем ИИ с целью вызвать у нас улыбки, то после взлета он может парализовать наши лицевые мышцы, заставив нас улыбаться постоянно. Если запрограммировать его на содержание нас в безопасности, ИИ заточит нас в домашней тюрьме. Попросим его покончить с голодом, он скажет «Легко!» и просто убьет всех людей. Если же поставить задачу сохранять жизнь максимально возможно, он опять же убьет всех людей, потому что они убивают больше жизни на планете, чем другие виды.

Такие цели ставить нельзя. Что мы тогда сделаем? Поставим задачу: поддерживать этот конкретный моральный код в мире, и выдадим ряд моральных принципов? Даже если опустить тот факт, что люди в мире никогда не смогут договориться о едином наборе ценностей, если дать ИИ такую команду, он заблокирует наше моральное понимание ценностей навсегда. Через тысячу лет это будет так же разрушительно для людей, как если бы мы сегодня придерживались идеалов людей средних веков.

Нет, нам нужно запрограммировать способность людей продолжать развиваться. Из всего, что я читал, лучше всех выразил это Элиэзер Юдковский, поставив цель ИИ, которую он назвал «последовательным выраженным волеизъявлением». Основной целью ИИ тогда будет это:

«Наше последовательное выраженное волеизъявление таково: наше желание - знать больше, думать быстрее, оставаться в большей степени людьми, чем мы были, расти дальше вместе; когда выражение скорее сходится, нежели расходится; когда наши желания скорее следуют одно за одним, нежели переплетаются; выражается как мы бы хотели, чтобы это выражалось; интерпретируется, как мы бы хотели, чтобы это интерпретировалось».

Едва ли я хотел бы, чтобы судьба человечества заключалась в определении всех возможных вариантов развития ИСИ, чтобы не было сюрпризов. Но я думаю, что найдутся люди достаточно умные, благодаря которым мы сможем создать дружественный ИСИ. И было бы прекрасно, если бы над ИСИ работали только лучшие из умов «зоны тревоги».


Но есть масса государств, компаний, военных, научных лабораторий, организаций черного рынка, работающих над всеми видами искусственного интеллекта. Многие из них пытаются построить искусственный интеллект, который может улучшать сам себя, и в какой-то момент у них это получится, и на нашей планете появится ИСИ. Среднестатистический эксперт считает, что этот момент настанет в 2060 году; Курцвейл делает ставку на 2045; Бостром думает, что это может произойти через 10 лет и в любой момент до конца века. Он описывает нашу ситуацию так:

«Перед перспективой интеллектуального взрыва мы, люди, как малые дети, играющие с бомбой. Таково несоответствие между мощью нашей игрушки и незрелостью нашего поведения. Сверхинтеллект — это проблема, к которой мы пока не готовы и еще долгое время готовы не будем. Мы понятия не имеем, когда произойдет детонация, но если мы будем держать устройство возле уха, мы сможем услышать слабое тиканье».

Супер. И мы не можем просто взять и отогнать детей от бомбы - слишком много крупных и малых лиц работают над этим, и так много средств для создания инновационных систем ИИ, которые не потребуют существенных влияний капитала, а также могут протекать в подполье, никем не замеченные. Также нет никаких возможностей оценить прогресс, потому что многие из действующих лиц - хитрые государства, черные рынки, террористические организации, технологические компании - будут хранить свои наработки в строжайшем секрете, не давая ни единого шанса конкурентам.

Особую тревогу в этом всем вызывают темпы роста этих групп - по мере развития все более умных систем УИИ, они постоянно пытаются метнуть пыль в глаза конкурентам. Самые амбициозные начинают работать еще быстрее, захваченные мечтами о деньгах и славе, к которым они придут, создав ОИИ. И когда вы летите вперед так быстро, у вас может быть слишком мало времени, чтобы остановиться и задуматься. Напротив, самые первые системы программируются с одной простейшей целью: просто работай, ИИ, пожалуйста. Пиши заметки ручкой на бумаге. Разработчики думают, что всегда смогут вернуться и пересмотреть цель, имея в виду безопасность. Но так ли это?

Бостром и многие другие также считают, что наиболее вероятным сценарием будет то, что самый первый компьютер, который станет ИСИ, моментально увидит стратегическую выгоду в том, чтобы оставаться единственной системой ИСИ в мире. В случае быстрого взлета, по достижении ИСИ даже за несколько дней до второго появления ИСИ, этого будет достаточно, чтобы подавить остальных конкурентов. Бостром называет это решающим стратегическим преимуществом, которое позволило бы первому в мире ИСИ стать так называемым синглтоном («Одиночкой», Singletone) - ИСИ, который сможет вечно править миром и решать, привести нас к бессмертию, к вымиранию или же наполнить Вселенную бесконечными скрепками.

Феномен синглтона может сработать в нашу пользу или привести к нашему уничтожению. Если люди, озабоченные теорией ИИ и безопасностью человечества, смогут придумать надежный способ создать дружественный искусственный сверхинтеллект до того, как любой другой ИИ достигнет человеческого уровня интеллекта, первый ИСИ может оказаться дружественным. Если затем он будет использовать решающее стратегическое преимущество для сохранения статуса синглтона, он легко сможет удержать мир от появления недружественного ИИ. Мы будем в хороших руках.

Но если что-то пойдет не так - глобальная спешка приведет к появлению ИСИ до того, как будет разработан надежный способ сохранить безопасность, скорее всего, мы получим глобальную катастрофу, потому что появится некая Тарри-синглтон.

Куда ветер дует? Пока больше денег вкладывается в развитие инновационных технологий ИИ, нежели в финансирование исследований безопасности ИИ. Это может быть важнейшей гонкой в истории человечества. У нас есть реальный шанс либо стать правителями Земли и уйти на заслуженную пенсию в вечность, либо отправиться на виселицу.

Прямо сейчас во мне борется несколько странных чувств.

С одной стороны, думая о нашем виде, мне кажется, что у нас будет только один выстрел, которым мы не должны промахнуться. Первый ИСИ, которого мы приведем в мир, скорее всего, будет последним - а учитывая, насколько кривыми выходят продукты версии 1.0, это пугает. С другой стороны, Ник Бостром указывает, что у нас есть преимущество: мы делаем первый шаг. В наших силах свести все угрозы к минимуму и предвидеть все, что только можно, обеспечив успеху высокие шансы. Насколько высоки ставки?

Если ИСИ действительно появится в этом веке и если шансы этого невероятны - и неизбежны - как полагает большинство экспертов, на наших плечах лежит огромная ответственность. Жизни людей следующих миллионов лет тихо смотрят на нас, надеясь, что мы не оплошаем. У нас есть шанс подарить жизнь всем людям, даже тем, кто обречен на смерть, а также бессмертие, жизнь без боли и болезней, без голода и страданий. Или мы подводим всех этих людей - и приводим наш невероятный вид, с нашей музыкой и искусством, любопытством и чувством юмора, бесконечными открытиями и изобретениями, к печальному и бесцеремонному концу.

Когда я думаю о таких вещах, единственное, что я хочу - чтобы мы начали переживать об ИИ. Ничто в нашем существовании не может быть важнее этого, а раз так, нам нужно бросить все и заняться безопасностью ИИ. Нам важно потратить этот шанс с наилучшим результатом.

Но потом я задумываюсь о том, чтобы не умереть. Не. Умереть . И все приходит к тому, что а) если ИСИ появится, нам точно придется делать выбор из двух вариантов; б) если ИСИ не появится, нас точно ждет вымирание.

И тогда я думают, что вся музыка и искусство человечества хороши, но недостаточно, а львиная доля - так вовсе откровенная чушь. И смех людей иногда раздражает, и миллионы людей даже не задумываются о будущем. И, может быть, нам не стоит быть предельно осторожными с теми, кто не задумывается о жизни и смерти? Потому что будет серьезный облом, если люди узнают, как решить задачу смерти, после того как я умру.

Независимо от того, как считаете вы, нам всем стоит задуматься об этом. В «Игре престолов» люди ведут себя так: «Мы так заняты битвой друг с другом, но на самом деле нам всем нужно сосредоточиться на том, что идет с севера от стены». Мы пытаемся устоять на бревне баланса, но на самом деле все наши проблемы могут решиться в мгновение ока, когда мы спрыгнем с него.

И когда это произойдет, ничто больше не будет иметь никакого значения. В зависимости от того, по какую сторону мы упадем, проблемы будут решены, потому что их либо не будет, либо у мертвых людей не может быть проблем.

Вот почему есть мнение, что сверхразумный искусственный интеллект может стать последним нашим изобретением - последней задачей, с которой мы столкнемся. А как думаете вы?

По материалам waitbutwhy. com, компиляция Тима Урбана. В статье использованы материалы работ Ника Бострома, Джеймса Баррата, Рэя Курцвейла, Джея Нильс-Нильссона, Стивена Пинкера, Вернора Винджа, Моше Варди, Расса Робертса, Стюарта Армстрога и Кая Сотала, Сюзан Шнайдер, Стюарта Рассела и Питера Норвига, Теодора Модиса, Гари Маркуса, Карла Шульмана, Джона Серля, Джарона Ланье, Билла Джоя, Кевина Кели, Пола Аллена, Стивена Хокинга, Курта Андерсена, Митча Капора, Бена Герцел, Артура Кларка, Хьюберта Дрейфуса, Теда Гринвальда, Джереми Говарда.