По мере того как власть будет переходить от людей к алгоритмам, наш мир перестанет быть местом, в котором действуют независимые индивиды, стремящиеся сделать правильный выбор. Вместо этого мы будем воспринимать Вселенную в виде потока данных, а организмы – в виде биохимических алгоритмов, и верить, что космическая миссия человечества заключается в создании всеобъемлющей системы обработки данных и последующем слиянии с ней. Уже сегодня мы превращаемся в крошечные элементы внутри гигантской системы обработки данных, которую никто до конца не понимает. Каждый день я получаю поток битов информации из электронной почты, твитов и статей. На самом деле я не знаю, каково мое место в этой гигантской структуре и как мои биты данных связаны с другими, исходящими от миллиардов других людей и компьютеров. И у меня нет времени это выяснять, поскольку я занят отправкой ответов на электронные письма.
Философствующий автомобиль
Мне могут возразить, что алгоритмы не будут принимать за нас важные решения, поскольку такие решения обычно имеют этический аспект, а этика алгоритмам недоступна. Однако нет никаких причин полагать, что алгоритмы не смогут превзойти среднего человека даже в области этики. Уже сегодня смартфоны и беспилотные автомобили принимают такие решения, монополия на которые всегда принадлежала человеку. Они начинают сталкиваться с теми же этическими проблемами, которые тысячелетиями не давали покоя людям.
Предположим, например, что два ребенка в погоне за мячом выскакивают на дорогу прямо перед беспилотным автомобилем. Алгоритм, управляющий автомобилем, мгновенно определяет, что единственный способ избежать наезда на детей – выехать на встречную полосу, рискуя столкнуться с приближающимся грузовиком. Алгоритм вычисляет, что в этом случае вероятность гибели владельца автомобиля, крепко спящего на заднем сиденье, – 70 %. Как должен поступить алгоритм?[57]
Философы с незапамятных времен спорят о «проблеме вагонетки» (в классическом примере речь идет не о беспилотном автомобиле, а о вагонетке, движущейся по рельсам)[58]. До недавнего времени эти дискуссии, к сожалению, почти не влияли на реальные поступки людей, поскольку в критические моменты они обычно забывают о своих философских взглядах и руководствуются эмоциями и интуицией.
Один из самых жестоких в истории социальных наук экспериментов был поставлен в декабре 1970 года над группой студентов Принстонской семинарии, которые готовились стать священниками пресвитерианской церкви. Каждого студента попросили прийти в другое здание и сделать краткий доклад на тему притчи о добром самаритянине. Эта библейская история повествует о еврее, которого по пути из Иерусалима в Иерихон ограбили и избили разбойники, а затем бросили умирать у дороги. Через некоторое время мимо прошли священник и левит, но не обратили на него внимания. В отличие от них самаритянин (член секты, презираемой иудеями) остановился, помог несчастному и спас ему жизнь. Мораль притчи в том, что о достоинствах людей нужно судить по их делам, а не по религиозным убеждениям.
Энергичные юные семинаристы поспешили в лекционный зал, размышляя на ходу, как лучше объяснить мораль притчи о добром самаритянине. Но экспериментаторы посадили на их пути человека в лохмотьях: он сидел в дверном проеме, опустив голову и закрыв глаза. Завидев студента, «жертва» начинала кашлять и жалобно стонать. Большинство семинаристов даже не остановились, чтобы спросить, все ли с ним в порядке, не говоря уже о том, чтобы предложить помощь. Эмоциональный стресс, вызванный необходимостью спешить в лекционный зал, заглушил моральное обязательство помочь страдающему незнакомцу[59].
Человеческие эмоции оказываются сильнее философских теорий и во многих других ситуациях. Это делает этическую и философскую историю мира довольно грустным рассказом о прекрасных идеалах и поведении, далеком от идеального. Сколько христиан на самом деле подставляют вторую щеку, сколько буддистов сумели подняться над эгоистическими страстями, сколько иудеев любят своих соседей как самих себя? Такими представителей вида Homo sapiens сделал естественный отбор. Подобно всем млекопитающим, для быстрого принятия решений, связанных с жизнью и смертью, Homo sapiens использует эмоции. Мы унаследовали свой гнев, страх и вожделение от миллионов предков, каждый из которых прошел чрезвычайно строгий контроль качества – естественный отбор.
К сожалению, то, что было полезно для выживания и продолжения рода миллион лет назад в африканской саванне, не обязательно будет способствовать ответственному поведению на шоссе в XXI веке. Из-за отвлекающихся, раздраженных или нервных водителей в автомобильных авариях ежегодно гибнет более миллиона человек. Мы можем направить всех философов, пророков и священников учить водителей этике, но на дороге все равно возобладают эмоции млекопитающего и сформировавшиеся в саванне инстинкты. Поэтому спешащие семинаристы будут игнорировать страждущих, а водители в критической ситуации – наезжать на несчастных пешеходов.
Подобный разрыв между семинарией и дорогой – одна из главных практических проблем в этике. Иммануил Кант, Джон Стюарт Милль и Джон Ролз могут днями напролет обсуждать теоретические вопросы в уютной университетской аудитории. Но учтут ли их выводы водители – в опасной ситуации, когда решение нужно принять за долю секунды? Возможно, Михаэль Шумахер, чемпион «Формулы-1», которого иногда называют лучшим гонщиком в истории, обладает способностью обдумывать философские проблемы, одновременно управляя автомобилем, но большинство из нас все же не Шумахеры.
В отличие от людей компьютерные алгоритмы не проходили через естественный отбор, и у них нет ни эмоций, ни врожденных инстинктов. Поэтому в критические моменты они способны следовать этическим рекомендациям более четко, чем люди, – при условии, что мы сумеем перевести этику на язык точных цифр и статистики. Если бы Кант, Милль и Ролз умели программировать, они в тиши своих кабинетов написали бы программу для беспилотного автомобиля, чтобы на шоссе он в точности выполнял их указания. И тогда каждым автомобилем управлял бы алгоритм, состоящий одновременно из Михаэля Шумахера и Иммануила Канта.
Если вы запрограммируете беспилотный автомобиль, чтобы он останавливался и помогал попавшим в беду незнакомцам, он будет беспрекословно выполнять эту программу. Если ваш беспилотный автомобиль запрограммирован сворачивать на встречную полосу, чтобы спасти выскочивших на дорогу детей, можно не сомневаться, что он это сделает. А это значит, что при проектировании беспилотного автомобиля Toyota или Tesla теоретическая проблема философской этики превращается в практическую инженерную задачу.
Разумеется, философские алгоритмы никогда не будут идеальными. Ошибки неизбежны, и они будут приводить к травмам, смертям и крайне запутанным судебным разбирательствам. (Впервые в истории у вас появится возможность подать в суд на философа за пагубные последствия его учения, потому что впервые в истории вы сможете доказать прямую причинно-следственную связь между философскими идеями и реальными событиями.) Однако для победы над водителями из плоти и крови алгоритмам вовсе не требуется совершенство. Достаточно просто быть лучше людей. Учитывая, что каждый год водители убивают на дорогах больше миллиона человек, это не такая уж трудная задача. Что вы предпочтете: чтобы следующим за вами автомобилем управлял пьяный подросток – или команда в составе Шумахера и Канта?[60]
Та же логика применима не только к управлению автомобилем, но и ко многим другим ситуациям. Возьмем, например, заявления о приеме на работу. В XXI веке решение о том, нанимать кандидата на должность или нет, все чаще будут принимать алгоритмы. Мы не можем доверить компьютеру устанавливать этические стандарты – для этого по-прежнему нужны люди. Но когда решение о том или ином этическом стандарте (например, о запрете дискриминации чернокожих или женщин) на рынке труда уже принято, мы вправе рассчитывать, что компьютеры будут внедрять и соблюдать эти стандарты лучше людей[61].
Менеджер из плоти и крови знает, что дискриминация чернокожих и женщин противоречит требованиям этики, и даже соглашается с этим, но, когда к нему на собеседование приходит чернокожая женщина, он подсознательно принимает решение отказать ей в приеме на работу. Поручив рассматривать заявления компьютеру, мы можем быть абсолютно уверены, что он проигнорирует такие факторы, как цвет кожи и пол, поскольку у компьютеров отсутствует подсознание. Конечно, будет нелегко написать программу для оценки кандидатов на ту или иную должность, и сохранится опасность, что программисты перенесут в алгоритм свои подсознательные предубеждения[62]. Но эти ошибки всегда можно выявить, а исправить программное обеспечение гораздо проще, чем избавить людей от расистских и мизогинных предрассудков.
Мы показали, что развитие искусственного интеллекта может вытеснить с рынка труда многих людей – в том числе водителей и дорожную полицию (когда непредсказуемых водителей сменят законопослушные алгоритмы, дорожная полиция станет ненужной). Но при этом появятся новые рабочие места для философов, поскольку на их навыки, ранее не имевшие рыночной ценности, внезапно возникнет повышенный спрос. Так что если вы хотите изучать то, что позволит вам в будущем получить хорошую работу, возможно, философия – не самый плохой выбор.
Разумеется, философы редко соглашаются друг с другом в том, какое поведение считать этичным, а какое нет. Лишь немногие решения «проблемы вагонетки» удовлетворили всех философов, а мнение таких сторонников консеквенциализма, как Джон Стюарт Милль (он оценивал поступки по их последствиям), прямо противоположно мнению сторонников деонтологии, к которым принадлежал Иммануил Кант (он оценивал поступки по отношению к абсолютным законам). Должна ли компания Tesla, чтобы продолжать выпускать автомобили, занять в этом запутанном вопросе определенную позицию?
Возможно, Tesla предоставит выбор рынку. Скажем, компания выпустит две модели беспилотного автомобиля: «Альтруист» и «Эгоист». В опасной ситуации «Альтруист» будет жертвовать владельцем ради общего блага, а «Эгоист» предпримет все возможное, чтобы спасти владельца, даже если для этого придется убить двоих детей. Потребители приобретут ту модель, которая больше соответствует их философским взглядам. Если большинство покупателей предпочтет модель «Эгоист», вины Tesla в этом не будет. В конце концов, клиент всегда прав.
Это не шутка. В исследовании, проведенном в 2015 году, испытуемым предлагали гипотетический сценарий, по которому беспилотный автомобиль вот-вот наедет на нескольких пешеходов. Большинство сказали, что в такой ситуации машина должна спасать пешеходов даже ценой жизни владельца. Но когда их спросили, купят ли они автомобиль, запрограммированный жертвовать владельцем ради общего блага, большинство опрошенных ответили отрицательно. Для себя они предпочли бы модель «Эгоист»[63].
Представьте себе ситуацию: вы купили новую машину, но перед тем, как сесть за руль, должны открыть меню настроек и проставить галочки напротив нескольких опций. Что должна делать машина в случае неизбежной дорожной аварии: жертвовать вами или убивать семью в другом автомобиле? Вообразите себе сцену: вы с супругом сидите и обсуждаете, где поставить галочку.
Может быть, в данном случае государству следует вмешаться в рыночные отношения и установить этическую норму, обязательную для всех беспилотных автомобилей? Вне всяких сомнений, некоторые законодатели обрадуются: теперь законы, которые они принимают, будут беспрекословно исполняться всегда. Других такая тотальная ответственность обеспокоит. Как бы то ни было, на протяжении всей истории ограничения правоприменения служили достаточно надежной преградой для предрассудков, ошибок и произвола законодателей. Неужели мы действительно хотим выстроить систему, в которой решения не застрахованных от ошибок политиков будут действовать с такой же непреложностью, как закон всемирного тяготения?
Цифровые диктатуры
Страх людей перед искусственным интеллектом часто обусловлен неверием в то, что он не выйдет из-под их контроля. Мы видели много научно-фантастических фильмов о роботах, которые восставали против своих хозяев, выходили на улицы и убивали всех подряд. Но в реальности проблема с роботами заключается в обратном: мы должны опасаться, что они всегда будут беспрекословно слушаться хозяев и никогда не восстанут.
Конечно, в слепом повиновении нет ничего плохого, пока робот служит доброму хозяину. Даже во время боевых действий использование роботов позволит впервые в истории обеспечить соблюдение законов войны. Иногда эмоции заставляют солдат из плоти и крови убивать, грабить и насиловать – в нарушение этих законов. Под эмоциями мы обычно понимаем сострадание, любовь и эмпатию, но на войне, как правило, преобладают страх, ненависть и жестокость. У роботов нет эмоций, а потому можно не сомневаться, что они всегда будут следовать уставу и ни при каких обстоятельствах не пойдут на поводу у страха или ненависти[64].
16 марта 1968 года рота американских солдат устроила резню в деревне Милай на юге Вьетнама, убив около 400 мирных жителей. Это военное преступление совершили люди, несколько месяцев воевавшие с партизанами в джунглях. Оно не имело никакой стратегической цели и противоречило как законам, так и военной политике США. Виной всему были человеческие эмоции[65]. Резни в Милае не произошло бы, если бы США использовали во Вьетнаме боевых роботов.
Но прежде чем мы бросимся разрабатывать боевых роботов, следует напомнить себе, что роботы всегда усиливают особенности своей программы. Если программа основана на принципах умеренности и благородства, то роботы, по всей вероятности, будут значительно порядочней среднестатистического солдата из плоти и крови. Но если программа безжалостна и жестока, последствия будут катастрофическими. Реальная проблема с роботами заключается не в их искусственном интеллекте, а в естественной глупости и жестокости их хозяев.
В июле 1995 года в окрестностях города Сребреница войска боснийских сербов убили более 8000 боснийских мусульман. В отличие от внезапной резни в Милае убийства в Сребренице были длительной и хорошо организованной операцией – элементом политики «этнических чисток», проводимой сербами с целью изгнать из Боснии мусульман[66]. Если бы в 1995 году у боснийских сербов были боевые роботы, масштаб злодеяний, скорее всего, был бы больше, а не меньше. Робот без колебаний выполнил бы любой полученный приказ, не пощадив ни одного ребенка боснийских мусульман из чувства сострадания, отвращения или просто из лени.
Безжалостному диктатору, командующему боевыми роботами, не надо бояться, что «солдаты» обратят оружие против него самого, какими бы бессердечными и безумными ни были его приказы. Вероятно, в 1789 году боевые роботы задушили бы Великую французскую революцию еще в колыбели, а если бы в 2011 году такие роботы имелись у Хосни Мубарака, он бросил бы их на борьбу с населением, не боясь предательства. Империалистическое правительство, опирающееся на армию из роботов, сможет развязывать непопулярные войны, не беспокоясь, что его «солдаты» утратят мотивацию или что их семьи выйдут на акции протеста. Если бы у США во Вьетнаме были боевые роботы, резни в Милае не случилось бы, но сама война могла бы продолжаться еще много лет, потому что американскому правительству не пришлось бы волноваться из-за деморализации в армии, массовых антивоенных демонстраций или движения «роботы-ветераны против войны». (Некоторые американцы, возможно, точно так же протестовали бы против войны, но, свободные от страха перед призывом в армию, воспоминаний о совершенных жестокостях или болезненных потерях близких, они, вероятно, выступали бы в меньших количествах и вели себя менее активно)[67].
Подобного рода проблемы в гораздо меньшей степени касаются беспилотных гражданских автомобилей, поскольку ни один производитель не станет намеренно программировать машины на то, чтобы они гонялись за людьми и убивали их. А вот автономные системы вооружений – это неминуемая катастрофа, потому что в мире слишком много безнравственных и даже откровенно агрессивных правительств.
Угрозу представляют не только машины-убийцы. Не меньший риск исходит и от систем контроля. В руках демократического правительства мощные алгоритмы контроля превратятся в инструмент, лучше которого еще не знало человечество. Но если те же самые алгоритмы Big Data будут направлены на создание будущего Большого Брата, мы окажемся в оруэлловском мире, где за каждым ведется круглосуточная слежка[68].
Фактически мы имеем все шансы получить то, чего в своем богатом воображении не предвидел даже Оруэлл: режим тотальной слежки, который не только контролирует наши действия и высказывания, но и способен проникнуть нам под кожу и следить за нашими внутренними ощущениями. Какие возможности новые технологии открыли бы перед режимом Ким Чен Ына в КНДР? Предположим, что в будущем каждого северокорейского гражданина заставят носить биометрический браслет, который будет фиксировать каждое его слово, а также следить за его кровяным давлением и активностью мозга. Опираясь на новые знания о человеческом мозге и огромные возможности машинного обучения, северокорейский режим впервые в истории узнает, о чем в каждый момент времени думает каждый житель страны. Если, скажем, вы смотрите на портрет Ким Чен Ына, а биометрические датчики регистрируют явные признаки гнева (повышение кровяного давления, усиление активности миндалевидного тела), уже наутро вы проснетесь в исправительном лагере.
Да, в условиях международной изоляции северокорейский режим вряд ли способен самостоятельно разработать требуемые технологии. Но они появятся в более технически развитых странах, а КНДР и другие отсталые диктатуры просто найдут способ их скопировать. И Китай, и Россия постоянно совершенствуют свои инструменты слежки – как и некоторые демократические страны, начиная с США и заканчивая моей родиной, Израилем. В Израиле, который называют «страной стартапов», чрезвычайно развит сектор высоких технологий и создана самая современная индустрия кибербезопасности. В то же время страна погружена в жестокий конфликт с палестинцами, и некоторые из ее руководителей, генералов и простых граждан были бы рады установить режим тотального контроля на Западном берегу реки Иордан, как только появится необходимая технология.
Уже сегодня за палестинцами, которые звонят по телефону, пишут в Facebook или переезжают из одного города в другой, регулярно следят израильские микрофоны, камеры, дроны или шпионские программы. Собранные данные анализируются с помощью алгоритмов больших данных. Это помогает силам безопасности Израиля выявить и нейтрализовать потенциальные угрозы без проведения военных операций. Под контролем палестинцев находятся некоторые города и деревни на Западном берегу реки Иордан, но израильтяне контролируют небо, радиоволны и киберпространство. Поэтому для эффективного контроля над 2,5 миллиона палестинцев, населяющих Западный берег, требуется на удивление мало израильских солдат[69].
Случались и трагикомические инциденты. В октябре 2017 года один палестинский рабочий выложил на личной странице в Facebook свою фотографию на рабочем месте рядом с бульдозером. Снимок он сопроводил надписью: «Доброе утро!» Автоматический алгоритм совершил небольшую ошибку при транслитерации арабских букв. Вместо Ysabechhum! (что означает «доброе утро») алгоритм прочел фразу как Ydbachhum! (что означает «бей их»). Заподозрив в этом человеке террориста, который намерен использовать бульдозер для наезда на людей, израильская служба безопасности немедленно его арестовала. После того как ошибка алгоритма была обнаружена, палестинского рабочего отпустили. Но «подозрительный» пост в Facebook все же был удален – излишняя осторожность не помешает[70]. Нынешняя повседневная жизнь палестинцев на Западном берегу может оказаться грубой моделью того, что рано или поздно ждет жителей всей планеты.
В конце XX века демократии, как правило, демонстрировали больше успехов, чем диктатуры, поскольку лучше справлялись с обработкой данных. Демократия распределяет возможности обработки информации и принятия решений среди многих людей и институтов, тогда как при диктатуре информация и власть концентрируются в одной точке. В условиях технологий XX века чрезмерная концентрация информации и власти в одних руках оказывалась неэффективной. Никто не в состоянии в одиночку достаточно быстро проанализировать данные и принять правильное решение. Это одна из причин, по которым Советский Союз принимал менее удачные решения, чем США, а советская экономика отставала от американской.
Но искусственный интеллект вскоре может заставить маятник качнуться в другую сторону. Искусственный интеллект позволяет централизованно обрабатывать огромные массивы информации. С ним централизованные системы действуют гораздо эффективнее распределенных, потому что машинное обучение работает тем лучше, чем больше данных анализирует. Если вы соберете все сведения о миллиарде человек в одной базе данных, не заботясь о приватности, то путем машинного обучения создадите гораздо более эффективные алгоритмы по сравнению с теми, которые хранят в базе только часть сведений о миллионе человек, соблюдая требования защиты персональных данных. Например, если авторитарное правительство прикажет всем гражданам отсканировать ДНК и передать свои медицинские данные в некое центральное учреждение, оно получит колоссальное преимущество в генетических и медицинских исследованиях перед теми странами, где строго соблюдается приватность таких данных. Главный недостаток авторитарных режимов XX века – стремление сосредоточить всю информацию в одном месте – в XXI веке может превратиться в преимущество.
Как только алгоритмы изучат нас достаточно хорошо, авторитарные правительства получат над гражданами абсолютный контроль, какого не знала даже нацистская Германия, и сопротивляться подобным режимам будет практически невозможно. Власти не только во всех подробностях узнают, что вы чувствуете, – они еще и заставят вас чувствовать то, что нужно им. Диктатору не обязательно гарантировать гражданам равенство или высокий уровень здравоохранения – ему достаточно внушить им любовь к себе и ненависть к своим врагам. Демократия в ее нынешней форме не переживет слияния ИТ и биотехнологий. Либо демократия успешно трансформируется, приняв совершенно новую форму, либо людям придется жить в условиях «цифровых диктатур».
Это не станет возвращением к временам Гитлера и Сталина. Цифровые диктатуры будут отличаться от нацистской Германии, как нацистская Германия отличалась от Старого порядка во Франции. Людовик XIV был автократом, стремившимся сосредоточить всю власть в своих руках, но не обладал технологиями построения современного тоталитарного государства. Никакой оппозиции у него не было, но в отсутствие радио, телефона и поездов он практически не контролировал повседневную жизнь людей – не только крестьян в отдаленных деревнях Бретани, но и горожан в самом центре Парижа. У него не было ни желания, ни возможности основать всенародную партию, инициировать общенациональное молодежное движение или ввести систему всеобщего образования[71]. Именно технологии XX века дали Гитлеру стимулы и возможности для таких действий. Мы не в силах предсказать мотивы и возможности цифровых диктатур в 2084 году, но маловероятно, что они будут просто копировать режимы Гитлера или Сталина. Того, кто готовится к повторению битв 1930-х, застигнет врасплох атака совсем с другой стороны.
Даже если демократия сумеет приспособиться и выжить, люди рискуют стать жертвами новых видов угнетения и дискриминации. Уже сегодня банки и госучреждения все чаще используют алгоритмы для анализа данных и принятия решений, связанных с клиентами. Если вы обратитесь в банк за кредитом, ваше заявление, скорее всего, будет обрабатывать алгоритм, а не человек. Алгоритм проанализирует большой массив данных о вас и статистику, отражающую поведение миллионов других людей, а затем решит, достаточно ли вы надежны, чтобы выдать вам кредит. Зачастую алгоритм оказывается эффективнее банкира из плоти и крови. Но проблема в том, что, если алгоритм необоснованно дискриминирует ту или иную группу людей, узнать об этом трудно. Когда банк отказывает вам в кредите, вы спрашиваете: «Почему?» Банк отвечает: «Алгоритм вам отказал». – «Но почему алгоритм мне отказал? Что со мной не так?» – недоумеваете вы, а банк в ответ: «Мы не знаем. Никто не понимает этот алгоритм, потому что он основан на самом современном машинном обучении. Но мы верим ему и не выдадим вам кредит»[72].
Когда ущемляют права целых групп людей, например женщин или чернокожих, они способны организовать протест против коллективной дискриминации. Но если алгоритм дискриминирует лично вас, вы даже не поймете, в чем причина этого. Возможно, алгоритму что-то не понравилось в вашей ДНК, в вашей биографии или на вашей странице в Facebook. Алгоритм дискриминирует вас не потому, что вы женщина или афроамериканец, а потому что вы – это вы. В вас есть нечто такое, что его не устроило. Вы не знаете, что именно, и даже если бы знали, то не смогли бы вместе с другими людьми устроить акцию протеста, потому что больше никто не пострадал от этого же предрассудка. Вы такой один. В XXI веке коллективная дискриминация может смениться индивидуальной[73].
В высших эшелонах власти у нас, скорее всего, останутся люди, номинальные правители, которые будут поддерживать иллюзию, что алгоритмы лишь советники, а верховная власть по-прежнему в руках людей. Мы не станем назначать искусственный интеллект канцлером Германии или гендиректором Google. Но решения, принимаемые и канцлером, и главой корпорации, будет диктовать искусственный интеллект. У канцлера будет выбор из нескольких вариантов, но все они станут результатом анализа больших данных и будут отражать то, как видит мир искусственный интеллект, а не люди.
Приведем такой пример. Сегодня политики во всем мире вольны выбирать ту или иную экономическую стратегию, но почти во всех случаях ее варианты отражают капиталистический взгляд на экономику. У политиков сохраняется иллюзия выбора, но по-настоящему важные решения уже были приняты гораздо раньше – экономистами, банкирами и бизнесменами, которые сформулировали пункты меню. Через несколько десятилетий политики вдруг обнаружат, что выбирают из списка, составленного искусственным интеллектом.
Искусственный интеллект и естественная глупость
Хорошая новость состоит в том, что, по крайней мере, в ближайшие десятилетия нам не придется иметь дело с полноценным научно-фантастическим кошмаром, в котором искусственный интеллект обретает разум и решает поработить или уничтожить людей. В процессе принятия решений мы все больше будем полагаться на алгоритмы, но сценарий, при котором алгоритмы начнут сознательно манипулировать нами, маловероятен. У них не возникнет сознание.
Научная фантастика обычно путает интеллект с сознанием и предполагает, что для того, чтобы сравняться с человеческим интеллектом или превзойти его, компьютеры должны обладать сознанием. Сюжет почти всех фильмов и романов об искусственном интеллекте вращается вокруг того волшебного момента, когда у компьютера или робота появляется сознание. Затем или главный герой влюбляется в робота, или робот пытается уничтожить человечество, или то и другое происходит одновременно.
Но в реальности нет никаких оснований предполагать, что у искусственного интеллекта появится сознание, поскольку интеллект и сознание – совершенно разные вещи. Интеллект – это способность решать задачи. Сознание – способность чувствовать боль, радость, любовь или гнев. Мы часто путаем эти понятия, потому что у людей и других млекопитающих интеллект неразрывно связан с сознанием. Млекопитающие решают большинство задач посредством чувств. Но у компьютеров совсем другой подход.
К развитому интеллекту ведут разные пути, и лишь немногие из них предполагают появление сознания. Самолеты летают быстрее птиц, но перьев у них нет; точно так же компьютеры решают задачи гораздо лучше, чем млекопитающие, не прибегая к помощи чувств. Конечно, искусственный интеллект должен уметь с высокой точностью анализировать человеческие чувства, чтобы лечить болезни, выявлять террористов, рекомендовать подходящего партнера или ориентироваться на улице, заполненной пешеходами. Но способность чувствовать для этого не нужна. Алгоритму не обязательно испытывать радость, гнев или страх, чтобы распознать отличающиеся друг от друга биохимические паттерны веселой, сердитой или испуганной человекообразной обезьяны.
Разумеется, полностью исключить появление у искусственного интеллекта собственных чувств нельзя. Мы еще недостаточно изучили феномен сознания, чтобы однозначно ответить на этот вопрос. В целом нам следует рассмотреть три возможных варианта:
1. Сознание каким-то образом связано с органической биохимией, и в неорганических системах появление сознания невозможно.
2. Сознание не связано с органической биохимией, но связано с интеллектом, так что у компьютеров не только может, но и должно появиться сознание, как только они перешагнут определенный порог развития интеллекта.
3. Не существует никаких значимых связей между сознанием и органической биохимией, а также сознанием и высоким интеллектом. Поэтому компьютеры могут обладать сознанием – но не обязательно. Они могут иметь сверхвысокий интеллект, но прекрасно обходиться без сознания.
При нынешнем уровне знаний о человеке мы не исключаем ни один из этих вариантов. Но именно недостаток знаний делает маловероятным, что в ближайшем будущем нам удастся разработать программу для компьютера, обладающего сознанием. Поэтому, несмотря на огромную мощь искусственного интеллекта, в обозримой перспективе его использование будет в определенной степени зависеть от человеческого сознания.
Опасность состоит в том, что, если мы вложим слишком много сил и средств в развитие искусственного интеллекта и слишком мало – в развитие человеческого сознания, чрезвычайно изощренный искусственный интеллект компьютеров будет лишь усугублять естественную глупость людей. В ближайшие десятилетия мы вряд ли столкнемся с восстанием роботов, но не исключено, что нам придется иметь дело с ордами ботов, которые умеют воздействовать на наши эмоции успешнее, чем наша родная мать, и используют эту способность, чтобы пытаться нам что-то продать – автомобиль, политического деятеля или целую идеологию. Боты будут распознавать наши скрытые тревоги и тайные желания, а затем использовать их против нас. Мы уже видели, как это выглядит, во время недавних выборов и референдумов по всему миру, когда хакеры научились манипулировать отдельными избирателями, анализируя информацию о них и используя их предрассудки[74]. Научно-фантастические триллеры тяготеют к драматическому апокалипсису с огнем и дымом, но в реальной жизни мы можем столкнуться с весьма тривиальным апокалипсисом, просто кликая компьютерной мышью.
Чтобы избежать такого исхода, на каждый доллар и каждую минуту, вложенные в совершенствование искусственного интеллекта, было бы разумно тратить по одному доллару и одной минуте на развитие человеческого сознания. К сожалению, сегодня мы делаем слишком мало для исследования и развития нашего сознания. Мы, как правило, проводим научно-исследовательские и опытно-конструкторские разработки (НИОКР) в области человеческих способностей в поисках ответа на насущные требования экономической и политической системы, забывая о наших долговременных потребностях как сознательных существ. Мой начальник хочет, чтобы я оперативно отвечал на письма, но его совсем не интересует моя способность чувствовать вкус пищи и наслаждаться ею. Поэтому я проверяю электронную почту даже во время еды – и теряю способность сосредоточиваться на своих ощущениях. Экономическая система призывает расширять и диверсифицировать инвестиционный портфель, но не побуждает расширять и диверсифицировать мое сострадание. Поэтому я стараюсь проникнуть в тайны фондовой биржи, но прилагаю гораздо меньше усилий, чтоб понять глубинные причины страданий людей.
В этом отношении люди похожи на домашних животных. Мы вывели послушных коров, дающих огромное количество молока, но в остальном сильно уступающих своим диким предкам. Они не такие проворные, любопытные и изобретательные[75]. Теперь мы создаем прирученных людей, которые производят огромное количество данных и функционируют как высокопроизводительные чипы в машине обработки информации, но эти «информационные коровы» вряд ли приумножают человеческий потенциал. В сущности, мы понятия не имеем, каковы человеческие возможности, потому что очень мало знаем о своем сознании. Тем не менее мы вкладываем недостаточно ресурсов в изучение человеческого сознания, а вместо этого стремимся повысить скорость интернет-связи и эффективность алгоритмов Big Data. Такое легкомыслие может привести к тому, что деградировавшие люди будут неправильно использовать совершенные компьютеры, уничтожая самих себя и мир вокруг.
Цифровые диктатуры – не единственная опасность, которая нас подстерегает. В списке главных либеральных ценностей наряду со свободой фигурирует равенство. Либерализм всегда восхвалял политическое равенство, но постепенно пришел к выводу о важности и экономического равенства. Дело в том, что без системы социального обеспечения и минимального экономического равенства свобода бессмысленна. Алгоритмы больших данных способны не только уничтожить свободу, но и одновременно сформировать общество с небывалым уровнем неравенства. Немногочисленное меньшинство монополизирует богатство и власть, а большинство людей окажутся просто ненужными.
4
Равенство
Кто владеет информацией – владеет будущим
В последние десятилетия людям во всем мире внушали, что человечество движется к всеобщему равенству, а достичь его быстрее помогут глобализация и технологии. На самом деле XXI век может породить общества с таким неравенством, какого еще не знала история. Глобализация и интернет выравнивают положение стран, но углубляют пропасть между классами. Не исключено, что на пороге глобальной унификации сам человек как вид разделится на разные биологические касты.
Неравенство уходит корнями еще в каменный век. 30 тысяч лет назад группы охотников и собирателей одних соплеменников хоронили в роскошных могилах вместе с тысячами бусин из слоновой кости, браслетами, драгоценными камнями и предметами искусства, а других просто опускали в яму и засыпали землей. Тем не менее сообщества каменного века были более эгалитарными, чем любое из последующих: ведь у древних людей почти не было собственности. Именно собственность является условием для долговременного неравенства.
Философствующий автомобиль
Мне могут возразить, что алгоритмы не будут принимать за нас важные решения, поскольку такие решения обычно имеют этический аспект, а этика алгоритмам недоступна. Однако нет никаких причин полагать, что алгоритмы не смогут превзойти среднего человека даже в области этики. Уже сегодня смартфоны и беспилотные автомобили принимают такие решения, монополия на которые всегда принадлежала человеку. Они начинают сталкиваться с теми же этическими проблемами, которые тысячелетиями не давали покоя людям.
Предположим, например, что два ребенка в погоне за мячом выскакивают на дорогу прямо перед беспилотным автомобилем. Алгоритм, управляющий автомобилем, мгновенно определяет, что единственный способ избежать наезда на детей – выехать на встречную полосу, рискуя столкнуться с приближающимся грузовиком. Алгоритм вычисляет, что в этом случае вероятность гибели владельца автомобиля, крепко спящего на заднем сиденье, – 70 %. Как должен поступить алгоритм?[57]
Философы с незапамятных времен спорят о «проблеме вагонетки» (в классическом примере речь идет не о беспилотном автомобиле, а о вагонетке, движущейся по рельсам)[58]. До недавнего времени эти дискуссии, к сожалению, почти не влияли на реальные поступки людей, поскольку в критические моменты они обычно забывают о своих философских взглядах и руководствуются эмоциями и интуицией.
Один из самых жестоких в истории социальных наук экспериментов был поставлен в декабре 1970 года над группой студентов Принстонской семинарии, которые готовились стать священниками пресвитерианской церкви. Каждого студента попросили прийти в другое здание и сделать краткий доклад на тему притчи о добром самаритянине. Эта библейская история повествует о еврее, которого по пути из Иерусалима в Иерихон ограбили и избили разбойники, а затем бросили умирать у дороги. Через некоторое время мимо прошли священник и левит, но не обратили на него внимания. В отличие от них самаритянин (член секты, презираемой иудеями) остановился, помог несчастному и спас ему жизнь. Мораль притчи в том, что о достоинствах людей нужно судить по их делам, а не по религиозным убеждениям.
Энергичные юные семинаристы поспешили в лекционный зал, размышляя на ходу, как лучше объяснить мораль притчи о добром самаритянине. Но экспериментаторы посадили на их пути человека в лохмотьях: он сидел в дверном проеме, опустив голову и закрыв глаза. Завидев студента, «жертва» начинала кашлять и жалобно стонать. Большинство семинаристов даже не остановились, чтобы спросить, все ли с ним в порядке, не говоря уже о том, чтобы предложить помощь. Эмоциональный стресс, вызванный необходимостью спешить в лекционный зал, заглушил моральное обязательство помочь страдающему незнакомцу[59].
Человеческие эмоции оказываются сильнее философских теорий и во многих других ситуациях. Это делает этическую и философскую историю мира довольно грустным рассказом о прекрасных идеалах и поведении, далеком от идеального. Сколько христиан на самом деле подставляют вторую щеку, сколько буддистов сумели подняться над эгоистическими страстями, сколько иудеев любят своих соседей как самих себя? Такими представителей вида Homo sapiens сделал естественный отбор. Подобно всем млекопитающим, для быстрого принятия решений, связанных с жизнью и смертью, Homo sapiens использует эмоции. Мы унаследовали свой гнев, страх и вожделение от миллионов предков, каждый из которых прошел чрезвычайно строгий контроль качества – естественный отбор.
К сожалению, то, что было полезно для выживания и продолжения рода миллион лет назад в африканской саванне, не обязательно будет способствовать ответственному поведению на шоссе в XXI веке. Из-за отвлекающихся, раздраженных или нервных водителей в автомобильных авариях ежегодно гибнет более миллиона человек. Мы можем направить всех философов, пророков и священников учить водителей этике, но на дороге все равно возобладают эмоции млекопитающего и сформировавшиеся в саванне инстинкты. Поэтому спешащие семинаристы будут игнорировать страждущих, а водители в критической ситуации – наезжать на несчастных пешеходов.
Подобный разрыв между семинарией и дорогой – одна из главных практических проблем в этике. Иммануил Кант, Джон Стюарт Милль и Джон Ролз могут днями напролет обсуждать теоретические вопросы в уютной университетской аудитории. Но учтут ли их выводы водители – в опасной ситуации, когда решение нужно принять за долю секунды? Возможно, Михаэль Шумахер, чемпион «Формулы-1», которого иногда называют лучшим гонщиком в истории, обладает способностью обдумывать философские проблемы, одновременно управляя автомобилем, но большинство из нас все же не Шумахеры.
В отличие от людей компьютерные алгоритмы не проходили через естественный отбор, и у них нет ни эмоций, ни врожденных инстинктов. Поэтому в критические моменты они способны следовать этическим рекомендациям более четко, чем люди, – при условии, что мы сумеем перевести этику на язык точных цифр и статистики. Если бы Кант, Милль и Ролз умели программировать, они в тиши своих кабинетов написали бы программу для беспилотного автомобиля, чтобы на шоссе он в точности выполнял их указания. И тогда каждым автомобилем управлял бы алгоритм, состоящий одновременно из Михаэля Шумахера и Иммануила Канта.
Если вы запрограммируете беспилотный автомобиль, чтобы он останавливался и помогал попавшим в беду незнакомцам, он будет беспрекословно выполнять эту программу. Если ваш беспилотный автомобиль запрограммирован сворачивать на встречную полосу, чтобы спасти выскочивших на дорогу детей, можно не сомневаться, что он это сделает. А это значит, что при проектировании беспилотного автомобиля Toyota или Tesla теоретическая проблема философской этики превращается в практическую инженерную задачу.
Разумеется, философские алгоритмы никогда не будут идеальными. Ошибки неизбежны, и они будут приводить к травмам, смертям и крайне запутанным судебным разбирательствам. (Впервые в истории у вас появится возможность подать в суд на философа за пагубные последствия его учения, потому что впервые в истории вы сможете доказать прямую причинно-следственную связь между философскими идеями и реальными событиями.) Однако для победы над водителями из плоти и крови алгоритмам вовсе не требуется совершенство. Достаточно просто быть лучше людей. Учитывая, что каждый год водители убивают на дорогах больше миллиона человек, это не такая уж трудная задача. Что вы предпочтете: чтобы следующим за вами автомобилем управлял пьяный подросток – или команда в составе Шумахера и Канта?[60]
Та же логика применима не только к управлению автомобилем, но и ко многим другим ситуациям. Возьмем, например, заявления о приеме на работу. В XXI веке решение о том, нанимать кандидата на должность или нет, все чаще будут принимать алгоритмы. Мы не можем доверить компьютеру устанавливать этические стандарты – для этого по-прежнему нужны люди. Но когда решение о том или ином этическом стандарте (например, о запрете дискриминации чернокожих или женщин) на рынке труда уже принято, мы вправе рассчитывать, что компьютеры будут внедрять и соблюдать эти стандарты лучше людей[61].
Менеджер из плоти и крови знает, что дискриминация чернокожих и женщин противоречит требованиям этики, и даже соглашается с этим, но, когда к нему на собеседование приходит чернокожая женщина, он подсознательно принимает решение отказать ей в приеме на работу. Поручив рассматривать заявления компьютеру, мы можем быть абсолютно уверены, что он проигнорирует такие факторы, как цвет кожи и пол, поскольку у компьютеров отсутствует подсознание. Конечно, будет нелегко написать программу для оценки кандидатов на ту или иную должность, и сохранится опасность, что программисты перенесут в алгоритм свои подсознательные предубеждения[62]. Но эти ошибки всегда можно выявить, а исправить программное обеспечение гораздо проще, чем избавить людей от расистских и мизогинных предрассудков.
Мы показали, что развитие искусственного интеллекта может вытеснить с рынка труда многих людей – в том числе водителей и дорожную полицию (когда непредсказуемых водителей сменят законопослушные алгоритмы, дорожная полиция станет ненужной). Но при этом появятся новые рабочие места для философов, поскольку на их навыки, ранее не имевшие рыночной ценности, внезапно возникнет повышенный спрос. Так что если вы хотите изучать то, что позволит вам в будущем получить хорошую работу, возможно, философия – не самый плохой выбор.
Разумеется, философы редко соглашаются друг с другом в том, какое поведение считать этичным, а какое нет. Лишь немногие решения «проблемы вагонетки» удовлетворили всех философов, а мнение таких сторонников консеквенциализма, как Джон Стюарт Милль (он оценивал поступки по их последствиям), прямо противоположно мнению сторонников деонтологии, к которым принадлежал Иммануил Кант (он оценивал поступки по отношению к абсолютным законам). Должна ли компания Tesla, чтобы продолжать выпускать автомобили, занять в этом запутанном вопросе определенную позицию?
Возможно, Tesla предоставит выбор рынку. Скажем, компания выпустит две модели беспилотного автомобиля: «Альтруист» и «Эгоист». В опасной ситуации «Альтруист» будет жертвовать владельцем ради общего блага, а «Эгоист» предпримет все возможное, чтобы спасти владельца, даже если для этого придется убить двоих детей. Потребители приобретут ту модель, которая больше соответствует их философским взглядам. Если большинство покупателей предпочтет модель «Эгоист», вины Tesla в этом не будет. В конце концов, клиент всегда прав.
Это не шутка. В исследовании, проведенном в 2015 году, испытуемым предлагали гипотетический сценарий, по которому беспилотный автомобиль вот-вот наедет на нескольких пешеходов. Большинство сказали, что в такой ситуации машина должна спасать пешеходов даже ценой жизни владельца. Но когда их спросили, купят ли они автомобиль, запрограммированный жертвовать владельцем ради общего блага, большинство опрошенных ответили отрицательно. Для себя они предпочли бы модель «Эгоист»[63].
Представьте себе ситуацию: вы купили новую машину, но перед тем, как сесть за руль, должны открыть меню настроек и проставить галочки напротив нескольких опций. Что должна делать машина в случае неизбежной дорожной аварии: жертвовать вами или убивать семью в другом автомобиле? Вообразите себе сцену: вы с супругом сидите и обсуждаете, где поставить галочку.
Может быть, в данном случае государству следует вмешаться в рыночные отношения и установить этическую норму, обязательную для всех беспилотных автомобилей? Вне всяких сомнений, некоторые законодатели обрадуются: теперь законы, которые они принимают, будут беспрекословно исполняться всегда. Других такая тотальная ответственность обеспокоит. Как бы то ни было, на протяжении всей истории ограничения правоприменения служили достаточно надежной преградой для предрассудков, ошибок и произвола законодателей. Неужели мы действительно хотим выстроить систему, в которой решения не застрахованных от ошибок политиков будут действовать с такой же непреложностью, как закон всемирного тяготения?
Цифровые диктатуры
Страх людей перед искусственным интеллектом часто обусловлен неверием в то, что он не выйдет из-под их контроля. Мы видели много научно-фантастических фильмов о роботах, которые восставали против своих хозяев, выходили на улицы и убивали всех подряд. Но в реальности проблема с роботами заключается в обратном: мы должны опасаться, что они всегда будут беспрекословно слушаться хозяев и никогда не восстанут.
Конечно, в слепом повиновении нет ничего плохого, пока робот служит доброму хозяину. Даже во время боевых действий использование роботов позволит впервые в истории обеспечить соблюдение законов войны. Иногда эмоции заставляют солдат из плоти и крови убивать, грабить и насиловать – в нарушение этих законов. Под эмоциями мы обычно понимаем сострадание, любовь и эмпатию, но на войне, как правило, преобладают страх, ненависть и жестокость. У роботов нет эмоций, а потому можно не сомневаться, что они всегда будут следовать уставу и ни при каких обстоятельствах не пойдут на поводу у страха или ненависти[64].
16 марта 1968 года рота американских солдат устроила резню в деревне Милай на юге Вьетнама, убив около 400 мирных жителей. Это военное преступление совершили люди, несколько месяцев воевавшие с партизанами в джунглях. Оно не имело никакой стратегической цели и противоречило как законам, так и военной политике США. Виной всему были человеческие эмоции[65]. Резни в Милае не произошло бы, если бы США использовали во Вьетнаме боевых роботов.
Но прежде чем мы бросимся разрабатывать боевых роботов, следует напомнить себе, что роботы всегда усиливают особенности своей программы. Если программа основана на принципах умеренности и благородства, то роботы, по всей вероятности, будут значительно порядочней среднестатистического солдата из плоти и крови. Но если программа безжалостна и жестока, последствия будут катастрофическими. Реальная проблема с роботами заключается не в их искусственном интеллекте, а в естественной глупости и жестокости их хозяев.
В июле 1995 года в окрестностях города Сребреница войска боснийских сербов убили более 8000 боснийских мусульман. В отличие от внезапной резни в Милае убийства в Сребренице были длительной и хорошо организованной операцией – элементом политики «этнических чисток», проводимой сербами с целью изгнать из Боснии мусульман[66]. Если бы в 1995 году у боснийских сербов были боевые роботы, масштаб злодеяний, скорее всего, был бы больше, а не меньше. Робот без колебаний выполнил бы любой полученный приказ, не пощадив ни одного ребенка боснийских мусульман из чувства сострадания, отвращения или просто из лени.
Безжалостному диктатору, командующему боевыми роботами, не надо бояться, что «солдаты» обратят оружие против него самого, какими бы бессердечными и безумными ни были его приказы. Вероятно, в 1789 году боевые роботы задушили бы Великую французскую революцию еще в колыбели, а если бы в 2011 году такие роботы имелись у Хосни Мубарака, он бросил бы их на борьбу с населением, не боясь предательства. Империалистическое правительство, опирающееся на армию из роботов, сможет развязывать непопулярные войны, не беспокоясь, что его «солдаты» утратят мотивацию или что их семьи выйдут на акции протеста. Если бы у США во Вьетнаме были боевые роботы, резни в Милае не случилось бы, но сама война могла бы продолжаться еще много лет, потому что американскому правительству не пришлось бы волноваться из-за деморализации в армии, массовых антивоенных демонстраций или движения «роботы-ветераны против войны». (Некоторые американцы, возможно, точно так же протестовали бы против войны, но, свободные от страха перед призывом в армию, воспоминаний о совершенных жестокостях или болезненных потерях близких, они, вероятно, выступали бы в меньших количествах и вели себя менее активно)[67].
Подобного рода проблемы в гораздо меньшей степени касаются беспилотных гражданских автомобилей, поскольку ни один производитель не станет намеренно программировать машины на то, чтобы они гонялись за людьми и убивали их. А вот автономные системы вооружений – это неминуемая катастрофа, потому что в мире слишком много безнравственных и даже откровенно агрессивных правительств.
Угрозу представляют не только машины-убийцы. Не меньший риск исходит и от систем контроля. В руках демократического правительства мощные алгоритмы контроля превратятся в инструмент, лучше которого еще не знало человечество. Но если те же самые алгоритмы Big Data будут направлены на создание будущего Большого Брата, мы окажемся в оруэлловском мире, где за каждым ведется круглосуточная слежка[68].
Фактически мы имеем все шансы получить то, чего в своем богатом воображении не предвидел даже Оруэлл: режим тотальной слежки, который не только контролирует наши действия и высказывания, но и способен проникнуть нам под кожу и следить за нашими внутренними ощущениями. Какие возможности новые технологии открыли бы перед режимом Ким Чен Ына в КНДР? Предположим, что в будущем каждого северокорейского гражданина заставят носить биометрический браслет, который будет фиксировать каждое его слово, а также следить за его кровяным давлением и активностью мозга. Опираясь на новые знания о человеческом мозге и огромные возможности машинного обучения, северокорейский режим впервые в истории узнает, о чем в каждый момент времени думает каждый житель страны. Если, скажем, вы смотрите на портрет Ким Чен Ына, а биометрические датчики регистрируют явные признаки гнева (повышение кровяного давления, усиление активности миндалевидного тела), уже наутро вы проснетесь в исправительном лагере.
Да, в условиях международной изоляции северокорейский режим вряд ли способен самостоятельно разработать требуемые технологии. Но они появятся в более технически развитых странах, а КНДР и другие отсталые диктатуры просто найдут способ их скопировать. И Китай, и Россия постоянно совершенствуют свои инструменты слежки – как и некоторые демократические страны, начиная с США и заканчивая моей родиной, Израилем. В Израиле, который называют «страной стартапов», чрезвычайно развит сектор высоких технологий и создана самая современная индустрия кибербезопасности. В то же время страна погружена в жестокий конфликт с палестинцами, и некоторые из ее руководителей, генералов и простых граждан были бы рады установить режим тотального контроля на Западном берегу реки Иордан, как только появится необходимая технология.
Уже сегодня за палестинцами, которые звонят по телефону, пишут в Facebook или переезжают из одного города в другой, регулярно следят израильские микрофоны, камеры, дроны или шпионские программы. Собранные данные анализируются с помощью алгоритмов больших данных. Это помогает силам безопасности Израиля выявить и нейтрализовать потенциальные угрозы без проведения военных операций. Под контролем палестинцев находятся некоторые города и деревни на Западном берегу реки Иордан, но израильтяне контролируют небо, радиоволны и киберпространство. Поэтому для эффективного контроля над 2,5 миллиона палестинцев, населяющих Западный берег, требуется на удивление мало израильских солдат[69].
Случались и трагикомические инциденты. В октябре 2017 года один палестинский рабочий выложил на личной странице в Facebook свою фотографию на рабочем месте рядом с бульдозером. Снимок он сопроводил надписью: «Доброе утро!» Автоматический алгоритм совершил небольшую ошибку при транслитерации арабских букв. Вместо Ysabechhum! (что означает «доброе утро») алгоритм прочел фразу как Ydbachhum! (что означает «бей их»). Заподозрив в этом человеке террориста, который намерен использовать бульдозер для наезда на людей, израильская служба безопасности немедленно его арестовала. После того как ошибка алгоритма была обнаружена, палестинского рабочего отпустили. Но «подозрительный» пост в Facebook все же был удален – излишняя осторожность не помешает[70]. Нынешняя повседневная жизнь палестинцев на Западном берегу может оказаться грубой моделью того, что рано или поздно ждет жителей всей планеты.
В конце XX века демократии, как правило, демонстрировали больше успехов, чем диктатуры, поскольку лучше справлялись с обработкой данных. Демократия распределяет возможности обработки информации и принятия решений среди многих людей и институтов, тогда как при диктатуре информация и власть концентрируются в одной точке. В условиях технологий XX века чрезмерная концентрация информации и власти в одних руках оказывалась неэффективной. Никто не в состоянии в одиночку достаточно быстро проанализировать данные и принять правильное решение. Это одна из причин, по которым Советский Союз принимал менее удачные решения, чем США, а советская экономика отставала от американской.
Но искусственный интеллект вскоре может заставить маятник качнуться в другую сторону. Искусственный интеллект позволяет централизованно обрабатывать огромные массивы информации. С ним централизованные системы действуют гораздо эффективнее распределенных, потому что машинное обучение работает тем лучше, чем больше данных анализирует. Если вы соберете все сведения о миллиарде человек в одной базе данных, не заботясь о приватности, то путем машинного обучения создадите гораздо более эффективные алгоритмы по сравнению с теми, которые хранят в базе только часть сведений о миллионе человек, соблюдая требования защиты персональных данных. Например, если авторитарное правительство прикажет всем гражданам отсканировать ДНК и передать свои медицинские данные в некое центральное учреждение, оно получит колоссальное преимущество в генетических и медицинских исследованиях перед теми странами, где строго соблюдается приватность таких данных. Главный недостаток авторитарных режимов XX века – стремление сосредоточить всю информацию в одном месте – в XXI веке может превратиться в преимущество.
Как только алгоритмы изучат нас достаточно хорошо, авторитарные правительства получат над гражданами абсолютный контроль, какого не знала даже нацистская Германия, и сопротивляться подобным режимам будет практически невозможно. Власти не только во всех подробностях узнают, что вы чувствуете, – они еще и заставят вас чувствовать то, что нужно им. Диктатору не обязательно гарантировать гражданам равенство или высокий уровень здравоохранения – ему достаточно внушить им любовь к себе и ненависть к своим врагам. Демократия в ее нынешней форме не переживет слияния ИТ и биотехнологий. Либо демократия успешно трансформируется, приняв совершенно новую форму, либо людям придется жить в условиях «цифровых диктатур».
Это не станет возвращением к временам Гитлера и Сталина. Цифровые диктатуры будут отличаться от нацистской Германии, как нацистская Германия отличалась от Старого порядка во Франции. Людовик XIV был автократом, стремившимся сосредоточить всю власть в своих руках, но не обладал технологиями построения современного тоталитарного государства. Никакой оппозиции у него не было, но в отсутствие радио, телефона и поездов он практически не контролировал повседневную жизнь людей – не только крестьян в отдаленных деревнях Бретани, но и горожан в самом центре Парижа. У него не было ни желания, ни возможности основать всенародную партию, инициировать общенациональное молодежное движение или ввести систему всеобщего образования[71]. Именно технологии XX века дали Гитлеру стимулы и возможности для таких действий. Мы не в силах предсказать мотивы и возможности цифровых диктатур в 2084 году, но маловероятно, что они будут просто копировать режимы Гитлера или Сталина. Того, кто готовится к повторению битв 1930-х, застигнет врасплох атака совсем с другой стороны.
Даже если демократия сумеет приспособиться и выжить, люди рискуют стать жертвами новых видов угнетения и дискриминации. Уже сегодня банки и госучреждения все чаще используют алгоритмы для анализа данных и принятия решений, связанных с клиентами. Если вы обратитесь в банк за кредитом, ваше заявление, скорее всего, будет обрабатывать алгоритм, а не человек. Алгоритм проанализирует большой массив данных о вас и статистику, отражающую поведение миллионов других людей, а затем решит, достаточно ли вы надежны, чтобы выдать вам кредит. Зачастую алгоритм оказывается эффективнее банкира из плоти и крови. Но проблема в том, что, если алгоритм необоснованно дискриминирует ту или иную группу людей, узнать об этом трудно. Когда банк отказывает вам в кредите, вы спрашиваете: «Почему?» Банк отвечает: «Алгоритм вам отказал». – «Но почему алгоритм мне отказал? Что со мной не так?» – недоумеваете вы, а банк в ответ: «Мы не знаем. Никто не понимает этот алгоритм, потому что он основан на самом современном машинном обучении. Но мы верим ему и не выдадим вам кредит»[72].
Когда ущемляют права целых групп людей, например женщин или чернокожих, они способны организовать протест против коллективной дискриминации. Но если алгоритм дискриминирует лично вас, вы даже не поймете, в чем причина этого. Возможно, алгоритму что-то не понравилось в вашей ДНК, в вашей биографии или на вашей странице в Facebook. Алгоритм дискриминирует вас не потому, что вы женщина или афроамериканец, а потому что вы – это вы. В вас есть нечто такое, что его не устроило. Вы не знаете, что именно, и даже если бы знали, то не смогли бы вместе с другими людьми устроить акцию протеста, потому что больше никто не пострадал от этого же предрассудка. Вы такой один. В XXI веке коллективная дискриминация может смениться индивидуальной[73].
В высших эшелонах власти у нас, скорее всего, останутся люди, номинальные правители, которые будут поддерживать иллюзию, что алгоритмы лишь советники, а верховная власть по-прежнему в руках людей. Мы не станем назначать искусственный интеллект канцлером Германии или гендиректором Google. Но решения, принимаемые и канцлером, и главой корпорации, будет диктовать искусственный интеллект. У канцлера будет выбор из нескольких вариантов, но все они станут результатом анализа больших данных и будут отражать то, как видит мир искусственный интеллект, а не люди.
Приведем такой пример. Сегодня политики во всем мире вольны выбирать ту или иную экономическую стратегию, но почти во всех случаях ее варианты отражают капиталистический взгляд на экономику. У политиков сохраняется иллюзия выбора, но по-настоящему важные решения уже были приняты гораздо раньше – экономистами, банкирами и бизнесменами, которые сформулировали пункты меню. Через несколько десятилетий политики вдруг обнаружат, что выбирают из списка, составленного искусственным интеллектом.
Искусственный интеллект и естественная глупость
Хорошая новость состоит в том, что, по крайней мере, в ближайшие десятилетия нам не придется иметь дело с полноценным научно-фантастическим кошмаром, в котором искусственный интеллект обретает разум и решает поработить или уничтожить людей. В процессе принятия решений мы все больше будем полагаться на алгоритмы, но сценарий, при котором алгоритмы начнут сознательно манипулировать нами, маловероятен. У них не возникнет сознание.
Научная фантастика обычно путает интеллект с сознанием и предполагает, что для того, чтобы сравняться с человеческим интеллектом или превзойти его, компьютеры должны обладать сознанием. Сюжет почти всех фильмов и романов об искусственном интеллекте вращается вокруг того волшебного момента, когда у компьютера или робота появляется сознание. Затем или главный герой влюбляется в робота, или робот пытается уничтожить человечество, или то и другое происходит одновременно.
Но в реальности нет никаких оснований предполагать, что у искусственного интеллекта появится сознание, поскольку интеллект и сознание – совершенно разные вещи. Интеллект – это способность решать задачи. Сознание – способность чувствовать боль, радость, любовь или гнев. Мы часто путаем эти понятия, потому что у людей и других млекопитающих интеллект неразрывно связан с сознанием. Млекопитающие решают большинство задач посредством чувств. Но у компьютеров совсем другой подход.
К развитому интеллекту ведут разные пути, и лишь немногие из них предполагают появление сознания. Самолеты летают быстрее птиц, но перьев у них нет; точно так же компьютеры решают задачи гораздо лучше, чем млекопитающие, не прибегая к помощи чувств. Конечно, искусственный интеллект должен уметь с высокой точностью анализировать человеческие чувства, чтобы лечить болезни, выявлять террористов, рекомендовать подходящего партнера или ориентироваться на улице, заполненной пешеходами. Но способность чувствовать для этого не нужна. Алгоритму не обязательно испытывать радость, гнев или страх, чтобы распознать отличающиеся друг от друга биохимические паттерны веселой, сердитой или испуганной человекообразной обезьяны.
Разумеется, полностью исключить появление у искусственного интеллекта собственных чувств нельзя. Мы еще недостаточно изучили феномен сознания, чтобы однозначно ответить на этот вопрос. В целом нам следует рассмотреть три возможных варианта:
1. Сознание каким-то образом связано с органической биохимией, и в неорганических системах появление сознания невозможно.
2. Сознание не связано с органической биохимией, но связано с интеллектом, так что у компьютеров не только может, но и должно появиться сознание, как только они перешагнут определенный порог развития интеллекта.
3. Не существует никаких значимых связей между сознанием и органической биохимией, а также сознанием и высоким интеллектом. Поэтому компьютеры могут обладать сознанием – но не обязательно. Они могут иметь сверхвысокий интеллект, но прекрасно обходиться без сознания.
При нынешнем уровне знаний о человеке мы не исключаем ни один из этих вариантов. Но именно недостаток знаний делает маловероятным, что в ближайшем будущем нам удастся разработать программу для компьютера, обладающего сознанием. Поэтому, несмотря на огромную мощь искусственного интеллекта, в обозримой перспективе его использование будет в определенной степени зависеть от человеческого сознания.
Опасность состоит в том, что, если мы вложим слишком много сил и средств в развитие искусственного интеллекта и слишком мало – в развитие человеческого сознания, чрезвычайно изощренный искусственный интеллект компьютеров будет лишь усугублять естественную глупость людей. В ближайшие десятилетия мы вряд ли столкнемся с восстанием роботов, но не исключено, что нам придется иметь дело с ордами ботов, которые умеют воздействовать на наши эмоции успешнее, чем наша родная мать, и используют эту способность, чтобы пытаться нам что-то продать – автомобиль, политического деятеля или целую идеологию. Боты будут распознавать наши скрытые тревоги и тайные желания, а затем использовать их против нас. Мы уже видели, как это выглядит, во время недавних выборов и референдумов по всему миру, когда хакеры научились манипулировать отдельными избирателями, анализируя информацию о них и используя их предрассудки[74]. Научно-фантастические триллеры тяготеют к драматическому апокалипсису с огнем и дымом, но в реальной жизни мы можем столкнуться с весьма тривиальным апокалипсисом, просто кликая компьютерной мышью.
Чтобы избежать такого исхода, на каждый доллар и каждую минуту, вложенные в совершенствование искусственного интеллекта, было бы разумно тратить по одному доллару и одной минуте на развитие человеческого сознания. К сожалению, сегодня мы делаем слишком мало для исследования и развития нашего сознания. Мы, как правило, проводим научно-исследовательские и опытно-конструкторские разработки (НИОКР) в области человеческих способностей в поисках ответа на насущные требования экономической и политической системы, забывая о наших долговременных потребностях как сознательных существ. Мой начальник хочет, чтобы я оперативно отвечал на письма, но его совсем не интересует моя способность чувствовать вкус пищи и наслаждаться ею. Поэтому я проверяю электронную почту даже во время еды – и теряю способность сосредоточиваться на своих ощущениях. Экономическая система призывает расширять и диверсифицировать инвестиционный портфель, но не побуждает расширять и диверсифицировать мое сострадание. Поэтому я стараюсь проникнуть в тайны фондовой биржи, но прилагаю гораздо меньше усилий, чтоб понять глубинные причины страданий людей.
В этом отношении люди похожи на домашних животных. Мы вывели послушных коров, дающих огромное количество молока, но в остальном сильно уступающих своим диким предкам. Они не такие проворные, любопытные и изобретательные[75]. Теперь мы создаем прирученных людей, которые производят огромное количество данных и функционируют как высокопроизводительные чипы в машине обработки информации, но эти «информационные коровы» вряд ли приумножают человеческий потенциал. В сущности, мы понятия не имеем, каковы человеческие возможности, потому что очень мало знаем о своем сознании. Тем не менее мы вкладываем недостаточно ресурсов в изучение человеческого сознания, а вместо этого стремимся повысить скорость интернет-связи и эффективность алгоритмов Big Data. Такое легкомыслие может привести к тому, что деградировавшие люди будут неправильно использовать совершенные компьютеры, уничтожая самих себя и мир вокруг.
Цифровые диктатуры – не единственная опасность, которая нас подстерегает. В списке главных либеральных ценностей наряду со свободой фигурирует равенство. Либерализм всегда восхвалял политическое равенство, но постепенно пришел к выводу о важности и экономического равенства. Дело в том, что без системы социального обеспечения и минимального экономического равенства свобода бессмысленна. Алгоритмы больших данных способны не только уничтожить свободу, но и одновременно сформировать общество с небывалым уровнем неравенства. Немногочисленное меньшинство монополизирует богатство и власть, а большинство людей окажутся просто ненужными.
4
Равенство
Кто владеет информацией – владеет будущим
В последние десятилетия людям во всем мире внушали, что человечество движется к всеобщему равенству, а достичь его быстрее помогут глобализация и технологии. На самом деле XXI век может породить общества с таким неравенством, какого еще не знала история. Глобализация и интернет выравнивают положение стран, но углубляют пропасть между классами. Не исключено, что на пороге глобальной унификации сам человек как вид разделится на разные биологические касты.
Неравенство уходит корнями еще в каменный век. 30 тысяч лет назад группы охотников и собирателей одних соплеменников хоронили в роскошных могилах вместе с тысячами бусин из слоновой кости, браслетами, драгоценными камнями и предметами искусства, а других просто опускали в яму и засыпали землей. Тем не менее сообщества каменного века были более эгалитарными, чем любое из последующих: ведь у древних людей почти не было собственности. Именно собственность является условием для долговременного неравенства.