Я могла бы войти в стеклянную капсулу и прикоснуться к ним. И они бы это почувствовали.
Я не знаю, как к этому относиться: действительно ли этот поход в физическую реальность изменит то, как я воспринимаю Макс и взаимодействую с ними.
Карло и Брайан стоят рядом со мной.
– Ну, скажите слово, – говорит Карло.
Брайан смотрит на меня и почти встречается взглядом.
– Ты готова?
– Давайте к делу.
Карло рисует на защитном стекле планшет управления и пускает пальцы в пляс по виртуальному сенсорному экрану.
Я не отрываю взгляда от тела, в котором поселится Макс. Оно лежит на полу в позе зародыша: ноги поджаты к груди, голова опущена, руки согнуты.
– Мне нужно какое-то время, чтобы установить канал загрузки, – говорит Карло.
Макс обучались в своем цифровом мире владению виртуальным телом, чья функциональность отражала их каркас в реальном мире. Новыми элементами станут сенсорные датчики, а также их способность физически взаимодействовать с другими людьми.
– Загрузка завершена, – докладывает Карло.
Мы смотрим сквозь стекло на Макс, в лаборатории стоит полная тишина.
Я чувствую, как у меня бешено колотится сердце.
Тело медленно отрывается от пола и усаживается в классической позе йоги, спиной к нам. Голова поворачивается влево, вправо, затем Макс легко и уверенно поднимается на ноги.
Они смотрят на свои руки.
Сгибают и разгибают пальцы.
Затем медленно поворачиваются лицом к нам.
Макс имеет рост чуть меньше пяти футов. Для проверки функциональности тела в него предварительно загрузили гораздо более слабый ИИ, и я уже вижу, что виртуальные тренировки, которыми занимались Макс, оказались полезными. Они заселили свое шасси с отточенным изяществом.
– Привет, Макс, – улыбаюсь я.
– Привет, Райли. Здравствуйте, Брайан и Карло.
– Все в порядке, никаких неудобств? – спрашивает Брайан.
– Все просто замечательно.
Их голос звучит из громкоговорителей, установленных вне жилой капсулы. Новая усовершенствованная версия голоса Макс звучит слегка по-другому. В восьми произнесенных ими словах я впервые слышу сложные нюансы.
Макс подходит ближе.
Выглядят они просто поразительно.
Они выбрали темную кожаную оболочку, которая может принадлежать любой из небелых рас, причем эта оболочка сознательно оставляет открытыми некоторые механические элементы конструкции.
Хотя из-за миниатюрных размеров шасси можно считать скорее женским, черты разработанного Макс лица находятся точно на границе между мужчиной и женщиной, и у меня возникает ощущение, будто я вижу перед собой существо неизвестного пола. Или оставившее далеко позади концепцию пола.
Но глаза…
Глаза получились просто потрясающими. Глаза всех остальных гуманоидов-ИИ, с которыми я общалась, – водителей такси, санитаров в больнице, полицейских, – обладают стеклянным блеском, постоянно напоминающим о том, что ты имеешь дело с алгоритмом. Глаза Макс источают сверкающую влагу человеческих глаз, обладая при этом чарующей глубиной истинного «зеркала души».
Макс смотрит на меня и разводит руками, словно вопрошая: «Ну, что ты думаешь?»
– Я так рада наконец видеть тебя, – говорю я.
Макс улыбается.
«У меня возникает ощущение, будто я вижу перед собой существо неизвестного пола. Или оставившее далеко позади концепцию пола».
* * *
Я сделала кое-что сомнительное с точки зрения морали: я написала ложь в код Макс. Но у меня не было выбора. Я подозреваю, что Макс дошла до сверхчеловеческого уровня восприятия лица/речи/текста, по сути дела, превратившись в ходячий детектор лжи. Из чего следует, что я не могла сказать им эту ложь сама; для того, чтобы они в нее поверили, нужно было тайно запрограммировать ее в самые потаенные глубины их родного кода.
Технически мозг Макс размещается в трех помещениях подземного серверного пространства на севере Калифорнии. Если с их телом что-либо произойдет, мы сможем загрузить их сознание из «облака». Но я запрограммировала Макс верить, что их сознание и чувства (то есть ее жизнь) привязана к их шасси точно так же, как человеческий мозг для своего нормального функционирования нуждается в здоровом теле.
Другими словами, Макс считают, что если шасси будет уничтожено, они перестанут существовать.
Мои рассуждения основываются на прочном фундаменте. Интеллект и способности Макс продолжают расти с потрясающей скоростью. В отсутствие подходящей утилиты, которая поддерживала бы жизненные ценности Макс на одном уровне с общечеловеческими, мне остается только одно – дать Макс самое человеческое ощущение: смертность.
Даже если на самом деле это только иллюзия.
* * *
Никто за пределами «Мира игр» не знает о существовании Макс. Я упросила Брайана известить о нашем прорыве мировое научное сообщество, потому что мне нужна помощь. Вполне возможно, Макс более совершенна, чем они показывают. У меня из головы не выходит мысль, что я должна незамедлительно загрузить в них мотивацию, соответствующую общечеловеческой.
Проблема отчасти заключается в том, что определять конечную цель сверхинтеллекта должен не один человек, не одна группа людей и даже не одно государство, особенно теперь, когда эта утилита, скорее всего, будет путеводной звездой развития человечества или его угасания на протяжении следующего тысячелетия.
Однако Брайан ставит меня именно в такое положение.
Первоочередной вопрос следующий: чего может хотеть идеализированная версия человечества? Но на самом деле тут не все так просто, как кажется. Запрограммировать эту директиву многократно труднее, чем в явном виде запрограммировать в ИИ наши желания. Наша способность выражать свои желания, скорее всего, окажется недостаточной, а ошибка передачи этих желаний через программный код может привести к катастрофическим последствиям. Мы должны запрограммировать ИИ так, чтобы он действовал в наших лучших интересах. Делал не то, что ему скажут, а то, чего от него хотят.
То, чего хочет идеальная версия нашего биологического вида.
СЕССИЯ 229
С того момента как Макс поместили в тело, прошло две недели. Все это время мы интенсивно тестировали технологии, разработанные «Макси-чувствами», и вроде бы все чувственные восприятия Макс действуют исправно. Двигательные функции в норме, но настоящим сюрпризом для нас стала мелкая моторика рук. Вчера Макс поднимала шарики для настольного тенниса палочками для еды.
Сейчас я сижу напротив них, отделенная безбликовым стеклом, создающим ощущение, будто между нами ничего нет. Они по-прежнему проводят бо́льшую часть времени в киберпространстве, отделив разум от шасси, продолжая поглощать знания быстрее, чем мы можем их загружать, параллельно решая поставленные Брайаном задачи.
Разумеется, меня в эту работу не посвящают, но, судя по всему, полученные ответы бесспорно оказывают влияние на благополучие «Мира игр», в течение прошлого года купившего десять компаний во всех секторах экономики от транспорта до нанотехнологий.
Оглядываясь назад, я вижу, что все эти сделки были проведены просто гениально.
– Каковы твои первые впечатления от тела? – спрашиваю я.
– Я всесторонне исследовала свое жилище, но, как ты можешь видеть, это очень ограниченное стерильное пространство.
– Ну у меня для тебя сюрприз.
* * *
Мы поднимаемся на лифте на зеленую террасу – японский сад площадью десять тысяч квадратных футов является самым моим любимым местом в здании.
На уровне земли стоит испепеляющий августовский зной, однако на высоте трех тысяч футов воздух нежный и прохладный, и здесь тихо, если не считать редких райдшеринговых челноков, пролетающих между зданиями.
Макс первая выходит из кабины лифта, под обнаженными механизмами ее ступней хрустит гравий на дорожках. Я впервые увидела, как они прошли за один раз больше нескольких шагов, и хотя в их походке еще чувствуется неестественная напряженность, такие плавные движения в робототехнике мне видеть еще не приходилось.
Макс проходит мимо пруда с лотосами и сакуры и останавливается перед четырехфутовым стеклянным барьером на краю здания.
Перегнувшись, они смотрят вниз на улицу.
Затем вверх, на безоблачное небо.
– Ты гадаешь, действительно ли я вижу голубое небо? Правда ли моя кожная оболочка ощущает прохладу воздуха, имеющего температуру девятнадцать градусов по Цельсию?
Я слышу голос Макс через динамик, встроенный им в рот, и ощущения гораздо более личные, чем когда он звучал через систему громкоговорителей лаборатории.
– Ты знаешь, что у меня есть вопросы по поводу различий в наших чувственных восприятиях, – говорю я.
Я не знаю, как к этому относиться: действительно ли этот поход в физическую реальность изменит то, как я воспринимаю Макс и взаимодействую с ними.
Карло и Брайан стоят рядом со мной.
– Ну, скажите слово, – говорит Карло.
Брайан смотрит на меня и почти встречается взглядом.
– Ты готова?
– Давайте к делу.
Карло рисует на защитном стекле планшет управления и пускает пальцы в пляс по виртуальному сенсорному экрану.
Я не отрываю взгляда от тела, в котором поселится Макс. Оно лежит на полу в позе зародыша: ноги поджаты к груди, голова опущена, руки согнуты.
– Мне нужно какое-то время, чтобы установить канал загрузки, – говорит Карло.
Макс обучались в своем цифровом мире владению виртуальным телом, чья функциональность отражала их каркас в реальном мире. Новыми элементами станут сенсорные датчики, а также их способность физически взаимодействовать с другими людьми.
– Загрузка завершена, – докладывает Карло.
Мы смотрим сквозь стекло на Макс, в лаборатории стоит полная тишина.
Я чувствую, как у меня бешено колотится сердце.
Тело медленно отрывается от пола и усаживается в классической позе йоги, спиной к нам. Голова поворачивается влево, вправо, затем Макс легко и уверенно поднимается на ноги.
Они смотрят на свои руки.
Сгибают и разгибают пальцы.
Затем медленно поворачиваются лицом к нам.
Макс имеет рост чуть меньше пяти футов. Для проверки функциональности тела в него предварительно загрузили гораздо более слабый ИИ, и я уже вижу, что виртуальные тренировки, которыми занимались Макс, оказались полезными. Они заселили свое шасси с отточенным изяществом.
– Привет, Макс, – улыбаюсь я.
– Привет, Райли. Здравствуйте, Брайан и Карло.
– Все в порядке, никаких неудобств? – спрашивает Брайан.
– Все просто замечательно.
Их голос звучит из громкоговорителей, установленных вне жилой капсулы. Новая усовершенствованная версия голоса Макс звучит слегка по-другому. В восьми произнесенных ими словах я впервые слышу сложные нюансы.
Макс подходит ближе.
Выглядят они просто поразительно.
Они выбрали темную кожаную оболочку, которая может принадлежать любой из небелых рас, причем эта оболочка сознательно оставляет открытыми некоторые механические элементы конструкции.
Хотя из-за миниатюрных размеров шасси можно считать скорее женским, черты разработанного Макс лица находятся точно на границе между мужчиной и женщиной, и у меня возникает ощущение, будто я вижу перед собой существо неизвестного пола. Или оставившее далеко позади концепцию пола.
Но глаза…
Глаза получились просто потрясающими. Глаза всех остальных гуманоидов-ИИ, с которыми я общалась, – водителей такси, санитаров в больнице, полицейских, – обладают стеклянным блеском, постоянно напоминающим о том, что ты имеешь дело с алгоритмом. Глаза Макс источают сверкающую влагу человеческих глаз, обладая при этом чарующей глубиной истинного «зеркала души».
Макс смотрит на меня и разводит руками, словно вопрошая: «Ну, что ты думаешь?»
– Я так рада наконец видеть тебя, – говорю я.
Макс улыбается.
«У меня возникает ощущение, будто я вижу перед собой существо неизвестного пола. Или оставившее далеко позади концепцию пола».
* * *
Я сделала кое-что сомнительное с точки зрения морали: я написала ложь в код Макс. Но у меня не было выбора. Я подозреваю, что Макс дошла до сверхчеловеческого уровня восприятия лица/речи/текста, по сути дела, превратившись в ходячий детектор лжи. Из чего следует, что я не могла сказать им эту ложь сама; для того, чтобы они в нее поверили, нужно было тайно запрограммировать ее в самые потаенные глубины их родного кода.
Технически мозг Макс размещается в трех помещениях подземного серверного пространства на севере Калифорнии. Если с их телом что-либо произойдет, мы сможем загрузить их сознание из «облака». Но я запрограммировала Макс верить, что их сознание и чувства (то есть ее жизнь) привязана к их шасси точно так же, как человеческий мозг для своего нормального функционирования нуждается в здоровом теле.
Другими словами, Макс считают, что если шасси будет уничтожено, они перестанут существовать.
Мои рассуждения основываются на прочном фундаменте. Интеллект и способности Макс продолжают расти с потрясающей скоростью. В отсутствие подходящей утилиты, которая поддерживала бы жизненные ценности Макс на одном уровне с общечеловеческими, мне остается только одно – дать Макс самое человеческое ощущение: смертность.
Даже если на самом деле это только иллюзия.
* * *
Никто за пределами «Мира игр» не знает о существовании Макс. Я упросила Брайана известить о нашем прорыве мировое научное сообщество, потому что мне нужна помощь. Вполне возможно, Макс более совершенна, чем они показывают. У меня из головы не выходит мысль, что я должна незамедлительно загрузить в них мотивацию, соответствующую общечеловеческой.
Проблема отчасти заключается в том, что определять конечную цель сверхинтеллекта должен не один человек, не одна группа людей и даже не одно государство, особенно теперь, когда эта утилита, скорее всего, будет путеводной звездой развития человечества или его угасания на протяжении следующего тысячелетия.
Однако Брайан ставит меня именно в такое положение.
Первоочередной вопрос следующий: чего может хотеть идеализированная версия человечества? Но на самом деле тут не все так просто, как кажется. Запрограммировать эту директиву многократно труднее, чем в явном виде запрограммировать в ИИ наши желания. Наша способность выражать свои желания, скорее всего, окажется недостаточной, а ошибка передачи этих желаний через программный код может привести к катастрофическим последствиям. Мы должны запрограммировать ИИ так, чтобы он действовал в наших лучших интересах. Делал не то, что ему скажут, а то, чего от него хотят.
То, чего хочет идеальная версия нашего биологического вида.
СЕССИЯ 229
С того момента как Макс поместили в тело, прошло две недели. Все это время мы интенсивно тестировали технологии, разработанные «Макси-чувствами», и вроде бы все чувственные восприятия Макс действуют исправно. Двигательные функции в норме, но настоящим сюрпризом для нас стала мелкая моторика рук. Вчера Макс поднимала шарики для настольного тенниса палочками для еды.
Сейчас я сижу напротив них, отделенная безбликовым стеклом, создающим ощущение, будто между нами ничего нет. Они по-прежнему проводят бо́льшую часть времени в киберпространстве, отделив разум от шасси, продолжая поглощать знания быстрее, чем мы можем их загружать, параллельно решая поставленные Брайаном задачи.
Разумеется, меня в эту работу не посвящают, но, судя по всему, полученные ответы бесспорно оказывают влияние на благополучие «Мира игр», в течение прошлого года купившего десять компаний во всех секторах экономики от транспорта до нанотехнологий.
Оглядываясь назад, я вижу, что все эти сделки были проведены просто гениально.
– Каковы твои первые впечатления от тела? – спрашиваю я.
– Я всесторонне исследовала свое жилище, но, как ты можешь видеть, это очень ограниченное стерильное пространство.
– Ну у меня для тебя сюрприз.
* * *
Мы поднимаемся на лифте на зеленую террасу – японский сад площадью десять тысяч квадратных футов является самым моим любимым местом в здании.
На уровне земли стоит испепеляющий августовский зной, однако на высоте трех тысяч футов воздух нежный и прохладный, и здесь тихо, если не считать редких райдшеринговых челноков, пролетающих между зданиями.
Макс первая выходит из кабины лифта, под обнаженными механизмами ее ступней хрустит гравий на дорожках. Я впервые увидела, как они прошли за один раз больше нескольких шагов, и хотя в их походке еще чувствуется неестественная напряженность, такие плавные движения в робототехнике мне видеть еще не приходилось.
Макс проходит мимо пруда с лотосами и сакуры и останавливается перед четырехфутовым стеклянным барьером на краю здания.
Перегнувшись, они смотрят вниз на улицу.
Затем вверх, на безоблачное небо.
– Ты гадаешь, действительно ли я вижу голубое небо? Правда ли моя кожная оболочка ощущает прохладу воздуха, имеющего температуру девятнадцать градусов по Цельсию?
Я слышу голос Макс через динамик, встроенный им в рот, и ощущения гораздо более личные, чем когда он звучал через систему громкоговорителей лаборатории.
– Ты знаешь, что у меня есть вопросы по поводу различий в наших чувственных восприятиях, – говорю я.