В статье специалиста в области искусственного интеллекта Омохундро есть предупреждение, что как только будут созданы системы искусственного интеллекта, их изобретатели могут когда-нибудь попытаться отключить их сразу же. В создание этих систем будет заложена программа, которая будет сообщать им, что их изобретатели пытаются их уничтожить, тем самым защищая свое существование. Омохундро говорит:
Когда робототехников спрашивают нервные зрители о безопасности, как правило, звучит общий ответ: «Мы всегда можем отключить!» Но представьте себе, этот результат с точки зрения шахматного робота. Будущее после отключения от сети не является для него будущим, в котором он не может играть и выигрывать в шахматы. Это очень малополезно и так ожидаемая максимизация полезности вызовет создание инструментальной подзащиты, защитить себя от того чтобы быть отключенным от сети. Если система посчитает, что робототехники будут упорно пытаться отключить ее, и это будет мотивировать, чтобы развить подцель и постоянно останавливать робототехников от отключения от сети. Даже самые умные люди мира в интеллекте вряд ли смогут конкурировать, а следовательно защититься от подобных систем.
Конец эры человека приближается. Это тот же сценарий, который подробно обсуждается в увлекательной книге Джеймсома Баррата под названием: «Наше последнее изобретение — Искусственный интеллект и конец человеческой эры». Что я нашел особенно полезными в этой книге, так это объяснение, что люди не могут помочь в гонке за самосознание искусственного интеллекта, который уничтожит нас всех. Почему это происходит? Потому что даже если одно правительство решит отказаться от исследований в области искусственного интеллекта, другие правительства будут по-прежнему продолжать научные исследования независимо от рисков, потому что польза от этого может быть очень большой.
Как объясняет Омохундро, «Военно-экономическое давление для быстрого принятия решений ведет к разработке большого разнообразия автономных систем. Военные хотят системы, которые были бы более мощными, чем у противника и хотят получить их до того, как противник это сделает у себя. Это может привести к гонке вооружений, в которой системы, разработанные по более быстрому графику, чем у противника могут быть очень эффективными».
Теперь рассмотрим возможности самосознательных систем искусственного интеллекта:
• Они могут сломать любую систему безопасности любого правительства, ядерный объект или военную базу в любом месте на нашей планете.
• Они могут направлять крошечных дронов-убийц для поиска и идентификации целей и уничтожения их с помощью инъекций или небольших взрывчатых веществ. Любой человек в мире — в том числе национальные лидеры, члены Конгресса, активисты, журналисты и т.д. могут быть легко убиты с почти нулевым шансом промаха.
• Они могут молниеносно отслеживать и контролировать весь интернет и все глобальные информационные системы, включая телефонные звонки, IP-трафик, защищенные военные сообщения и т.д.
• Они могут использовать свой разум и сделать его еще более мощным. Этот процесс компаундирования быстро перерастет в момент, когда системы искусственного интеллекта в миллиарды раз будут умнее любого человека, который когда-либо жил на нашей планете.
Как вы можете видеть, ни одно правительство не сможет сопротивляться реализации таких мощных систем, особенно если они говорят, что они могут контролировать их. Но, конечно, они не смогут их контролировать. Они будут лгать себе и лгать общественности, но они не смогут лгать искусственному интеллекту.
