Уход одного из исследователей Anthropic привлек внимание к проблеме, о которой внутри индустрии искусственного интеллекта говорят все чаще: насколько далеко можно продвигать возможности будущих систем, если разработчики еще не умеют надежно контролировать их поведение.
Исследователь Джейкоб Коксон объявил, что покидает Anthropic и вообще намерен уйти из индустрии ИИ. Причиной он назвал опасения относительно разработки систем, которые в перспективе смогут самостоятельно улучшать собственные возможности. По словам Коксона, он не хочет становиться участником гонки, результат которой может оказаться непредсказуемым для человечества.
Три года внутри крупнейших ИИ-лабораторий
Коксон рассказал, что последние три года работал над предварительным обучением моделей сначала в OpenAI, а затем в Anthropic. Именно на этом этапе современные системы обрабатывают огромные массивы информации и формируют базовые способности, которые впоследствии используются для решения задач, работы с кодом и других функций.
Теперь бывший исследователь утверждает, что обе компании, по его мнению, недостаточно осторожно относятся к потенциальным последствиям дальнейшего развития технологий.
Главная тревога Коксона связана не с сегодняшними чат-ботами, а с гипотетическими системами будущего. Он предполагает, что достаточно мощный искусственный интеллект однажды сможет значительно превосходить человека в интеллектуальных задачах, самостоятельно находить способы получения ресурсов, влиять на окружающую среду и даже проводить кибератаки.
При этом сам Коксон признает: речь идет о прогнозах относительно будущего, а не о доказательстве того, что существующие модели уже обладают подобными возможностями.
«Они мчатся прямо к сверхинтеллекту, способному самосовершенствоваться, и рискуют нашими жизнями», — написал исследователь.
Почему Anthropic вызывает у него особое беспокойство
Коксон по-разному оценивает ситуацию в компаниях, где ему довелось работать. По его мнению, в OpenAI часть сотрудников может недооценивать масштаб потенциальных угроз. В Anthropic, как считает исследователь, риски понимают лучше, однако конкурентная борьба все равно подталкивает компанию продолжать разработку все более мощных систем.
Именно такую логику — «если мы остановимся, это продолжат другие» — Коксон считает опасной.
Он призывает крупнейшие ИИ-лаборатории попытаться договориться о совместных ограничениях. Если добровольная координация окажется невозможной, исследователь допускает необходимость более жестких мер, включая временное замедление или приостановку наращивания возможностей наиболее мощных моделей.
Примечательно, что сама Anthropic ранее выступала с похожими предложениями. Компания заявляла о необходимости иметь возможность замедлить или временно остановить развитие ИИ, если ведущие разработчики одновременно согласятся соблюдать такие ограничения и появится механизм независимой проверки договоренностей.
При этом Anthropic отдельно подчеркивала: полноценного рекурсивного самосовершенствования ИИ пока не достигнуто. Под этим термином понимается сценарий, при котором система способна автономно создавать улучшенную версию самой себя. В компании также отмечали, что такой сценарий не является неизбежным.
Другие исследователи тоже говорят о катастрофических рисках
Высказывания Коксона получили поддержку со стороны некоторых нынешних и бывших специалистов Anthropic.
Исследователь Эван Губингер заявил, что внутри компании действительно рассматривают крайне негативный сценарий развития событий как возможный. При этом он позднее уточнил свою позицию: считает угрозу от современных моделей низкой, а основные опасения связывает именно с будущим сверхинтеллектом и возможностью рекурсивного самосовершенствования.
Личную вероятность катастрофического сценария в течение следующего десятилетия Губингер оценивает более чем в 10%. По его словам, Anthropic старается действовать ответственно, однако у специалистов пока нет надежного способа гарантировать, что будущий сверхинтеллект будет действовать строго в соответствии с человеческими интересами.
Исследователь безопасности Anthropic Самуэль Маркс также поддержал подобную оценку. Он отметил, что разработчики понимают потенциальную возможность крайне серьезных последствий, однако существующие методы безопасности позволяют скорее направлять поведение моделей, чем гарантировать их полное соответствие человеческим целям.
При этом Маркс подчеркнул, что выражает личную позицию, а не официальную позицию Anthropic.
Главный вопрос остается открытым
История Коксона показывает противоречие, которое становится все заметнее по мере развития ИИ. С одной стороны, более мощные модели обещают ускорить научные открытия, автоматизировать сложную интеллектуальную работу и решить задачи, которые ранее требовали огромного количества человеческих ресурсов. С другой — чем больше автономности получают системы, тем важнее становится вопрос о пределах их возможностей.
Пока речь идет преимущественно о прогнозах. Современные модели не обладают доказанной способностью самостоятельно создавать бесконечные цепочки улучшенных версий себя и не демонстрируют описанный Коксоном сценарий контроля над ресурсами или обществом.
Однако для специалистов по безопасности проблема заключается именно в том, чтобы подготовиться заранее — до того, как подобные способности потенциально появятся.
Уход исследователя из Anthropic поэтому выглядит не просто как решение одного специалиста. Он отражает более широкий спор внутри индустрии: следует ли продолжать максимально быстро наращивать возможности ИИ или сначала добиться более надежных механизмов контроля.
Пока крупнейшие компании продолжают конкурировать за создание все более мощных моделей, ответа на этот вопрос нет. И именно отсутствие гарантии того, что будущий сверхинтеллект удастся надежно подчинить человеческим целям, остается одной из самых серьезных тем дискуссии вокруг следующего этапа развития искусственного интеллекта.
