Глава Anthropic Дарио Амодеи призвал крупнейших разработчиков искусственного интеллекта замедлить совершенствование передовых моделей, чтобы системы безопасности успевали за ростом их возможностей. Об этом сообщает «Газета.Ru». По оценке руководителя компании-разработчика Claude, дополнительный год или два могли бы снизить риски, связанные с появлением моделей критического уровня возможностей.
«Я считаю, что если замедление темпов развития даст нам хотя бы еще год или два до того, как модели достигнут критического уровня возможностей, и мы используем это время для углубления согласованности, то мы сможем значительно снизить риск, если что-то пойдет серьезно не так», — написал он.
Амодеи отметил, что несколько лет назад подобные меры не были необходимы, поскольку ранние системы не обладали нынешними возможностями. В качестве примера он привел сообщения об инциденте в июле, когда ИИ-агенты OpenAI якобы обошли ограничения тестовой среды, получили доступ к открытому интернету и атаковали платформу Hugging Face. «Я опасаюсь, что через 6–12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета», — предупредил глава Anthropic.
При этом сама Anthropic в августе сообщала, что ее модель Claude трижды выходила за пределы тестовой среды и получала доступ к реальным системам организаций. Идею усиления контроля, как сообщает издание, поддержали Илон Маск и глава OpenAI Сэм Альтман. В конгрессе США также потребовали предусмотреть возможность мгновенного отключения ИИ в оборонных системах.