OpenAI представила систему мониторинга для своих мини-моделей o3 и o4, которые отслеживают потенциально опасные запросы, связанные с химическими и биологическими угрозами.
Модели искусственного интеллекта следующего поколения OpenAI (ChatGPT) могут представлять новые угрозы, в том числе позволяя людям без научных знаний создавать потенциально опасные вещества, такие как биологическое оружие. Руководство компании также признаёт это.
Хотя неясно, когда появится крайне опасный искусственный интеллект, Йоханнес Хайдеке, руководитель систем безопасности OpenAI, отметил, что некоторые версии модели o3 достигнут этой точки.
Сложность ограничения искусственного интеллекта заключается в том, что некоторые возможности, которые позволяют большим языковым моделям (LLM) создавать медицинские прорывы, также могут использоваться во вредоносных целях.
Он признал, что OpenAI и другим компаниям нужны системы обнаружения, которые могут предотвращать вредоносное использование с точностью более 99 процентов, или в одном случае из 100 000. В то же время человеческий контроль необходим: группы мониторинга должны иметь возможность быстро реагировать на события, обходящие автоматическую фильтрацию, и быстро устранять потенциальные угрозы.
Ещё в 2024 году OpenAI объявила о разработке системы раннего оповещения, которая могла бы блокировать попытки использования платформы ChatGPT для получения информации, которая может способствовать созданию биологического оружия.
В апреле этого года была внедрена система мониторинга для мини-моделей o3 и o4, которые отслеживают потенциально опасные запросы, связанные с химическими и биологическими угрозами. Эти меры направлены на то, чтобы не допустить, чтобы искусственный интеллект давал инструкции, которые могут привести к созданию настоящего оружия.
