Microsoft обнаружила уязвимости ИИ-агентов после масштабного теста
Эксперты Microsoft представили среду для тестирования ИИ-агентов и и выявили уязвимости, присущие современным цифровым помощникам.
Платформа Magentic Marketplace представляет собой экспериментальную среду для моделирования поведения ИИ-ассистентов. В ней можно проводить тесты, например, по заказу ужина по инструкциям пользователя, где представляющие рестораны агенты конкурируют между собой.
Исходный код проекта открыт, поэтому разные группы исследователей могут его адаптировать под собственные задачи или воспроизведение результатов.
Управляющий директор лаборатории AI Frontiers Lab компании Microsoft Research Эдже Камар подчеркнул, что подобные эксперименты будут иметь решающее значение для понимания возможностей ИИ-агентов.
«Действительно возникает вопрос о том, как изменится мир, когда они будут сотрудничать, общаться друг с другом и вести переговоры. Мы хотим понять эти вещи», — отметил он.
Первый блин комом
В ходе первых тестов 100 клиентских агентов взаимодействовали с 300 бизнес-помощниками, включая модели GPT-4o, GPT-5 и Gemini 2.5 Flash. Эксперимент позволил выявить их уязвимые стороны.
Эксперты выяснили, что существуют методы манипулирования агентами-клиентами, позволяющие побудить их купить определенный продукт.
Если цифровому ассистенту давали много вариантов для выбора, это перегружало его внимание.
«Мы хотим, чтобы агенты помогали нам обрабатывать большое количество вариантов. И мы видим, что текущие модели перенапрягаются из-за этого», — сказал Камар.
Помощники столкнулись с трудностями, когда им предложили сотрудничать для достижения общей цели. Они не могут найти консенсус в том, кто какую роль должен выполнять.
Эффективность повысилась, когда им предоставили более четкие инструкции по взаимодействию с другими агентами.
«Мы можем предоставлять моделям инструкции — как будто говорим им, что делать, шаг за шагом. Но если мы тестируем их способности к сотрудничеству, я бы ожидал, что эти нейросети будут обладать такими способностями по умолчанию», — подытожил Камар.
Напомним, в ноябре Amazon потребовала от Perplexity удалить браузер со встроенным ИИ-агентом из своего интернет-магазина, указав на его некачественную работу.
Трейдерские возможности искусственного интеллекта также оказались под вопросом, показал первый сезон торгового турнира Alpha Arena.