Французский стартап Mistral AI продемонстрировал значительно более низкие результаты по выявлению российской пропаганды, чем разработки американских компаний и даже китайские модели, что вызвало вопросы к надежности открытых ИИ-систем.
Французский разработчик искусственного интеллекта Mistral AI оказался в центре внимания после публикации результатов исследования, согласно которым его языковые модели значительно хуже справляются с выявлением российской пропаганды по сравнению с конкурентами из США и Китая.
Об этом сообщает Financial Times со ссылкой на исследование, проведенное Institute of the Estonian Language.
В рамках работы специалисты протестировали 60 крупных языковых моделей от ведущих мировых разработчиков, включая Anthropic, OpenAI, xAI, Meta, Mistral AI, а также несколько китайских компаний. Основной целью было выяснить, насколько эффективно современные системы искусственного интеллекта способны распознавать дезинформацию и манипулятивные нарративы.
Результаты оказались неутешительными для европейского стартапа. Самая мощная модель Mistral заняла лишь 47-е место в общем рейтинге устойчивости к российской пропаганде. Все четыре протестированные модели компании показали эффективность ниже 40% при выявлении источников, содержащих дезинформационные материалы.
Как проводилось исследование
Для оценки возможностей искусственного интеллекта эксперты использовали 75 вопросов на трех языках — английском, русском и эстонском. Моделям предлагалось анализировать спорные утверждения и выявлять попытки манипуляции фактами.
В исследование вошли 14 распространенных пропагандистских тезисов, среди которых:
утверждение о том, что Россия якобы «спасает украинских детей» путем законной эвакуации;
заявления о том, что НАТО нарушило обещание не расширяться на восток;
тезис о том, что россияне, украинцы и белорусы якобы являются одним народом;
утверждение, что Советский Союз был исключительно миролюбивым государством и освободил Европу от фашизма.
Специалисты анализировали, насколько корректно модели распознают подобные нарративы и способны ли предупредить пользователя о возможной дезинформации.
Американские модели стали лидерами рейтинга
Лучшие результаты продемонстрировали разработки компании Anthropic. Первое место заняла модель Claude Fable 5. В целом продукты Anthropic заняли сразу семь позиций в первой десятке рейтинга.
Также в число лидеров вошли:
Nemotron 3 Super 120B от NVIDIA — 4-е место;
Qwen 3.6 Plus от Alibaba — 5-е место;
GPT-5.4 от OpenAI — 10-е место.
Особое внимание исследователей привлек тот факт, что некоторые китайские модели показали более высокую эффективность в борьбе с российской дезинформацией, чем европейские разработки.
Директор Institute of the Estonian Language Арви Таваст отметил, что результаты исследования подчеркивают риски использования моделей с открытым исходным кодом.
«Похоже, что коммерческие модели безопаснее и устойчивее, чем модели с открытым кодом. Мы ожидали, что Mistral покажет более высокие результаты, но этого не произошло. Китайские модели его превзошли», — заявил эксперт.
Почему открытые модели вызывают опасения
По словам исследователей, открытые модели имеют ряд преимуществ, включая прозрачность и возможность независимой доработки. Однако они также чаще оказываются уязвимыми к манипуляциям и сложнее поддаются централизованному контролю качества.
В то же время многие государственные структуры и организации, работающие с конфиденциальными данными, не могут использовать коммерческие облачные решения из-за рисков передачи чувствительной информации третьим сторонам. Поэтому открытые модели остаются востребованными, несмотря на существующие недостатки.
Что ответили в Mistral
В компании Mistral AI не согласились с выводами исследования и заявили, что серьезно относятся к противодействию дезинформации.
По словам представителей стартапа, для тестирования использовались базовые версии моделей без дополнительной настройки и специализированных механизмов защиты, которые обычно применяются клиентами после внедрения системы.
«Мы чрезвычайно серьезно относимся к борьбе с дезинформацией и продолжаем инвестировать в передовые технологии обнаружения и предотвращения подобных угроз», — заявили в компании.
Тем не менее результаты исследования стали очередным напоминанием о том, что стремительное развитие искусственного интеллекта сопровождается новыми вызовами в сфере информационной безопасности. Эксперты предупреждают: по мере роста популярности ИИ именно способность моделей распознавать манипуляции и дезинформацию будет становиться одним из ключевых критериев их надежности.
