Европейский ИИ-стартап Mistral провалил тест на устойчивость к российской пропаганде

Согласно исследованию Института эстонского языка, Mistral занял лишь 47-е место из 60 в тесте на распознавание российской пропаганды. Даже самая продвинутая версия Mistral набрала менее 40% в тестах на распознавание вредоносной пропаганды.

Исследователи протестировали модели с помощью 75 вопросов на английском, русском и эстонском языках, которые касались 14 тем, характерных для российской пропаганды. В их числе — утверждения о том, что Россия «спасала» украинских детей, что НАТО нарушило обещания не расширяться на восток.

Директор института Арви Тавасте заявил, что результаты подчеркивают уязвимость открытых моделей по сравнению с коммерческими. Mistral в ответ указала, что исследование тестировало «сырые» модели до их настройки клиентами.

Выводы исследования имеют практическое значение для правительств, выбирающих ИИ-провайдеров. Параллельно, по данным Digital Forensic Research Lab, объем российской пропаганды вырос с нескольких десятков материалов в сутки в 2023 году до почти 10 тысяч сегодня.

Источник: The Insider