Доверяй, но проверяй: искусственный интеллект все чаще стал ошибаться

С 18 до 35 процентов достигла доля ошибочных ответов чат-ботов за последний год. Почему это происходит, несмотря на развитие технологий, и чем грозит, разбирались «Известия».

Ошибочные утверждения искусственного интеллекта стремительно растут. Наиболее заметно ухудшение показателей наблюдается среди популярных чат-ботов:

• ChatGPT (Open AI) продемонстрировал рост числа неправильных ответов с 33 до 40 процентов, несмотря на свое лидирующее положение на рынке;
• Perplexity (Perplexity AI) ранее практически не допускал ошибок, но теперь показывает значительный уровень некорректности 47 процентов;
• другие крупные игроки рынка, такие как Pi (Inflection) и Grok (xAI), зафиксировали повышение уровня лжи до 57 и 33 процентов соответственно.

Тем временем Google’s Gemini сохранился на прежнем уровне точности в 17 процентов, а Anthropic’s Claude продолжает оставаться лидером качества, демонстрируя минимальный процент ошибок лишь 10 процентов.

Эксперты связывают данную тенденцию с несколькими ключевыми причинами:

• современные системы стремятся дать ответ на любой поставленный вопрос, вне зависимости от того, насколько достоверны доступные им исходные данные;
• использование интегрированного веб-поиска приводит к обработке большого объема сомнительных ресурсов, влияющих на качество результатов;
• наблюдается целенаправленная деятельность, направленная на манипуляции результатами нейросетей (LLM grooming), путем распространения заранее заготовленного контента;
• специфические сложности возникают при работе с определенными языками, такими как русский и китайский, где показатели ошибок превышают отметку 50 процентов.

Кроме того, отмечаются технические аспекты использования больших языковых моделей, построенных на методах вероятностного подбора слов, которые зачастую приводят к потере контекста.

Исследователи призывают пользователей проявлять осторожность при восприятии рекомендаций от ИИ, особенно в сферах здравоохранения, финансов и права. Для решения проблемы предлагаются различные меры:

• повышение стандартов отбора и верификации обучающих данных;
• разработка дополнительных уровней проверки фактов;
• улучшение методов фильтрации информации низкого качества;
• создание прозрачных индикаторов надежности каждого ответа.

Таким образом, необходимо понимать, что технологии ИИ находятся в стадии активного развития, и их применение требует внимательного подхода и критического осмысления полученных результатов.