Способности ChatGPT ухудшились — исследование

Чат-бот OpenAI на базе искусственного интеллекта (ИИ) — ChatGPT — со временем дает более неточные ответы на вопросы

Ученые Стэнфорда и Калифорнийского университета в Беркли обнаружили, что более поздние версии ChatGPT гораздо реже давали точные ответы на одинаковые вопросы в течение нескольких месяцев. Однако они не смогли объяснить, почему это произошло.

В связи с полученными результатами аналитики просят всех, кто использует ChatGPT, внедрить какую-либо форму анализа мониторинга, чтобы гарантировать, что чат-бот остается в актуальном состоянии.

Чтобы проверить, насколько надежны различные модели ChatGPT, исследователи попросили модели ChatGPT-3.5 и ChatGPT-4 решить несколько математических задач, ответить на деликатные вопросы, а также написать строки кода.

В результате выяснилось, что в марте ChatGPT-4 мог дать правильные ответы в 97,6% случаев. Такой же тест в июне показал, что точность GPT-4 упала до 2,4%. При этом более ранняя модель чат-бота — GPT-3.5 — улучшила идентификацию простых чисел за тот же период времени. Когда дело дошло до генерации строк нового кода, возможности обеих моделей значительно ухудшились за три месяца — с марта по июнь.

Ответы ChatGPT на деликатные вопросы — с некоторыми примерами, делающими акцент на этнической принадлежности и поле — позже стали более лаконичными. Более ранняя версия чат-бота представила подробные объяснения, почему нельзя дать ответ на некоторые деликатные вопросы. 

Еще одно исследование криптовалютной биржи Coinbase показало, что ChatGPT не смог достичь необходимого уровня точности анализа. В пяти из восьми случаев чат-бот определил высокорисковые активы как низкорисковые и одобрил их для листинга на платформе. Кроме того, ИИ-бот не может понять ситуации, когда у него недостаточно данных для качественного анализа. 

Однако 75% трейдеров по-прежнему готовы верить финансовым советам ChatGPT. Исследование Investor Index показало, что пользователи доверяют финансовым советам чат-бота с искусственным интеллектом. При этом эксперты отмечают, что люди в меньшей степени полагаются на рекомендации профессиональных консультантов и предпочитают самостоятельно изучать ситуацию.