Здібності ChatGPT погіршилися – дослідження
Дата: 2023-07-21 Автор: Karina Ziganova Категорії: В СВІТІ
Чат-бот OpenAI на основі (AI) – ChatGPT – з часом надає все більше неточних відповідей на запитання
Вчені зі Стенфорда і Каліфорнійського університету в Берклі виявили, що пізніші версії ChatGPT набагато рідше давали точні відповіді на одні й ті ж питання протягом декількох місяців. Однак пояснити, чому так сталося, не змогли.
У зв'язку з висновками, аналітики просять всіх, хто використовує ChatGPT, впровадити певну форму аналізу моніторингу, щоб переконатися, що чат-бот залишається в актуальному стані.
Як проводилося дослідження
Щоб перевірити, наскільки надійні різні моделі ChatGPT, дослідники попросили моделі ChatGPT-3.5 і ChatGPT-4 вирішити кілька математичних задач, відповісти на делікатні питання, а також написати рядки коду.
В результаті з'ясувалося, що в березні ChatGPT-4 міг дати правильні відповіді в 97,6% випадків. Той же тест в червні показав, що точність GPT-4 знизилася до 2,4%. У той же час більш рання модель чат-бота — GPT-3.5 — покращила ідентифікацію простих чисел за той же період часу. Коли справа дійшла до генерації рядків нового коду, можливості обох моделей значно погіршилися за три місяці з березня по червень.
Відповіді ChatGPT на делікатні запитання — з деякими прикладами, що підкреслюють етнічну та гендерну приналежність — пізніше стали більш стислими. Попередня версія чат-бота містила детальні пояснення, чому на деякі делікатні запитання неможливо відповісти.
ChatGPT схвалив неправильні токени для лістингу
Інше дослідження криптовалютної біржі Coinbase показало, що ChatGPT не зміг досягти необхідного рівня точності аналізу. У п'яти з восьми випадків чат-бот визначив високоризикові активи як низькоризикові та схвалив їх для розміщення на платформі. Крім того, AI-бот не може розібратися в ситуаціях, коли йому не вистачає даних для якісного аналізу.
Однак 75% трейдерів все ще готові вірити фінансовим порадам ChatGPT. Дослідження Investor Index показало, що користувачі довіряють фінансовим порадам чат-бота зі штучним інтелектом. При цьому експерти відзначають, що люди менше покладаються на рекомендації професійних консультантів і вважають за краще вивчати ситуацію самостійно.
