Неочікувані результати дослідження: ШІ тупішає від спілкування з людьми

Дослідження Microsoft Research і Salesforce виявило, що в тривалих розмовах з AI-моделями надійність відповідей падає з 90% до 65%.

Спільне дослідження Microsoft Research і Salesforce проаналізувало понад 200 тисяч діалогів із сучасними AI-моделями та виявило: у тривалих розмовах їхня надійність різко падає. Попри високі результати в одноразових запитах, багатокрокове спілкування часто призводить до помилок і галюцинацій, інформує UAINFO.org з посиланням на “24 канал”.

Дослідники з Microsoft Research разом із Salesforce проаналізували понад 200 тисяч діалогів із провідними великими мовними моделями. Серед них – GPT-4.1, Gemini 2.5 Pro, Claude 3.7 Sonnet, o3, DeepSeek R1 та Llama 4. Про це пише Windows central.

Будьте першими в курсі головного

Додайте «Силу Слова» до улюблених джерел у Google — і наші новини будуть вище у вашому пошуку.

📱 Наші Shorts🔔 Підписатися

«Пасажирів було видно здалеку»: у Луцьку після удару РФ палали вагони

«Слідство триває» - поліція перевіряє оточення Гайден Панеттьєрі у спр

Помідори «як із бочки» без оцту: простий рецепт для 3-літрової банки

Росія може атакувати НАТО найближчими роками: у розвідці США розкрили

Сімейна драма Кличка та Панеттьєрі: чому боксер забрав опіку над доньк

Федоров вимагає від Зеленского публічно відповісти про корупцію в оточ

Це його вибір, – Зеленський про відмову Федорова від усіх 4 запропонов

Корупція заважає завершити війну в сильній позиції, — ексміністр Федор

«Я буду дивитися, з ким пройшли шлях» - Михайло Федоров розповів, коли

«Ці люди зрештою програють»: Федоров пояснив, що призвело до його звіл

Результати показали: моделі демонструють близько 90% успішності при виконанні завдань за одним запитом. Проте у форматі природної багатокрокової розмови цей показник падає приблизно до 65%.

Водночас дослідники наголошують: це не означає, що модель буквально стає дурнішою. Загальне зниження когнітивної здатності оцінили приблизно у 15%. Однак рівень ненадійності зріс на 112%. Іншими словами, відповіді частіше ставали нестабільними або містили помилки.

Як пише XDA, однією з причин називають так зване передчасне генерування. Модель починає формувати відповідь ще до того, як користувач повністю виклав контекст або уточнив деталі. Це призводить до того, що подальший діалог будується на неточній основі.

Ще одна проблема – закріплення первинної помилки. Якщо перша відповідь містила неточність, модель часто використовує її як базу для наступних тверджень, навіть коли вона хибна.

Дослідники також зафіксували явище “роздування відповіді”. У багатокрокових діалогах обсяг тексту зростав на 20%–300% порівняно з одноразовими запитами. Довші відповіді містили більше припущень і галюцинацій, які згодом сприймалися як частина контексту розмови.

Навіть моделі з додатковими “thinking tokens”, як-от o3 чи DeepSeek R1, не змогли повністю уникнути цієї проблеми.

У ширшому контексті дослідження підкреслює: попри швидке впровадження генеративного AI та зміну звичок користувачів, зокрема перехід від класичного пошуку до AI-інструментів, надійність таких систем залишається вразливою, особливо коли у діалозі з’являється багато змінних.

Джерело: uainfo.org

🔮 Гороскоп на сьогодні →

♈ Овен Сьогодні енергія б’є ключем, тож беріться за справи, які давно відкладали у довгу шухляду. На роботі колеги підтримають ваші сміливі ідеї, якщо поясните їх спокійно. Увечері прогуляйтеся на свіжому повітрі або приготуйте смачну вечерю вдома.

♉ Телець День вимагатиме терпіння, особливо під час розмов із близькими про спільний бюджет чи плани на вихідні. На роботі краще зосередитися на перевірці дрібниць у звітах. Увечері знайдіть час для улюбленої книги й теплого трав’яного чаю.

♊ Близнюки Ваша комунікабельність сьогодні відчинить будь-які двері, тому сміливо призначайте зустрічі та телефонуйте старим друзям. В офісі не хапайтеся за все одночасно, визначте чіткі пріоритети. У побуті настав вдалий момент розібрати робочий стіл чи папку з файлами.

♋ Рак Емоційний фон стабільний, і це допоможе владнати непорозуміння, які тягнулися з минулого тижня. На роботі довіряйте власному досвіду, а не порадам збоку. Вдома створіть затишну атмосферу, ввімкніть спокійну музику та замовте щось смачне до вечері.

♌ Лев Сьогодні ви в центрі уваги, і лідерські якості допоможуть вирішити складний робочий проєкт без зайвої метушні. У стосунках варто поступитися партнерові в дрібницях заради гармонії. Додому повертайтеся пішки, щоб перезавантажити думки після насиченого та яскравого дня.

♍ Діва Чудовий день для систематизації завдань, планування витрат чи прибирання в шафі. На роботі ваша уважність до деталей врятує команду від прикрої помилки. Увечері відкладіть телефон подалі та проведіть щиру розмову з тими, кого любите і цінуєте.

♎ Терези Шукайте баланс між робочими дедлайнами та особистим часом, інакше до вечора відчуєте втому від перевантаження. У стосунках уникайте різких слів під час дрібних побутових суперечок. Невеликі приємні покупки для дому суттєво піднімуть настрій і надихнуть.

♏ Скорпіон Інтуїція сьогодні не підведе, особливо в питаннях професійної взаємодії з новими партнерами. Не бійтеся озвучувати власну думку, навіть якщо вона не збігається з більшістю. Вечір ідеально підходить для перегляду хорошого кіно або приготування нової страви.

♐ Стрілець День подарує купу свіжих ідей та оптимістичний настрій, яким захочеться поділитися з усіма навколо. Робочі зустрічі пройдуть легко й невимушено, якщо додасте трохи гумору. Домашні справи почекають, тому присвятіть вечір щирому спілкуванню чи плануванню поїздки.

♑ Козеріг Зосередженість на практичних завданнях принесе помітний результат уже сьогодні в другій половині дня. Керівництво оцінить вашу зібраність і відповідальність у важливій справі. Вдома намагайтеся відпустити службові клопоти й просто відпочиньте у спокійному колі.

♒ Водолій Нестандартний підхід допоможе швидко розв'язати побутову проблему, над якою довго ламали голову інші. На роботі уникайте суперечок на абстрактні теми, концентруйтеся на фактах. Вечірня прогулянка містом або невелике хобі подарують бажане відчуття свободи та спокою.

♓ Риби Сьогодні важливо прислухатися до власних бажань і не брати на себе чужу роботу заради ввічливості. Спілкування з близькими зарядить теплом, якщо поділитеся своїми враженнями від дня. Увечері зробіть щось приємне для власного комфорту, запаліть ароматні свічки.

Ще більше новин для вас