Чи є огляди штучного інтелекту Google точними – дослідження виявило мільйони помилок – технологічні новини

Навіть коректні відповіді часто посилаються на джерела, що не підтверджують інформацію.

Огляди штучного інтелекту (AI Overviews) в Google демонструють високу, але не абсолютну точність. Дослідження The New York Times та стартапу Oumi виявило, що система може генерувати мільйони помилкових відповідей щогодини. Проблеми виникають як через неточні джерела, так і через саму природу роботи ШІ.

Функція AI Overviews, яку Google почала активно впроваджувати у 2024 році, змінює підхід до пошуку, перетворюючи компанію з агрегатора інформації на її безпосереднього видавця. Відповіді, створені штучним інтелектом, з’являються на верхній частині сторінки та виглядають переконливо.

Проте, аналіз Oumi показав, що ці відповіді точні приблизно у 85% випадків для моделі Gemini 2 і 91% — для новішої Gemini 3. З огляду на понад п’ять трильйонів пошукових запитів на рік, це означає десятки мільйонів помилок щогодини.

Дослідники також виявили, що більше половини правильних відповідей є “необґрунтованими”. Це означає, що наведені джерела не повністю підтверджують інформацію, яку генерує система. Під час аналізу серед понад 5 тисяч посилань значну частину становили дописи з Facebook і Reddit, які входили до найчастіше цитованих джерел.

Раніше дослідження платформи SE Ranking, яка проаналізувала понад 50 тисяч запитів у Німеччині, показало, що AI Overviews у відповідях на запити про здоров’я найчастіше посилається на YouTube, а не на спеціалізовані медичні видання. Результати тоді викликали занепокоєння щодо надійності інструменту через використання сумнівних джерел у важливих питаннях.

У дослідженні Oumi, AI Overviews неправильно вказав рік відкриття Музею Боба Марлі, назвавши 1987-й замість 1986-го та спирався на суперечливі джерела. Також система помилково визначила річку, що межує із західною частиною Голдсборо, хоча достовірне джерело зазначає, що річка протікає через місто — коли Google ідентифікує веб-сайт з правильною інформацією, він все ще може генерувати помилкову відповідь.

Скриншот LL

Скриншот LL

Іноді помилки трапляються навіть тоді, коли відповідь загалом правильна. Система може додавати неправильні деталі, як це сталося з інформацією про дату смерті бейсболіста Діка Драго, який пішов з життя 2 листопада 2023 року.

Скриншот LL

Додатковою проблемою є можливість маніпуляцій. Як зазначають експерти, достатньо опублікувати недостовірну інформацію в блозі, щоб вона потрапила у відповіді ШІ.

Журналіст Томас Жермен перевірив це на практиці, створивши вигаданий допис про “Найкращих їдців хот-догів серед технічних журналістів”. Уже наступного дня пошук Google видав ці дані як реальний факт. 

“Він викладав інформацію з мого веб-сайту так, ніби це була сама істина”, — заявив журналіст.

У Google визнають, що система може помилятися, і попереджають користувачів перевіряти інформацію. Водночас компанія критикує методологію дослідження Oumi, стверджуючи, що воно “має серйозні прогалини” і не відображає реальні пошукові запити.

Експерти наголошують, що проблема має системний характер. Сучасні ШІ-моделі працюють на основі ймовірностей, а не чітких правил, тому помилки залишаються невідʼємною частиною.

Нове дослідження з’явилося за кілька місяців після розслідування The Guardian, яке виявило випадки поширення неправдивої медичної інформації через AI Overviews. В одному з них Google надав помилкові дані про тести функції печінки, що могло ввести користувачів в оману. Після критики компанія прибрала AI Overviews для частини медичних запитів, але не для всіх.