Как проводилось исследование
Исследователи из Национального университета Сингапура и Университета Сиань Цзяотун проанализировали, как ChatGPT ищет и цитирует информацию. Они использовали модели GPT-5.3 Instant и GPT-5.5 Instant.
Для этого записали данные, которые получает веб-приложение ChatGPT во время работы: поисковые запросы, результаты поиска и финальный выбор источников. Страница считалась процитированной, если модель выбрала ее как источник.
Взяли 80 вопросов из публичной базы Search Arena: 40 на английском и 40 на китайском. Вопросы делились на четыре типа: рекомендации, проверку фактов, синтез информации и анализ. Каждый вопрос запускали по 20 раз для GPT-5.3 Instant и GPT-5.5 Instant.
Для имитации поиска ChatGPT извлекали до пяти страниц органических результатов Google на каждый вопрос через SerpAPI. В среднем получали около 43 результатов на запрос. Параллельно отправляли по 20 запросов к моделям gpt-5.3-chat-latest и gpt-5.5 через Responses API от OpenAI с включенным веб-поиском. Все запуски провели в течение трех дней после старта ChatGPT с тем же запросом.
Насколько совпадают источники
Комбинация результатов Google и ответов API OpenAI нашла лишь 28.3% страниц, которые цитировал GPT-5.3 Instant, и 26.2% страниц для GPT-5.5 Instant.
На уровне сайтов совпадение было выше: та же комбинация методов нашла 50.3% и 48.7% всех цитируемых сайтов (поддомены считались разными сайтами).
Вклад каждого метода по отдельности: - Только результаты Google нашли 9.4% (GPT-5.3 Instant) и 6.4% (GPT-5.5 Instant) процитированных страниц, а также 26.1% и 22.8% процитированных сайтов. - API OpenAI (весь список его источников) показал лучший результат на уровне страниц: 22.9% и 22.5% всех процитированных страниц соответственно.
Страницы, которые цитировал API в своих ответах, совпадали с цитатами ChatGPT чаще. В среднем GPT-5.5 Instant цитировал 23.3% тех страниц, которые цитировал API. Для GPT-5.3 Instant показатель был ниже - 16.4%.
Непредсказуемость поиска и вариативность ответов
ChatGPT ведет себя непредсказуемо, что усложняет отслеживание источников.
Во-первых, модель почти никогда не использует точную формулировку исходного вопроса для поиска. Когда ChatGPT использует внешнего поискового провайдера, он преобразует запрос в один или несколько конкретных поисковых терминов. В запусках GPT-5.3 Instant и GPT-5.5 Instant, где были видны поисковые запросы, ChatGPT ни разу не использовал точную формулировку вопроса. В GPT-5.2 Instant это происходило, но лишь в 5.5% всех запусков.
Во-вторых, обнаружена сильная вариативность между отдельными запусками одной модели с одним запросом. Например, 44.5% уникальных страниц, возвращенных для заданного вопроса, появлялись только в одном из 20 запусков GPT-5.5 Instant. Для GPT-5.3 Instant аналогичный показатель составлял 40.8%. Совпадение между запусками было выше на уровне сайтов, чем на уровне конкретных страниц.
В-третьих, выявилась языковая специфика. Среди запусков с видимыми поисками для вопросов на китайском языке GPT-5.3 Instant (в 67.0% случаев) и GPT-5.5 Instant (в 69.6% случаев) использовали для поиска только английский язык. Ранее Peec AI показали, что в их тестах 43% "расширенных" запросов для неанглоязычных промптов выполнялись на английском.
Для владельца сайта это значит, что стандартный мониторинг позиций в Google или через API дает неполную картину. Сайт может часто появляться в ответах ChatGPT как источник, но конкретные страницы могут не совпадать с теми, что на первых позициях в поисковой выдаче или генерируются через API. Для полноценной оценки нужно мониторить не только позиции сайта в целом, но и отслеживать, какие именно страницы упоминаются, запуская один и тот же промпт многократно и учитывая, что ChatGPT переформулирует запросы.
Выводы и рекомендации авторов
В тестах ни результаты API OpenAI, ни результаты поиска Google не показывали страницы, цитируемые ChatGPT, в точности такими, какими их цитировал ИИ. Тест, основанный на ранжировании Google или ответах API, найдет большую долю одних и тех же сайтов, чем одних и тех же страниц.
Практические рекомендации для мониторинга: - Отслеживать нужно как на уровне отдельных веб-страниц, так и на уровне сайтов. - Один и тот же промпт следует запускать многократно, чтобы уловить вариативность в ответах и источниках. - Необходимо учитывать, что ChatGPT переписывает ваши промпты в собственные поисковые запросы. - При сравнении результатов инструментов отслеживания на уровне страниц с тем, что сообщает ChatGPT, нужно проверять, собраны ли данные через API или непосредственно через приложение ChatGPT.
В ходе сбора данных две сессии переключились на другую модель после 14 и 16 запусков соответственно, поэтому авторы советуют проверять, какая именно модель сгенерировала каждый ответ. Все настройки относятся к периоду до выпуска GPT-5.6 и GPT-6. По данным Search Engine Journal, страница справки OpenAI отмечает, что GPT-6 внедряется в Chat для подходящих пользователей тарифов Plus, Pro и Business.
