Активность AI-краулеров на бизнес-сайтах
Кто на самом деле читает бизнес-сайт ради AI: краулеры, которые собирают данные для обучения, индексаторы AI-поиска и агенты, которые открывают страницу, потому что кто-то только что задал вопрос ассистенту. Измерено по серверным журналам 10 сайтов за период с 25.09 по 22.10.
Кратко
В среднем по сайтам 66% запросов AI-агентов пришлись на краулеры для обучения, 29% на индексаторы AI-поиска и 5% на запросы в реальном времени для пользователя. 12% запросов получили ответ с ошибкой. Ещё 7,5% запросов, назвавшихся AI-агентом, оказались замаскированными сканерами и не учитываются. Все цифры это доли, каждый сайт весит одинаково.
Три причины, по которым приходит AI-агент
| Цель | Что происходит | Доля |
|---|
| Обучение модели | Краулер собирает страницы для будущей модели. Ссылки обратно на сайт не будет. | 66% |
| Индексация для AI-поиска | Строится индекс, по которому ассистент потом отвечает, часто со ссылкой на источник. | 29% |
| Ответ в реальном времени | Человек задал ассистенту вопрос, и тот сразу открыл страницу, чтобы ответить. | 5% |
Третья строка ближе всего к визиту человека: каждый такой запрос это вопрос, на который отвечают по вашей странице. Она же самая маленькая, поэтому за ней стоит следить по неделям, а не по одному числу.
Какие агенты
| Агент | Оператор | Цель | Доля |
|---|
| meta-externalagent | Meta | Обучение модели | 36% |
| ClaudeBot | Anthropic | Обучение модели | 15% |
| Applebot | Apple | Индексация для AI-поиска | 11% |
| OAI-SearchBot | OpenAI | Индексация для AI-поиска | 8,4% |
| PerplexityBot | Perplexity | Индексация для AI-поиска | 6,5% |
| Amazonbot | Amazon | Обучение модели | 5,4% |
| GPTBot | OpenAI | Обучение модели | 4,8% |
| Bytespider | ByteDance | Обучение модели | 3,1% |
| ChatGPT-User | OpenAI | Ответ в реальном времени | 2,6% |
| CCBot | Common Crawl | Обучение модели | 1,3% |
| Claude-SearchBot | Anthropic | Индексация для AI-поиска | 1,2% |
| YouBot | You.com | Индексация для AI-поиска | 1,1% |
| Claude-User | Anthropic | Ответ в реальном времени | 0,9% |
| DuckAssistBot | DuckDuckGo | Индексация для AI-поиска | 0,8% |
| Perplexity-User | Perplexity | Ответ в реальном времени | 0,8% |
| meta-externalfetcher | Meta | Ответ в реальном времени | 0,4% |
| MistralAI-User | Mistral | Ответ в реальном времени | 0,3% |
Посчитать можно только агентов, которые называют себя в заголовке User-Agent. Google-Extended и Applebot-Extended это лишь метки для robots.txt без собственного краулера, поэтому в журнале они не появляются и в список не входят. Обычные поисковики вроде Googlebot и Bingbot не учитываются.
По неделям
| Неделя с | Сайтов | Обучение | AI-поиск | Ответ в реальном времени |
|---|
| 18.09 | 9 | 60% | 31% | 8,9% |
| 25.09 | 9 | 62% | 29% | 8,3% |
| 02.10 | 9 | 78% | 19% | 3,2% |
| 09.10 | 10 | 62% | 34% | 3,7% |
| 16.10 | 10 | 55% | 39% | 5,3% |
По сайтам
Состав сильно отличается от сайта к сайту, поэтому в общих цифрах каждому сайту даётся равный вес, а запросы не складываются: иначе один большой каталог подменил бы собой всю картину.
| Сайт | Обучение | AI-поиск | Ответ в реальном времени | Самый активный агент |
|---|
| slatech.co.il | 79% | 18% | 3,2% | meta-externalagent |
| slavin.ai | 74% | 19% | 7% | meta-externalagent |
| slavin.org.il | 69% | 23% | 8,6% | meta-externalagent |
| slavin.pro | 76% | 17% | 7,7% | meta-externalagent |
| mediora.ai | 48% | 50% | 1,5% | Applebot |
| xfind.me | 77% | 23% | 0% | ClaudeBot |
| darim.ai | 45% | 50% | 5,6% | meta-externalagent |
| yahad.ai | 52% | 46% | 2% | Applebot |
| slatech.ai | 82% | 13% | 5% | meta-externalagent |
| slatech.dev | 58% | 33% | 8,9% | ClaudeBot |
Ошибки и самозванцы
12% запросов AI-агентов получили ответ 4xx или 5xx, чаще всего это страница, которой уже нет. Для ответа в реальном времени это значит, что ассистент ответил без вашей страницы.
User-Agent это просто заголовок, и отправить его может кто угодно. 7,5% запросов, назвавшихся AI-агентом, просили пути, которые ассистенту не нужны: /.env, /.git или PHP-файлы на сайтах, где их нет. Это сканеры уязвимостей под чужим именем, и ни в одну другую цифру на странице они не входят. Подделку, которая запрашивает обычные страницы, по этим журналам не отличить.
Как это измеряется
- Источник: журналы доступа IIS на веб-серверах, читаются раз в сутки. Сутки по UTC.
- Запрос учитывается, если его User-Agent называет известного AI-агента. Список агентов и цель каждого есть в данных для скачивания.
- Каждая цифра сначала считается внутри сайта, потом усредняется, так что все сайты весят одинаково. Абсолютные числа не публикуются.
- Файлы, которые CDN отдаёт из кэша, например llms.txt, до сервера не доходят и здесь не видны.
- Окно это последние 28 полных суток, оно сдвигается каждый день.
Скачать
Те же данные в JSON и CSV, лицензия CC-BY-4.0. При цитировании указывайте Slavin AI, активность AI-краулеров на бизнес-сайтах, и даты окна.
Частые вопросы
Какая доля трафика AI-краулеров идёт на обучение?
В текущем окне 66% запросов AI-агентов на измеренных сайтах пришлись на краулеры для обучения. Цифра обновляется ежедневно.
Как часто AI-ассистенты открывают страницу в реальном времени для пользователя?
Запросы в реальном времени под вопрос пользователя составили 5% запросов AI-агентов. Их делают агенты вроде ChatGPT-User, Claude-User и Perplexity-User.
Можно ли подделать эти цифры?
Отчасти. Кто угодно может отправить User-Agent AI-агента. Запросы, которые ищут секреты или PHP-файлы, отсеиваются, но подделку, запрашивающую обычные страницы, по одним журналам не распознать.
Как применить у себя
Тот же вопрос можно задать любому серверному журналу: какие агенты приходят, зачем и сколько их запросов заканчивается ошибкой. Если ответ в реальном времени раз за разом упирается в 404, эту страницу стоит чинить первой.
Написать мне
По теме: Открытые данные, Управление AI, Глоссарий AI