פעילות סורקי AI באתרים עסקיים
מי באמת קורא אתר עסקי בשביל AI: סורקים שאוספים נתוני אימון, מערכות שבונות אינדקס לחיפוש AI, וסוכנים ששולפים עמוד כי מישהו שאל עוזר AI שאלה ממש עכשיו. נמדד ביומני השרת של 10 אתרים בתקופה שבין 25.09 ל-22.10.
בקצרה
בממוצע על פני האתרים, 66% מהבקשות של סוכני AI הגיעו מסורקי אימון, 29% ממערכות אינדוקס לחיפוש AI ו-5% משליפות בזמן אמת עבור משתמש. 12% מהבקשות קיבלו תשובת שגיאה. עוד 7.5% מהבקשות שהציגו את עצמן כסוכן AI היו סורקי פרצות מחופשים, והן לא נספרות. כל הנתונים הם נתחים, וכל אתר נספר במשקל שווה.
שלוש סיבות שסוכן AI נכנס לאתר
| מטרה | מה קורה | נתח |
|---|
| אימון מודל | סורק אוסף עמודים בשביל מודל עתידי. שום דבר לא מפנה חזרה לאתר. | 66% |
| אינדוקס לחיפוש AI | נבנה אינדקס שעוזר AI עונה ממנו בהמשך, לעיתים קרובות עם קישור למקור. | 29% |
| תשובה בזמן אמת | מישהו שאל עוזר AI שאלה, והעוזר שלף את העמוד באותו רגע כדי לענות. | 5% |
השורה השלישית היא הקרובה ביותר לביקור של אדם: כל בקשה כזאת היא שאלה שנענית כשהעמוד שלכם הוא המקור. היא גם הקטנה ביותר, ולכן כדאי לעקוב אחריה משבוע לשבוע ולא להסתכל על מספר בודד.
אילו סוכנים
| סוכן | מפעיל | מטרה | נתח |
|---|
| meta-externalagent | Meta | אימון מודל | 36% |
| ClaudeBot | Anthropic | אימון מודל | 15% |
| Applebot | Apple | אינדוקס לחיפוש AI | 11% |
| OAI-SearchBot | OpenAI | אינדוקס לחיפוש AI | 8.4% |
| PerplexityBot | Perplexity | אינדוקס לחיפוש AI | 6.5% |
| Amazonbot | Amazon | אימון מודל | 5.4% |
| GPTBot | OpenAI | אימון מודל | 4.8% |
| Bytespider | ByteDance | אימון מודל | 3.1% |
| ChatGPT-User | OpenAI | תשובה בזמן אמת | 2.6% |
| CCBot | Common Crawl | אימון מודל | 1.3% |
| Claude-SearchBot | Anthropic | אינדוקס לחיפוש AI | 1.2% |
| YouBot | You.com | אינדוקס לחיפוש AI | 1.1% |
| Claude-User | Anthropic | תשובה בזמן אמת | 0.9% |
| DuckAssistBot | DuckDuckGo | אינדוקס לחיפוש AI | 0.8% |
| Perplexity-User | Perplexity | תשובה בזמן אמת | 0.8% |
| meta-externalfetcher | Meta | תשובה בזמן אמת | 0.4% |
| MistralAI-User | Mistral | תשובה בזמן אמת | 0.3% |
אפשר לספור רק סוכנים שמזדהים בכותרת User-Agent. Google-Extended ו-Applebot-Extended הם רק סימונים ב-robots.txt בלי סורק משלהם, ולכן הם לא מופיעים ביומן ולא נכללים ברשימה. מנועי חיפוש רגילים כמו Googlebot ו-Bingbot לא נכללים.
שבוע אחרי שבוע
| שבוע שמתחיל ב- | אתרים | אימון | חיפוש AI | תשובה בזמן אמת |
|---|
| 18.09 | 9 | 60% | 31% | 8.9% |
| 25.09 | 9 | 62% | 29% | 8.3% |
| 02.10 | 9 | 78% | 19% | 3.2% |
| 09.10 | 10 | 62% | 34% | 3.7% |
| 16.10 | 10 | 55% | 39% | 5.3% |
לפי אתר
התמהיל שונה מאוד בין אתר לאתר, ולכן הנתונים הכלליים נותנים לכל אתר משקל שווה במקום לחבר את כל הבקשות: אחרת קטלוג גדול אחד היה הופך לכל התמונה.
| אתר | אימון | חיפוש AI | תשובה בזמן אמת | הסוכן הפעיל ביותר |
|---|
| slatech.co.il | 79% | 18% | 3.2% | meta-externalagent |
| slavin.ai | 74% | 19% | 7% | meta-externalagent |
| slavin.org.il | 69% | 23% | 8.6% | meta-externalagent |
| slavin.pro | 76% | 17% | 7.7% | meta-externalagent |
| mediora.ai | 48% | 50% | 1.5% | Applebot |
| xfind.me | 77% | 23% | 0% | ClaudeBot |
| darim.ai | 45% | 50% | 5.6% | meta-externalagent |
| yahad.ai | 52% | 46% | 2% | Applebot |
| slatech.ai | 82% | 13% | 5% | meta-externalagent |
| slatech.dev | 58% | 33% | 8.9% | ClaudeBot |
שגיאות ומתחזים
12% מהבקשות של סוכני AI קיבלו תשובה 4xx או 5xx, בדרך כלל עמוד שכבר לא קיים. בתשובה בזמן אמת זה אומר שהעוזר ענה בלי העמוד שלכם.
כותרת User-Agent היא רק כותרת, וכל אחד יכול לשלוח אותה. 7.5% מהבקשות שהציגו את עצמן כסוכן AI ביקשו נתיבים שאף עוזר לא צריך, כמו /.env, /.git או קובצי PHP באתרים שאין בהם כאלה. אלה סורקי פרצות שמשתמשים בשם אמין, והם לא נכללים באף נתון אחר בעמוד. התחזות שמבקשת עמודים רגילים אי אפשר לזהות ביומנים האלה.
איך זה נמדד
- מקור: יומני הגישה של IIS בשרתי האתרים, נקראים פעם ביום. הימים לפי UTC.
- בקשה נספרת כשה-User-Agent שלה מציין סוכן AI מוכר. רשימת הסוכנים והמטרה של כל אחד נמצאת בנתונים להורדה.
- כל נתון מחושב קודם בתוך כל אתר ואז ממוצע, כך שלכל אתר אותו משקל. מספרים מוחלטים לא מתפרסמים.
- קבצים שה-CDN מגיש מהמטמון, כמו llms.txt, לא מגיעים לשרת ולא נראים כאן.
- החלון הוא 28 הימים המלאים האחרונים, והוא מתקדם כל יום.
הורדה
אותם נתונים ב-JSON וב-CSV, ברישיון CC-BY-4.0. בציטוט נא לציין Slavin AI, פעילות סורקי AI באתרים עסקיים, ואת תאריכי החלון.
שאלות נפוצות
איזה חלק מתנועת סורקי ה-AI משמש לאימון?
בחלון הנוכחי 66% מהבקשות של סוכני AI באתרים שנמדדו הגיעו מסורקי אימון. הנתון מתעדכן מדי יום.
כמה פעמים עוזרי AI שולפים עמוד בזמן אמת עבור משתמש?
שליפות בזמן אמת בעקבות שאלה של משתמש היו 5% מהבקשות של סוכני AI. הן מגיעות מסוכנים כמו ChatGPT-User, Claude-User ו-Perplexity-User.
אפשר לזייף את המספרים האלה?
בחלקם. כל אחד יכול לשלוח User-Agent של סוכן AI. בקשות שמחפשות סודות או קובצי PHP מסוננות, אבל התחזות שמבקשת עמודים רגילים אי אפשר לזהות מהיומנים בלבד.
איך להשתמש בזה באתר שלכם
את אותה שאלה אפשר לשאול על כל יומן שרת: אילו סוכנים מגיעים, למה, וכמה מהבקשות שלהם נכשלות. אם תשובה בזמן אמת נתקלת שוב ושוב ב-404, זה העמוד הראשון שכדאי לתקן.
דברו איתי
קשור: נתונים פתוחים, ממשל AI, מילון מונחי AI