חברת קלאודפלייר הכריזה בתחילת החודש על ״יום העצמאות לתוכן באינטרנט״.
על כך ש-AI מאיץ את הדעיכה של הווב הפתוח דיברנו פה כבר מספר פעמים:
היחס בין מספר הפעמים שבוטים אוטומטיים כמו של גוגל או OpenAI מבקרים, לבין מספר הביקורים האנושיים שמגיעים לאותו אתר, צונח במהירות.
ואם הצ׳אט בוט קורא את האתר שלי,
ומנסח מחדש תשובות עבור היוזרים שלו על סמך זה,
ואף יוזר כבר לא מבקר באתר שלי –
למה שאשתתף במשחק הזה בכלל?
הפיתרון של קלאודפלייר הוא שירות שחוסם בוטים של חברות AI.
כאלו שמבקרים (עושים crawling) באתר על מנת להוריד את התוכן,
ולצרף אותו לסט האימון של מודל שפה גדול.
אותו שירות עדיין יאפשר למשתמשים אנושיים רגילים להמשיך לבקר באתר,
לצרוך את התוכן,
ו(אולי) לצפות ולהקליק על פרסומות.
השירות הזה של קלאודפלייר הושק – והיה זמין בלחיצת כפתור – כבר לפני למעלה משנה.
ומעל מיליון לקוחות אכן בחרו להפעיל אותו.
החל מהראשון ביולי האחרון עם זאת –
התאריך עליו קלאודפלייר הכריזה בתור יום העצמאות של התוכן – השירות הזה גם יפעל בדיפולט.
לקוחות יוכלו לכבות אותו כמובן. אבל למה שיבחרו לעשות את זה?
המשמעות היא שמרבית התוכן באינטרנט –
מלבד בעלי אתרים שבאופן אקטיבי יבחרו לאפשר לבוטים של AI גישה לאתר שלהם – יהיה סגור בפני יצרניות ה-LLM.
מלבד אחת מהן: גוגל.
גוגל משתמשת באותו בוט גם כדי לבצע crawling לאתרי אינטרנט במטרה להכניס אותם לאינדקס החיפוש שלה,
וגם במטרה להכניס אותם לסט האימון של מודלי השפה הגדולים שלה.
הנימוק הוא שמודלי השפה של גוגל נכללים במסגרת תוצאות החיפוש, עם פיצ׳רים כמו AI Overviews או AI Mode.
מכיוון שבעלי האתרים עדיין רוצים להיכלל בתוצאות החיפוש של גוגל, הם מאפשרים לגוגל-בוט להוריד את התוכן שלהם.
זה משמש — לצד אינדקס החיפוש — גם לאימון של מודלי שפה גדולים.
כל זה שם את גוגל בעמדת יתרון אל מול כל יצרנית LLM אחרת:
קלאודפלייר למעשה בנתה חומה מסביב לתוכן באינטרנט הפתוח, והשאירה רק לגוגל את המפתחות.
קלאודפלייר מציעה שירות נוסף:
תשלום עבור crawl.
בעלי האתרים יוכלו לגבות כסף מחברות ה-AI.
בדומה לעסקאות שחברות גדולות כמו ניוז קורפ או רדיט עושות עם יצרניות המודלים הגדולות.
המוצר החדש יאפשר דמוקרטיזציה של המודל הזה -
כל אתר, בכל גודל, יוכל למכור - בצורה אוטומטית – גישה לתוכן שלו תמורת תשלום לכל ביקור.
זה יהיה מעניין לראות אם מכאן יתפתח המודל העסקי החדש שיאפשר לאינטרנט הפתוח להמשיך להתקיים.
@barzik חוץ מגוגל, כמו ש@meduplam ציין בפודקאסט (או בהקראה של הבלוג? ככה או ככה תוכן מדהים) לאחרונה. (גוגל אומרים שהם משתמשים באותו crawler לסריקה למנוע החיפוש ולאיסוף מידע לאימון המודל)
@BenBetzalel@AmirMoyal זה מטורף! תודה על השיתוף.
בחלק הזה נראה אבל שהוא כן מכיר את החידה, או שהוא קצת ממציא. "במספר גרסאות של החידה".. או "יש מי שמפרשים"
@ReemSherman יש הרבה נקודות שאני לא בטוח לגבי הדיוק שלהן במה שהיא אמרה. אחת שקצת בלטה לי - ואני עדיין לא בחצי הפרק - היא על ביטוח לאומי. כן יש משמעות לתקרה של הביטוח. למשל במילואים מקבלים החזר מהמדינה רק עד גובה השכר המבוטח.
@ArielaGoesFake@Wlrving@rodphallic אבל יש פנימיות אחרות חילוניות שכן מקבלים. למה אצלכם לא? מה טכנית גורם לפנימיה אחת להיחשב כפר נוער שנמצא תחת המנהל הזה ופנימיה אחרת לא?
נשמע שכמו שכתבו פה שווה לעשות על זה רעש. אני רחוק מלהיות עורך דין ולא מייעץ אבל נשמע לי שאם תגישו בג"ץ תקבלו גם.