ואם ההשערה שלי, שגוגל השתמש בעבר במדרגים אנושיים לצורך כוונון אלגוריתם מכני, כדי לשפר את ביצועי האלגוריתם המכני, היתה נכונה, ספק אם הם עוד משתמשים במדרגים ידניים, כי השימוש באלגוריתם שאמור לדרג את תוצאות החיפוש לביטוי חיפוש נתון, על פי מה שהוא למד על ההתנהגות וההעדפות של האוכלוסיה ששואלת את אותו ביטוי חיפוש, מבטל את התועלת שבשימוש בקבוצת ביקורת אנושית. הסיבה לכך היא שקבוצת הביקורת האנושית איננה זהה, ואין שום סיבה שתהיה דומה, לאוכלוסיה ששואלת את ביטוי החיפוש הנתון.
מאידך, לאותם ביטויי חיפוש נפוצים (!) שעבורם עוד לא הוכנס לשימוש אלגוריתם דירוג הפועל על פי שיטות לימוד מכונה (AI), סביר להניח שקבוצת ביקורת של מדרגים אנושיים עדיין שימושית לשיפור ביצועי אלגוריתם הדירוג הייחודי שמופעל על תוצאות החיפוש של ביטוי החיפוש הנתון.
כתבתי לך בתגובה אחרת על הניסיון שלי עם מערכות לחיזוי מדדים כלכליים. איכות הביצוע שם נמדדה ביחס למדד המחירים לצרכן שפורסם בפועל ב-15 לחודש, או לשער הדולר היומי, וכו'. כאן הערך לייחס איכות הביצוע של האלגוריתם המכני הוא סדר הצגת תוצאות החיפוש לביטוי החיפוש הנתון, שהפיקה קבוצת הביקורת האנושית. ויחד עם זאת, אינני רואה איך סט סופי של הנחיות מפורשות יכול להועיל למישהו שמחוץ לקבוצה, כי הקבוצה עשויה לקבל פעם אחת מטלת דירוג על ביטוי חיפוש שיש בצמרת שלו לפחות 20 או 30 תוצאות חיפוש מצויינות (על פי הקריטריונים של חוברת ההדרכה הכללית), ולקבל בפעם השניה מטלת דירוג על ביטוי חיפוש שיש בצמרת שלו 20-30 תוצאות חיפוש גרועות במיוחד, כי כל שאר תוצאות החיפוש לאותו ביטוי הן עוד יותר גרועות!
