התופעה שאתה מתאר בדרך-כלל מאפיינת מצב שבו אין לך קובץ robots.txt וגוגלבוט מגיע לדף שגיאה ידידותי (Friendly 404) שמחזיר 200OK. הפתרון הוא, כמובן, להעלות קובץ רובוטס תקין, שאתה יכול ליצור בעזרת WMT.
באותה הזדמנות, אתה צריך לפתור בעיה אחרת שיש לך מן הסתם: דפי שגיאה אצלך לא מחזירים 404 אלא 200. כלומר, לגולש אתה מודיע שהדף לא קיים, אבל מבחינת גוגל יש שם דף תקין. קוראים לזה Soft 404 ובטח יש לך כבר (או שיהיו לך בהמשך) דיווחים ב-WMT גם על הבעיה זו.
