Question

שלום לכולם

הבהרתי לגוגל בעזרת robots.txt שיש מס דפים שאני לא מעוניין שגוגל יסרוק לי אותם (כמובן שמחקתי אותם מהשרת)מאחר והם ישנים ואין בהם שום ערך.
מה שקורה בפועל שגוגל ממשיך לסרוק אותם ומציין שאין הפנייה לדף 404 למרות שכן יש הפנייה.

מה עושים בעניין?
שאלה נוספת איפה אני יכול לראות את כל הדפים שתחת ה- robots.txt?

תודה מראש

Answer 1

לגבי השאלה הנוספת - אני לא זוכרת איך בדיוק נקרא, אבל בוובמאסטר טולס תחת נתוני הסריקה, יש עמוד שמראה כתובות חסומות.

לגבי השאלה הראשונה - לא בטוחה שהבנתי. האם קריאה לכתובת של עמוד לא קיים מחזירה סטטוס 404? בדוק מאיפה יש קישורים (פנימים / חיצוניים / מפת אתר) אל העמודים ותסיר/תתקן אותם.

Answer 2

לגוגל לוקח זמן עד שהוא מתעדכן בשינויים בקובץ ה ROBOTS.TXT וגם לאחר לוקח לו זמן עד שהוא מבצע את ההנחיות בקובץ.
כמו כן אם ישנם דפים חזקים שהסתרת בעזרת הקובץ גוגל עדיין יכול לסרוק ולהציג אותם אבל מבלי לקרוא את תוכן הדפים.

אתה יכול להשתמש בכלי ניסיוני ולסרוק כל דף שתרצה באתר, ובפלט לקבל מידע מלא לגבי הכתובות המוסתרות שגוגל זיהה באתר.
מידע על הכלי תמצא פה:
http://googlewebmastercentral.blogspot.co.il/2011/05/troubleshooting-instant-previews-in.html

Answer 3

רק תוספת קטנטונת לכל הדברים הנכונים שכבר נאמרו כאן, robots.txt הוא קובץ *המלצה* לcrowlers במלוא מובן המילה. אין להם שוב "התחייבות" להתנהג כפי שמוגדר בו.