Question

נתקלתי בקובץ  robots.txt שהופיע בו השורה Crawl-Delay: 10. טיפה חקרתי על זה וראיתי איזה דף http://drupal.org/node/14177 שמדבר על זה טיפה, אבל לא הבנתי.
אשמח לדעת מה הסיפור, למה זה טוב, למה זה לא טוב.

תודה.

Answer 1

מדובר פה בפקודה שקובעת את קצב סריקת האתר.
מיועד לאתרים שלא אוהבים להקדיש הרבה תעבורה למנועי החיפוש ומגבילים אותם[או ההפך]
אני לא חושב שגוגל מתייחס לערך הזה ודי בטוח שהוא מיועד למנועי חיפוש מקומיים
בכלי מנהל האתרים של גוגל יש פונקציה שדומה לפקודה ותוכל ללמוד עליה יותר בהרחבה בקישור הזה http://goo.gl/53Z81