האם ייתכן שהקרולר של גוגל ממציא את דרכו תוך כדי זחילה?

Question

האם ייתכן שהקרולר של גוגל ממציא את דרכו תוך כדי זחילה?

שאלה נשאלה על ידי 13/12/12 על ידי שלומי כהן <סגן משנה> 1.0k צפיות

ואני אפרש את השאלה הסתומה הזו קצת:

באתר אילת סיטי בניתי מערכת סיווגים של עסקים שבנוייה כענפים שמתפצלים לענפים נוספים עד לעלים (סיווגים סופיים).
החלטתי שאני לא פותח את כל הסיווגים (כ-650 סיווגים) בבת אחת אלא פותח (במפת האתר) ענף ראשי אחד (מתוך 10 ענפים ראשיים) כל כמה ימים.
אחרי שבוע גיליתי שגוגל מכיר את כל הדפים של כל הסיווגים - למרות שפתחתי במפת האתר רק שלושה ענפים ראשיים.
זה מבנה ה-url:
http://www.eilat-city.net/סיווג.aspx?id=51

ההערכה שלי היא שגוגל פשוט רץ על הפרמטר כמה שרק יכל, בצורה עצמאית לגמרי, מ-1 עד שנעצר לבסוף.

מישהו נתקל בתופעה שכזו?

2 Answers

זקן השבט · Answer 1 · 2012-12-13T18:39:45+0000

הגיב/ה 14/12/12 על ידי שלומי כהן <סגן משנה> 1.0k צפיות

הגיב/ה 14/12/12 על ידי זקן השבט <רב אלוף> 112k צפיות

הגיב/ה 15/12/12 על ידי שלומי כהן <סגן משנה> 1.0k צפיות

הגיב/ה 15/12/12 על ידי זקן השבט <רב אלוף> 112k צפיות

הגיב/ה 16/12/12 על ידי שלומי כהן <סגן משנה> 1.0k צפיות

מנשה אברמוב · Answer 2 · 2012-12-14T15:52:44+0000

אפשר לבחון האם הערכה שלך נכונה על ידי אבחון קבצי ה LOG של חברת האחסון שמארחת את האתר.

אני בספק אם מנועי החיפוש ניגשים לפרמטרים אקראים בכתובות ודי בטוח שבאחד מהדפים סיפקת להם קישור לשאר הדפים.
יצא לי לעבוד עם מספר מערכות תוכן ובכולם לא ראיתי מצב שבו הבוטים ניגשים לכתובות אקראיות על ידי שינוי פרמטרים בכתובות

האם ייתכן שהקרולר של גוגל ממציא את דרכו תוך כדי זחילה?

Please log in or register to add a comment.

Please log in or register to answer this question.

2 Answers

Please log in or register to add a comment.

Please log in or register to add a comment.

שאלות קשורות