הי, במידה ואתה לא יודע איזה פרמטר לחסום בקובץ הרובוט טקסט מציע שתבצע את הפעולות הבאות:
גש לאתר ותקיש ביטוי סתמי בשורת החיפוש, דוגמה שעשיתי באתר CNN חיפשתי את הביטוי "google"
http://edition.cnn.com/search/?query=google&intl=true&sortBy=date
אתה יכול לראות שנוצרה ספריה בשם search/ ואז ? query ברגע שאתה "אומר" לבוטים דרף קובץ הרובוט טקסט disallow, search אז הדפים האלה לא יתאנדקסו, אתה רק צריך לאתר
את הפרמטר שנוצר בעת החיפוש ואז לחסום אותו.
בכל מקרה ב webmaster tools ישנה אפשרות לבחון את קובץ הרובוט טקסט שיצרת וכך תוכל באמת לדעת אם ביצעת נכון.
דבר נוסף, במידה ואינך רוצה לחסום דרך רובוט טקסט, תוכל להגדיר דרך webmaster tools באפשרות URL parameters לחסום את הפרמטרים הבאים מאינדוקס, רק בזהירות רבה כי שימוש לא מושכל בכלי הזה יכול לחסום לך איזורים רבים באתר, וודא שזיהית את פרמטר החיפוש ורק אז בחר באיזה דרך לחסום אותם.
בהצלחה
שמעון
