◀ חדש! הצטרפו לקבוצה הסגורה שלנו בפייסבוק ושאלו את המומחים להצטרפות >>
קולות
0
1.2k צפיות

חסימת רובוטים - robots.txt

על ידי 800 צפיות
היי, אני מעוניין לחסום רובוטים של אתרים נפוצים לחקירת מתחרים כמו ahref, semrush, majestic seo וכו'.
חיפשתי ומצאתי את השמות של הבוטים של האתרים הללו.
הזנתי אותם לקובץ robots.txt שלי אבל עדיין יש אפשרות לסרוק דרכם את האתר. מה עשיתי לא בסדר?
הקובץ שלי נראה כך:

User-agent: *
Disallow: /admin

User-agent: SemrushBot
Disallow: /

User-agent: rogerbot
Disallow: /

User-agent: exabot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: dotbot
Disallow: /

User-agent: gigabot
Disallow: /

User-agent: AhrefsBot
Disallow: /

3 Answers

קולות
0
על ידי <רב אלוף> 112k צפיות
אינני מומחה בתחום הזה, אבל משום מה, לא נראה לי מתקבל על הדעת שרובוטים לחקירת אתרים מתחרים מצייתים למה שכתוב בקובץ טקסט כמו robots.txt.
קולות
0
על ידי <סרן> 5.4k צפיות
התפקיד של הקובץ הזה הוא "לבקש" מבוטים לא לזחול באתר שלך או באיזורים ספציפיים בתוכו.
זו לא דרך למנוע מרובוט זה או אחר גישה לאתר.
את זה אתה יכול להשיג על ידי שימוש ב-htaccess או מנגנון דומה על שרת מיקרוסופטי. אתה צריך לחסום את כתובות ה-IP (שעלולות להשתנות עם הזמן כך שיש לעקוב אחרי זה), או על ידי חסימת ה-User-Agaent.

שווה לבדוק אם Incapsula כוללים תכונה כזו, הם חוסמים רובוטים רבים, יכול להיות שניתן לבחור ידנית מה לחסום ולמה לאשר גישה.
על ידי 800 צפיות
תודה על התגובה. האם ידוע לך כיצד ניתן לבצע חסימה באמצעות קובץ web.config(שרת ווינדואוז)?
קולות
0
על ידי <רב אלוף> 178k צפיות
החסימה הזו, גם לאחר שתצליח, לא תמנע מהמתחרים שלך לבחון אילו אתרים מקשרים אליך.

היא רק תמנע מאנשים לגלות אתרים שאליהם האתר שלך מקשר, לכן גם לאחר שתצליח, עדיין תהיה אפשרות לקבל עליך מידע.

בפן הטכני לרוב הבוטים הללו יש את אותם טווחי ה IP ומעבר ל UA ולקובץ ה robots.txt אפשר לחסום אותם ע"י שלל פתרונות נוספים.
על ידי 800 צפיות
תודה על התשובה,
אשמח לשמוע דרכים נוספות כיצד ניתן לחסום אותם
על ידי <רב אלוף> 178k צפיות
לחסום את ה UA ע"י קובץ ה htaccess
או לחסום את טווח האיפי של הבוטים

4,354 שאלות

7,384 תשובות

9,949 תגובות

2,091 משתמשים

שאלות קשורות

1 תשובה
קולות
0
שאלה נשאלה על ידי 21/02/14 על ידי Nitzang 200 צפיות
1 תשובה
קולות
0
שאלה נשאלה על ידי 1/01/21 על ידי guy waldman <סגן משנה> 1.0k צפיות
2 תשובות
קולות
0
שאלה נשאלה על ידי 4/02/14 על ידי דלווין 280 צפיות
3 תשובות
קולות
0
שאלה נשאלה על ידי 28/11/13 על ידי aavichai 580 צפיות
1 תשובה
קולות
0
שאלה נשאלה על ידי 16/07/13 על ידי אלון 140 צפיות
...