Question

שלום לכולם,
הקמתי אתר חדש בוורדפרס, וכשאני מחפשת פוסטים ממנו בגוגל, אני מקבלת הודעה שיש בעיה ב-robots.txt

אני משתמשת בפלאגאין של YOAST
כרגע מופיע שם
 User-agent: *
Disallow: /

בוובמאסטר טולס - fetch as google
כתוב שהסטטוס הוא blocked.
איך אני מאפשרת סריקה לרובוט של גוגל בלבד, וחוסמת רובוטים אחרים?

תודה מראש!
מאיה

Answer 1

היי מאיה.
תורידי את הפקודה:
Disallow: /
הפקודה הזאת חוסמת את כל האתר לסריקה.

Comments

היי falcon
תודה רבה :)
אם אני מורידה את הפקודה הזו, אני חושפת את האתר גם לבוטים שלא קשורים לגוגל, לא?

---

נכון.
בהתחלה את כן רוצה להסרק ע״י בוטים שונים (כולל yahoo ו- bing).
בהמשך, אם תראי פעילות עויינת, תחסמי ספציפית את הבוט שידוע לך שהוא ״מחבל״.

---

תודה רבה
נראה לי שכדאי שאלמד עוד על הנושא כדי לא להשאיר את האתר חשוף.

Answer 2

היי


היו לי בעבר בעיות עם yoast ונאלצתי לכבות את הפלאגין עצמו, העדכון של הפלאגין לא היה תואם עם קצב העדכונים של וורדפרס והוא עשה לי בעיות בסריקה.

תנסי אולי פלאגין אחר שיחבר אותך לוובמאסטר ושמתאים יותר לוורדפרס שלך..

Comments

תודה עמית,
אני מכירה את yoast מאתר ענק שעבדתי בו בעבר, ותמיד היה בסדר.
אהיה עם היד על הדופק.

Answer 3

בנוסף לשאר התשובות, יש לבדוק ב WP אם האתר סגור לגוגל בהגדרות
הסבר ימצא פה
http://webmaster.org.il/articles/wordpress-settings
תחת "הגדרות נראות"
ופה
https://en.support.wordpress.com/settings/privacy-settings/