Question

שלום, ניסיתי להבין דרך שאלות קודמות באתר אך לא הצלחתי. כלי המנהלים מודיע לי שקובץ robots מסנן לי 40 דפים, שזה בערך כמעט כל האתר, אבל אני לא מצליחה להבין למה. הדברים שניסיתי:
User-agent: *

Disallow:

וגם:
User-agent: *

allow:

וגם קובץ ריק לחלוטין.
אשמח לעזרה.
כתובת האתר: shavey-shomron.co.il
תודה רבה.

Answer 1

בדקתי את ה-robots.txt אצלך (http://shavey-shomron.co.il/robots.txt) והוא נראה נכון.

(לרגע שבדקתי התוכן היה:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/)

אופטימיזציה קטנה לקובץ: תוסיף בסוף לינק ל-sitemap.xml בצורה כזאת (כמובן בהתאם למה שיש אצלך):
Sitemap: http://www.maran-be-well.com/sitemap.xml

עוד עצה: תעשה refetch
(Health -> Fetch as Google: robots.txt and the home page. Then, submit to index.)

ותוודא גם שהדומיין שלך "מכוון" נכון.
(Settings -> Preffered domain: Display URL as www.maran-be-well.com)

קח 48 שעות ותעדכן.
בהצלחה :)

Answer 2

40 קבצים אינם בהכרח כל האתר.
נראה שאתה מתייחס רק לדפי התוכן קח בחשבון ששישנם גם קבצים רבים נוספים כמו תמונות, סקריפטים וקבצי CSS שלרוב חסומים בתור ברירת מחדל ברוב מערכות התוכן.

במקרה שלך תוכל לראות שישנם תיקיות חסומות שאולי יכילו חלק מהקבצים של מערכת התוכן.
בכדי לראות אילו קבצים חסומים תוכל להיעזר בכלי יחסית חדש בכלי המנהלים של גוגל תחת Google Labs ואז בתפריט יש לך כלי בשם: תצוגה מוקדמת מיידית
בכל דף שתריץ תקבל רשימה של קבצים שנחסמו ע"י ROBOTS.TXT.