Question

האם קובץ העונה לשם robots.txt.dist ראוי לשבת בשרת עם האתר שאני מקדם יום וליל? או שהוא יגרום רק נזק? לא יודע מה הוא מכיל
עשיתי עדכון גרסה לאתר http://homecomp.co.il/
בג'ומלה ל2.5.14 והוא בא עם הקובץ הזה ובפורומים בחול אומרים שהוא תורם ויותר טוב לקידום בגוגל אבל אני סקפטי

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

Answer 1

מדובר בקובץ ROBOTS.TXT סטנדרטי שמגיע עם מערכת התוכן ודואג להסתיר תכנים שמפתחי הפלטפורמה החליטו שלא אמורים להופיע במנועי החיפוש.

ברוב המקרים אני נוטה רק להסיר את הסתרת התמונות משום שאותם אני מעוניין שהגולשים יראו, כלומר אני מסיר את:
 Disallow: /media/
 Disallow: /includes/
ובחלק מהמקרים את תיקיות התבנית בהתאם למה שהיא מכילה.

Comments

הבנתי
להעיף את   Disallow: /media/
  Disallow: /includes/
וגם את templates
זה רק למחוק מהדף או לרשום במקום disallow לרשום allow?

---

פשוט תעיף.
ותיקיית התבנית, אם ערכת ועיצבת את התבנית, או שיש בה קבצי JS\CSS שחיוניים להצגת הדפים אז גם אותה אתה יכול למחוק

---

תודה רבה על העזרה זה מה שעשיתי עכשיו .
ידוע לך מה הסיבה לכל הבלאגן הזה של גומלה?

---

לאיזה בלגן אתה מתכוון, רוב התיקיות שמוסתרות דפולטיבית מוסתרות משום שהסיקו שאין סיבה שהתכנים שלהם יופיעו בתוצאות החיפוש.
הן מטעמי אבטחה, והן משום שהם פשוט חוזרים ברצף קבוע בכלל המערכות ואינם רלוונטיים