אהלן ברק,
יש לך מספר אופציות לפתרון הבעיה, למרות שאני בהחלט מסכים שאין צורך לעשות דפים נפרדים רק לתמונות, רצוי להשתמש בתוספי גלריות למיניהן למטרות אלו.
אבל אם בכל זאת תרצה להגביל את סריקת הדפים המדוברים, תצטרך להגדיר אותם בקובץ robots.txt (במידה ואין לך קובץ כזה, תצטרך ליצור אותו ולהעביר אותו לתיקיה הראשית בשרת.)
בכדי להגדיר את robots.txt, תוכל להשתמש בכלי כגון (
http://www.mcanerin.com/EN/search-engine/robots-txt.asp)
או ליצור אותו ידנית:
להלן מספר אופציות להגדרה:
כדי לחסום את האתר במלואו, יש להשתמש בקו נטוי.
Disallow: /
כדי לחסום ספרייה מסוימת על כל תכניה, יש להוסיף קו נטוי אחרי שם הספרייה.
Disallow: /junk-directory/
כדי לחסום דף, ציין את הדף.
Disallow: /private_file.html
כדי להסיר תמונה ספציפית מתמונות Google, יש להוסיף את הפרטים הבאים:
User-agent: Googlebot-Image
Disallow: /images/dogs.jpg
כדי להסיר את כל התמונות שבאתר שלך מתמונות Google:
User-agent: Googlebot-Image
Disallow: /
כדי לחסום קבצים מסוג ספציפי (למשל .gif), יש לציין את הפרטים הבאים:
User-agent: Googlebot
Disallow: /*.gif$
לפרטים נוספים:
http://support.google.com/webmasters/bin/answer.py?hl=iw&answer=156449
אופציה נוספת תהיה התקנת פלאגין למערכת ניהול שלך (וורדפרס?) שינהל לך את כלל ההרשאות רובוטים באתרך:
http://wordpress.org/plugins/wp-robots-txt/
זהו פלאגין פשוט, אבל כמובן שישנן אופציות מורכבות ומשוכללות יותר.
