Question

היי לכולם, מי שיוכל לענות על השאלה הזו כנראה שהוא באמת תותח!

בוובמסטר טולס אני רואה שגוגל מוצא 100000 עמודים 404 לא נמצאים באתר שלי, עד עכשיו היתה הפניה גורפת של ג'אווה סקריפט של כל העמודים הישנים של האתר (האתר הוחלף באתר חדש) לעמוד הבית, עכשיו גוגל ראה את זה בתור 404 כי הוא לא זיהה הפנייה של ג'אווה...

- אם היינו רושמים בדפדפן mydomain.com/bullshit היינו מקבלים אוטומטית הפנייה לדף הבית למרות שהדף שציינתי עכשיו איננו קיים, מסתבר שוובמסטרטולס מציג את זה גם כדף שלא נמצא!

- בהתחלה חשבנו לעשות 301 גורף לכל העמודים אבל אז החלטנו לשנות את זה לעמודי 404 כך שגוגל יידע שעמודים אלו לא קיימים.

* האם זו הדרך הנכונה? לעשות 404 על עמודים שבאמת לא קיימים?
*האם זה מה שיגרום לגוגל וובמסטרטולס להפסיק להראות לי 100000 עמודים לא נמצאים באתר?

תודה מראש לעונים, זה ממש יעזור!

Answer 1

אני הייתי מנסה לשנות ל 301 ורואה איך גוגל ייתחס לזה.
ניסיתם לעשות את זה?

Comments

עשינו את זה אבל זה הביא לאותה תוצאה של כל מה שתרשום domain.com/anything יביא לדף הבית, זה לא כל כך טוב...
כרגע עשינו 404 על כל העמודים שבפועל לא נמצאים. השאלה היא האם גוגל וובמסטרטולס יפסיק להראות לי 100000 עמודים שלא נמצאים ומתי?

Answer 2

שגיאות 404 הם בהחלט לא הדרך הנכונה בכדי לסדר הפניות של דפים שהועברו\הוסרו
ברגע שיש הרבה דפי שנעלמו מהאתר גוגל בדרך כלל פוגע במיקומי התוצאות של האתר בדירוגים שלו
בהחלט כדאי לשקול הפניית 301 כמו שלירן הציע.
הפניות מבוססות סקריפטים לא נמצאות כתקינות על ידי רוב הספידרים של המנועי חיפוש והם לרוב לא מצליחים לקרוא אותם

Comments

אבל לעשות עכשיו 100000 הפניות לדפים שלא היו קיימים אפילו באתר ועוד כולם לשלוח לדף הבית? אלו דפים שאנחנו לא רוצים בכלל שייחשבו באתר, לעומת זאת על דפים ישנים יש לנו הפנייה 301, אבל על הדפים המוזרים האלו שבגלל באג קטן נוצרו עוד דפים מבחינת גוגל שלא היו קיימים ובגלל ההפנייה של הג'אווה גוגל ספר אותם כלא נמצאים במקום שלא יספור אותם בכלל...
עדיין לא טוב?

Answer 3

ההנחיה העקרונית של גוגל היא להחזיר קוד 404 לדפים שלא קיימים (כמו URL עם שגיאה) ו-410 לדפים שהוסרו.

באופן כללי יותר - כשמעלים אתר חדש *לא* מורידים את הישן. הדפים שכבר אונדקסו ודורגו שווים הרבה, ואפשר להשתמש בהם לקישורים פנימיים, לבצע Canonical או 301 סלקטיבי (לדף רלוונטי ולא לדף הבית) וכו'.

כשזה לא אפשרי או אם אתה רוצה תוצאות מהירות ו/או אם האתר הישן היה מלא שגיאות ובעיות, אפשר לעשות 301 להכל אל דף הבית של האתר החדש - אבל לעולם לא בקוד של הדף, רק ברמת השרת.