Question

שלום לכולם

יש לי באתר סדר גודל של 30 דפים שאני מעוניין להסיר אותם מהאתר - ממש לא רלוונטים, תוכן כפול וכ'

קראתי את ההנחיות של גוגל מה אני צריך לעשות, קובץ רובוט וכ' בכדי שגוגל לא יסרוק אותם.

השאלה שלי אם אני צריך גם למחוק אותם מהאתר אינטרנט והשרת גם יחד עם הפנייה לדף 404

האתר שלי לכל מקרה - seeflowers.co.il

אשמח לקבל המלצות בעניין

תודה מראש
אביחי אהרון

Answer 1

ברגע שאתה מוחק את הקובץ מהשרת מערכת התוכן או השרת אמורים להחזיק 404 אוטומטית, כך שזה שניהם

Comments

שלום לך מנשה / חברים , יש לי שאלה בהקשר זה אך מורכבת.
בבעלותי אינדקס ורטיקאלי בתחום מסויים שקיים מספר שנים. האתר לא מצליח להתרומם למרות השקעה של שנים, המצב ההפוך קורה, לאחר כל עדכון של גוגל יש ירידה במיקומים של המילות המפתח וכמובן הטראפיק.
באתר בוצעו פעולות קידום שחור לפני כשנתיים שבמהלכן זרעו המקדמים אלפי קישורים שנכנסו מ-700 דומיינים שונים מישראל ומרחבי העולם לאתר שלי. (ברצוני לציין ש 90% מהם הוסרו ידנית בחצי שנה האחרונה וכ-70 אין יכולית טכנית לבצע. נשאר רק לבקש מהבעלים או להסיר באמצעות  הכלי של גוגל).
בשבוע האחרון נחשפתי לבעיה חמורה ביותר שכנראה זאת שפגעה בי לאורך הדרך.(אגב הבעיה של הקישורים לא יצרה עונש ידני על האתר). הבעיה היא אלפי דפים משוכפלים בגלל שילוב של בעיה בהגדרת friendly URL  ב htaccess עם הגדרת קישורים פנימיים לא תקינה באתר.
בעיה זאת בנתה URL  דינאמיים שפנו לאותו דף, כך שלכל קטגוריה באינדקס נבנו עוד 50 URL  שונים שמפנים לאותו דף. כמובן מיותר לציין שגם מפת האתר וגם גוגל סרקו את הדפים וכמובן שהדפים נמצאים באינדקס של גוגל.
דוגמא:  לצורך העיניין זה הURL  המקורי: www.aaaaa.co.il/room
ואלו ה-URL  המשוכפלים:  | www.aaaaa.co.il/blabla/room  | www.aaaaa.co.il/tttt/room
| www.aaaaa.co.il/eeee/room. כל הדפים מפנים לאותו הדף פיסית.

לאחר שזיהיתי את הבעיה, חתרתי לפתרונה ע"י תיקון הקישורים באתר שיופנו רק לכתובת המקורית ולאחר סריקה מחודשת של מפת האתר הוסרו 3000 דפים. סה"כ נשארו 2300 דפים במפת האתר.
מוזר אבל אתמול ראיתי בכלי מנהלים של גוגל שהוא סרק 4000 דפים מהאתר בעוד המפה המעודכנת של האתר בכלי מראה על 2300 דפים. הוא ממשיך לסרוק את הדפים הכפולים/הישנים למרות שלא נמצאים במפת האתר ושום לינק לא מפנה אליהם...(כנרא בגלל שמזהה שהם פעילים ובאוויר)

נכון לכרגע פקודת SITE מראה על 13000 דפים מאונדקסים. הדפים המשוכפלים  מוסתרים ע"י גוגל כי נמצאו לא רלוונטים(בביטויים הרלוונטיים לכל קטגוריה). כל דפי הקטגוריות נמצאים במיקום 100 בביטויים מרכזיים ומקשרים חלקם לדפים המקוריים.

אני מעוניין למחוק את הקישורים מגוגל לאתר לאותם URL  משוכפלים, שלא יפנו לא באופן רגיל ולא ע"י גרסת מטמון.  אני רוצה שגוגל יבין שהדפים הוסרו ותוקנה הבעיה במינימום זמן. הכיצד עושים זאת?

מהמחקר שביצעתי להלן האפשריות שמצאתי:
1.    להחזיר שגיאת 404 ע"י פתרון הבעיה htaccess בשילוב friendly URL
נכון לכרגע, הקישורים עדיין פועלים מגוגל לעמודי הקטגוריות. במצבים שלא, יש הפניה לעמוד הראשים PRDUCT.PHP מה שהופך את זה ליותר גרוע או אותו דבר...

2.    קנוניקל – אני מבין שצריך להגדיר בדף  הכפול. במקרה שלי מדובר באותר דף פיסית רק עם URL  שונה...
3.    NOINDEX - אני מבין שצריך להגדיר בדף הכפול. במקרה שלי מדובר באותר דף פיסית רק עם URL  שונה...

4.    ROBOTS.TXT – ספק אם יסיר את מה שקיים ומתי. מדובר באלפי עמודים, לא נראה לי מעשי ופרקטי. לא בטוח שאוכל ליצא את כל הכתובות הלא תקינות מהאינדקס בגוגל.

5.    כלי הסרה של גוגל - ספק אם יסירו כמות שכזאת. מדובר באלפי עמודים, לא נראה לי
מעשי.


אני כמעט בטוח שזאת היתה הבעיה שלי כל השנים ואני חייב לראות איזו תוצאה חיובית כדי להבין שאני בדרך הנכונה.

אשמח את עזרתך/כם,
אלי.

---

בהתייחסות לפתיח אמליץ לנסות להסיר את שאר ה 70, או להתנער מהם.
לגבי הכפילות החדשה שנמצאה, אל תמהר להחליט שהאבחון כלכך קל("כנראה זאת שפגעה בי לאורך הדרך")

1. האופציה הזו אפשרית, אבל היא גם פוסחת על כל שאר הסיגנלים שאותם הכתובות המשוכפלות יכלו להרוויח

2. קנוניקל בהחלט אפשרי, אם לכפילות יש צורך כלשהו(לדוגמה אם המוצר ROOM מופיע בכמה קטגוריות כמו tttt blabla eeee וכו)

3. גם NOINDEX בהחלט אופציונלי, אבל גם פה אתה פוסח על רוב הסיגנלים, ובנוסף הגולשים יכולים לקשר לדפים הללו ואתה לא תהנה מהקישורים הללו, אם כבר קנוניקל

4. גם פה כמו noindex\404 אתה מפסיד סיגנלים, ונעזר בפתרון מעט מסורבל ליישום

5. הכלי בהחלט יכול להסיר כמות משמעותית של דפים במכה.
אם הם לא מחזירים 404\noindex לא תמיד יאשרו את הבקשת הסרה.

למרות זאת הפתרון הזה לא יפתור את הבעיה האלגוריתמית, אפילו שטכנית הדפים לא יוצגו ב תוצאות החיפוש הם עדיין היו באינדקס ויסרקו(ועדיין יכולים "לפגוע" באתר ולדלל את איכות\ייחודיות התוכן שבו).
יש לקחת בחשבון שתוקף הבקשה מוגבל בזמן, ולאחר תקופה היא תפוג.

" אני כמעט בטוח שזאת הייתה הבעיה שלי כל השנים ואני חייב לראות איזו תוצאה חיובית כדי להבין שאני בדרך הנכונה."
מצטער, אני כמעט בטוח שתתאכזב, אבל עדיין חשוב לטפל בבעיה הטכנית

לגבי פתרון נוסף שלא עלה זה לבצע הפניית 301 מכל הגרסאות המשוכפלות למקוריות שלהם, כלומר:
www.aaaaa.co.il/blabla/room  301-To> www.aaaaa.co.il/room
www.aaaaa.co.il/tttt/room  301-To> www.aaaaa.co.il/room
www.aaaaa.co.il/eeee/room  301-To> www.aaaaa.co.il/room
וכך האלה
או שתוכל ליישם את 2.

---

ראשית, תודה על עזרתך ותשובתך (:

1. ספק אם יש/יהיו כאלה.

2. קנוניקל מגדירים ב TAG HEAD, נכון? מדובר באותו דף לכל ה-URLים. איך עושים זאת? אני מקווה שאני לא מטעה אבל בכל כתובת להלן יש קריאה לקובץ PHP עם אותו פרמטר. אגב אני לא זקוק לכפילות למשתמש....

3. לא עדיף NOINDEX על פני קנוניקל? קנוניקל הוא לא בגדר המלצה לגוגל?
דם כאן מדובר באותו קובץ. אם אני מגדיר  NOINDEX זה יתקיים בכולם וגם במקור כי מדובר באותו אחד.

4. אוקי

5. זה ריאלי לבצע אלפי הפניות ב htaccess. ספק אם אני יודע את כולן...

אם אני מבצע את #1, מתי הקישורים מהאינדקס יוסרו (כולל מהמטמון?)

אני אשמח מאוד לדעת למה אתה חושב שאתאכזב? מה הסיבה שהביאה אותך למסקנה שזאת לא כנראה הבעיה? בעיית הכפילות בממדים האלו זאת בעיה שנחשפתי אליה במלוא עוצמתה רק לאחרונה וזה לאחר אין ספור תיקונים ובדיקות שביצעתי.
לאחרונה בשני העדכונים של גוגל חוויתי ירידה של 30-40 אחוז. הנחתי כי זה או קישורים או תוכן.
אתר שהכיל 80% דפים כפולים זה מוגדר בסדר? זה לא משהו ש"נענשים" עליו בפנדה?
ירדתי מ-5300 ל-2300 ויש עוד 1000 בקנה להסרה...

תודה מנשה.

---

1. בדרך כלל יש, ועדיין גם אם לא הייתי לוקח את הסיכון(בעיקר כשמדובר בפתרון טכני)

2. נכון
כמו הפניות
www.aaaaa.co.il/blabla/room  canonical-To> www.aaaaa.co.il/room
www.aaaaa.co.il/tttt/room  canonical-To> www.aaaaa.co.il/room
www.aaaaa.co.il/eeee/room  canonical-To> www.aaaaa.co.il/room
לא הבנתי את ההרחבה, אמליץ לבדוק את זה מול המפתח

3. לא, וזה תלוי מקרה(לא יצא לי לבחון את האתר), אם החלטת להימנע מקנוניקל אז תלך על הפניה, לא מובן לי למה אתה מחפש לוותר על הסיגנלים שנאספו שם, אני לא הייתי מוותר עליהם

5. את ההפניות תוכל גם לבצע במערכת התוכן לא רק ב htaccess, וגם פה בדרך כלל ישנו פתרון רוחבי

אם הכוונה היא לדפים המשוכפלים באינדקס בדרך כלל לאחר מספר סריקות, תלוי מקרה
זה שכפילות תוכן מהווה פוטנציאל לבעיה זה מובן מאליו, והממדים שלה והפעולות שעשית בעבר גם מובנים, אבל להחליט שזה מקור הבעיה נראה כמו הימור או ניחוש.

---

היי מנשה,
שבוע טוב מנשה,

אתחיל מהסוף להתחלה. אתה צודק, אין פה החלטה אלא סוג של תחושה. הרי הרבה מעולם הקידום בנוי על ניסוי וטעיה וניסתי לא מעט... בצעתי הצלבה גם על עדכוני פנדה וראיתי באופן עקבי ירידה בתנועה במהלך כל עדכון. זה ביחד עם מדדים נוספים "זרקו" אותי לאבחנה זאת. מקווה באמת שלא אתאכזב...

נראה לי שאלך על תיקון ה-friendly URL  ב htaccess כך שהוא הולך ליצור לא מעט דפי error 404 + קנוניקל. אני חייב לנקות את האינדקס מכפילויות וזה חייב לקרות מהר אפילו אם אני מאבד סיגנלים.

מה המשמעות פה של קנוניקל בזמן שלא יהיה כבר ניתן להגיע לדף דרך ה-URLים הבעייתיים?
נשמע לי קצת חסר חשיבות. יותר בשביל שדברים מן הסוג הזה לא יתרחשו בעתיד, לא?

---

קנוניקל בדף 404 חסר ערך.
אם אתה מחפש פתרון מהיר הפניית 301 תהיה המומלצת ביותר מבחינתי(בהתבססות על המידע שהצגת תוך התייחסות לצד הטכני)
לאחר מכן 410 או noindex

---

היי מנשה,

שמעתי בעצתך והעברתי הנחיה למפתחים לבצע 301 על הדפים הכפולים באינדקס בפורטל וכך לא לאבד סיגנלים.

לדעתך, איך גוגל יתייחס לקישורים לדפים המשוכפלים בגוגל שקיבלו 301? הוא יסיר אותם מהאינדקס ואם כן עוד כמה זמן. (הצפיה שלי לראות רק דף אחד בגוגל ולא 50 ...)
שאלתי מקודם את אותה שאלה, אך זה היה לגבי אופציה #1... עכשיו זה לגבי אופציה 301.

בנוסף, כדאי לשים קנוניקל בדפים המקוריים של האינדקס?

תודה,
אלי.

---

שמח לשמוע שהחלטת ללכת על הפניה.
בפן הטכני לאחר סריקה גוגל מישם את ההפניה ומסיר את הדף לטובת הדף המפנה(כמובן חשוב לוודא שההפניה נעשה בצורה תקינה).

כמו כן תוכל לשים קנוניקל אבסלוטי בכל דף בכדי לוודא שאין לך עוד כפילויות שיכולת לפספס

---

שלום מנשה, זה שוב אני (:

אני נוכח לראות כי  המפתחים השתמשו בהפניה 302 ושהיא זמנית ממה שאני יודע.
במקרה שלי כפי שידוע לך מדובר בלינקים שרק גוגל מכיר וקיימים בתוצאות חיפוש ולאחר סריקה עפ"י ההנחה שלך יסיר אותם. מה נכון במקרה זה, 301 או 302? (רלוונטי לנושא הסיגנלים כמובן..)

תודה,
אלי.

---

כעיקרון 301 הוא המתאים במקרה שלך

למרות זאת גם הפניית 302 יכול להיות אופציונלית(כמו קנוניקל) כמו שאמרתי זה דיי אינדיבידואלי לכל מקרה

---

החליטו לבסוף על 301 ללא התערבותי.
מה אומר לך, לא סתם אתה רב אלוף, אני מעריך ומודה לך מקרב לב
על העצות, הסבלנות והעזרה שלך. ישר כח ושירבו כמוך !
מבטיח לעדכן בקרוב עם התפתחויות.

שבת שלום,
אלי.

---

בכיף שמחתי לעזור

---

מנשה מה שלומך?

בעמודי האינדקס שלי ישנם כפתורים שמפנים לכרטיסי העסק. ההפניות נעשו ע"י פונקציות ג'אווה סקריפט היות ומתבצעת מדידת הקלקות. על מנת שגוגל יוכל לסרוק את האתר וכרטיסי העסק, המתכנתים שתלו בשלב הפיתוך תג ('>') שקוף (בצבע הרקע) מכל אחת המודעות שמובילה לכרטיס השייך לה עם פקודת href.
אני יודע שבאופן כללי דבר זה אסור ונוגד את ההנחיות, אך במקרים מסויימים אפשרי ומקובל.(לפחות מה שהבנתי מדבריך באחד הפורומים...)

אני שוקל להסיר את כל המדידות שנעשות באתר עם פונקציות ג'אווה ולעבוד רק עם href,  מה דעתך בנושא? לאור שיחתנו משבוע שעבר, הדבר הזה הזיק/מזיק לי? יש לו חלק בהדחה שלי לעמוד 10 בביטויים הרלוונטיים בדפי האינדקס? ומה להערכתך חומרתו?

תודה וחג שמח (:

אלי.

---

נראה שהמפתחים שלך הטמיעו את המדידה בצורה בעייתית מבחינת SEO ומבחינת נגישות.

לא הייתי ממהר להחליט שמדובר בשינוי שיפגע בקידום האתר בצורה כלכך דרסטית בגלל שמדובר בפעולה טכנית שלאוו דווקא מבוססת על ניסיון למניפולציה.

אין שום בעיה למדוד לחיצות בהתבססות על קישורי HREF לגיטימיים, ולהימנע מתלות ב JS(כנראה תצטרך משאבים נוספים בפיתוח)
חג שמח גם לך

---

כיצד אדע אם להסיר? האם בין 5-60 סימנים ">" שקופים בכל עמוד באינדקס אינם משהו חשוד מבחינת גוגל?

אתה מכיר דרך למדידת הקלקות בלי JS?

מנשה, אני מתנצל על החפירות, אני פשוט מתוסכל ומנסה לתת מיליון פתרונות באתר כי אני כבר לא יודע מה מהבעיות היא "הבעיה" בגללה האתר בעונש. גוגל מצידו לא דואג לתת חיווי מיידי, לכן אני מנצל את ההזדמנות ליישר קו" ואולי לפגוע במשהו...

אלי.

---

"כיצד אדע אם להסיר? האם בין 5-60 סימנים ">" שקופים בכל עמוד באינדקס אינם משהו חשוד מבחינת גוגל?"
צריך לבדוק את זה בצורה נקודתית יותר, אני בספק אם זה מהות ה "עונש"

"אתה מכיר דרך למדידת הקלקות בלי JS?"
לא, אבל אפשר לבצע את המדידה ללא קישורים מוסתרים

---

היי מנשה, מה שלומך ידידי?

עבר חודש וחצי כמעט וללא שינויים משמעותיים אם בכלל. מה שכן,
אני רואה שגוגל לאט לאט מסיר את הדפים הכפולים מהאינדקס, אך זה נראה שזה יקח עוד זמן. עד כה הסיר כ-שליש דפים מכל קטגוריה באינדקס בערך.

שאלה לי ברשותך, כמעט כל מילת מפתח כללית שהייתה מקודמת בעמוד ראשון, נמצאת כיום בעמוד 13. נראה פעולה שיטתית משהו של גוגל. ידוע לך על דבר שכזה?

תודה,
אלי.

---

תודה על העדכון.
לא ממש ברור לי מה השאלה, אם אתה שואל אם ידוע לי על דירוגי האתר שמשתנים, כן בהחלט

---

כוונתי היא שהביטויים המרכזיים לכל דף באינדקס עפו מעמוים 1-3 לעמוד 13 במהלך השנה האחרונה.
כולם נמצאים כיום באזורים האלה(עמוד 12-13). קראתי במקום כלשהו שבמקרים וישנה כפילות תוכן חריגה, גוגל מעיף את הביטויים המרכזים לעמודים האלה. עד כמה זה נכון? מה לדעתך הסיבה שכולם נמצאים באותו מיקום בערך? הרי זה לא עניין של תחרות היות ולפני ישנם אתרים פיות רלוונטים לביטוי. זה נראה כמו איזה סוג של פילטר

---

עד כמה זה נכון?
כפילות תוכן היא בעיה טכנית שיכולה לפגוע באתר, עד כמה קשה לדעת אבל זו לא הסיבה היחידה, וחשוב לקחת בחשבון שמדובר בתהליך וזה לוקח זמן.

מה לדעתך הסיבה שכולם נמצאים באותו מיקום בערך?
אין לי שום דרך לדעת מה עומד מאחורי האלגוריתם של גוגל

---

אני מבין, וזה באמת מתוך הנחה שגוגל רואה זאת כבעיה טכנית ולא נסיון למניפולציה... היה ולא כך הדבר, סיכוי טוב שמדובר בפילטר. כך לפחות אני רואה את זה.