זה קובץ שמכיל "המלצות" ל-crowlers ("עכבישים בעברית, החלק במנועי החיפוש המבצע סריקה על התוכן באינטרנט) של מנועי החיפוש באיזה עמודים לבקר ובאיזה לו.
USER AGENT - כאן הכוונה ל"עכבישים" ספציפיים. לדוגמא אם את רוצה לפנות ספציפית ל"עכביש" של גוגל - זה המקום. הסימון ל-* כאן מדובר על "כולם", כלומר מפנה את זה לכולם.
הDISALLOW, אומר (בעצם - ממליץ) לא לבקר העמודים הרשומים שם ואלה עמודים שבאמת אין בהם צורך מבחינת המנוע חיפוש.
והאתר שלך לא נמצא בגוגל כי הוא לא התקדם מספיק גבוה, זה טבעי :)