שלום סטאס
קראת מידע מדוייק. המטרה של גוגל היא לספק תוצאות חיפוש כמה שיותר טובות ועדכניות לכל חיפוש של כל מחפש בכל שפה בכל מקום בעולם.
על מנת לעשות את זה מהר ותמיד (כל פעם שאתה מחפש אתה רוצה לקבל תוצאות...נכון?) גוגל חייב להשאר מעודכן ולסרוק כל פיסת מידע קיימת וחדשה ברשת האינטרנט.
אם הבוט של גוגל סורק את האתר שלך היום ומגלה תוכן חדש הוא יבדוק שוב בקרוב אם יש תוכן חדש נוסף באתר שלך. אם גם בסריקה הבאה יתגלה באתר שלך תוכן חדש, קצב הסריקה של גוגל יעלה וחוזר חלילה. ככל שהאתר שלך יתעדכן בקצב גבוהה יותר, כך מנוע החיפוש יסרוק אותו בקצב עולה.
לצורך העניין, אתרי חדשות כמו YNET לדוגמא, נסרקים על ידי גוגל באופן תדיר, כל הזמן, מאחר וגוגל הבין כי האתר מתעדכן כל הזמן... כתבה או פוסט בפורום או כל כתובת URL חדשה שעולה באתר YNET נסרקת תוך דקות ולעיתים אף שניות...
ככך שהאתר מתעדכן בקצב גבוהה יותר כך הוא יסרק יותר על ידי מנועי החיפוש השונים. למרות שיש יוצאים מהכלל (לא מעטים), ככה זה עובד בגדול.
