Indexleme terimini belki ilk defa duyuyorsunuzdur. Bu yüzden bir açıklama yapalım. Buradaki indexleme arama motorlarının sizin sitenizi kendi veritabanına kaydetmesi demektir. Bu kısa bilgiden sonra Google'ın sitenizi nasıl indexlediğini yani veritabanına nasıl kaydettiğini açıklayalım.
Google arama motorunun 3 adet bilinen &񗝌bot&񗝍 u vardır. Peki bot nedir? Bot arama motoru yazılımlarının bir parçasıdır. Sitenizin her sayfasına girer, kategorilendirir ve son olarak da veritabanına kaydeder. Google'ın iyi bilinen 3 botu:Adsense Botu, FreshBot ve DeepCrawl...
Adsense Google'ın webmasterlar için sitelerinde içeriklerine göre reklam yayınlayıp para kazanabilecekleri bir sistemdir. Tahmin edeceğiniz gibi Adsense Botları bu reklamları yayınlayan siteler içindir. Sitenin içeriği değiştikçe veya yenisi eklendikçe Adsense reklamları içeriğe göre reklam yayınlamak için her değişmeden sonra 15 dk. içerisinde gelirler ve yeni yerleri indexleyip giderler. Fakat bizi asıl ilgilendirenler FreshBot ve DeepCrawl botlarıdır... Freshbot sitenizdeki en popüler ve yeni sayfalar ile ilgilenirler. Bunun bir veya binlerce olması önemli değildir. Amazon.com ve CNN.com gibi sitelerin sık sık güncellendiği ve çok talep aldığı Google tarafından fark edildiğinden beri bunun gibi siteleri her 10 dakikada bir ziyaret edip kaydeder. Diğer tipik sitelere bu botun uğrama sıklığı popülerlik ve güncelleme ile orantılı olarak 1 ile 14 gün arasında değişir.
Bir FreshBot sitenizi ziyaret ettiğinde sitenizdeki linkleri tek tek gezer ve onları bir veritabanına kaydeder. Bu sayede DeepCrawl sitenize geldiği zaman bu linkler ona yol gösterir ve işini yapmasına yardımcı olur. DeepCrawl ise ayda bir sitenize uğrar ve sitenizdeki bütün bilgileri indexler. Bu sitenizdeki yeni bilgilerin Google sonuçlarında neden bir ay sonra çıktığının da göstergesidir.