Tarama bütçesi, bir arama motorunun bir web sitesini ne sıklıkta ve ne kadar derinlikte tarayabileceğini belirleyen bir kavramdır.
Tarama bütçesi; site büyüklüğü, güncellenme sıklığı, genel performans gibi faktörlere bağlı olarak değişkenlik gösterebilir. Bu alanda yapılan optimizasyonlar arama motorlarının sitenizin önemli sayfalarını daha etkili taramasına yardımcı olacaktır.
Bu içerikte tarama bütçesi (crawl budget) detaylarına yer vererek, nasıl optimize edilebileceğini inceleyeceğiz.
Tarama Bütçesi (Crawl Budget) Nedir?
İçindekiler
Tarama bütçesi optimizasyonu (Crawl budget optimization), arama motoru botlarının internet sitesinde gerçekleştirdiği tarama (crawling) işlemini daha verimli hale getirmek için gerçekleştirilen iyileştirme çalışmalarıdır.
Her web sitesi için farklı sayıda arama botu çalışırken bu botların tarama için harcadıkları kaynak, tarama bütçesi olarak adlandırılır. Her web sitesinin farklı özelliği ve farklı sayıda web sayfası olduğundan dolayı, arama motoru botlarının bu web sayfalarını tarayabilmesi için farklı tarama bütçelerine ihtiyaç vardır.
Bu bütçeleri verimli olarak kullanan ve gerekli optimizasyonları yapan web siteleri, önemli gördükleri sayfaların daha iyi taranmasını sağlayabilirler.
Tarama Bütçesi Neden Önemlidir?
Tarama bütçesi optimizasyonunun en önemli noktası, sayfayı tarayan arama motoru botlarının doğru sayfalara yönelmesini sağlamaktır. Böylece önemsiz, trafik getirmeyen sayfaların az taranmasını sağlayarak tarama bütçesi tüketiminin önüne geçilir. Bu optimizasyonun SEO çalışmalarına önemli ölçüde etkisi bulunur.
Tarama bütçenizin yetersiz olması, önemli sayfalarınızın arama motorunun gözünden kaçabileceği anlamına gelir. Bu, arama sonuçlarında daha düşük sıralamalara ve organik trafiğin azalmasına neden olabilir.
Örneğin 2000 sayfaya sahip bir web sitesi olduğunu düşünelim. Bunlardan yalnızca 130 tanesinin değerli ve taranması istenen sayfalar olduğunu varsayalım. Bütçe optimizasyonu yapılmadığında gerekli gereksiz ayırt etmeden 2000 sayfa taranacak ve önemli sayfalarda yapılan değişiklikler göz ardı edilecektir. Zayıf içerikler, zayıf URL’ler, teknik hatalara sahip olabilecek sayfalar ve daha fazlası taranırken kaliteli sayfalarınız bu sayfalar arasında gözden kaybolacaktır. İşte crawl budget optimizasyonu bu noktada devreye girerek, kaliteli ve istenen sayfalarınızın taranmasını sağlar.
Arama Motorları Neden Tarama Bütçesi Kullanır?
Arama motorları, tarama bütçesi kullanarak kaynaklarını verimli bir şekilde yönetirler. Dünya genelinde milyonlarca web sitesi bulunurken, her bir sitenin tüm sayfalarını sürekli olarak taramak oldukça maliyetlidir. Bu nedenle, arama motorları, her siteye belirli bir tarama bütçesi ayırarak kaynaklarını optimize ederler. Bu bütçe, arama motorlarının en önemli ve en güncel bilgileri hızlıca toplamasına yardımcı olur. Aynı zamanda bu bütçenin kullanımı sunucular üzerindeki yükü azaltarak daha verimli bir internet ekosistemi oluşturur.
Tarama Süreci Nasıl İşler?
- Arama motoru botları bir web sitesine erişirler.
- Botlar sitenin robots.txt dosyasını kontrol eder ve taranmasına izin verilen sayfaları belirler.
- İçerik taranır, daha sonra botlar, bağlantıları takip ederek diğer sayfalara ulaşırlar.
- Her ziyaret sırasında botlar, yeni ve güncellenmiş içerikleri tespit eder ve bunları arama motorunun dizinine ekler.
- Bu süreç; sitenin performansı, yapısı, yükleme hızı, içerik güncelleme sıklığı gibi birçok faktöre bağlı olarak değişiklik gösterebilir.
Tarama Bütçesi Nasıl Hesaplanır?
Dizine Eklenen Toplam Sayfa Sayısı / Günlük Taranan Sayfa Sayısı (Ortalama) = Tarama Bütçesi
- Toplam Sayfa: 1000
- Günlük Taranan: 200
- T.B= 5
Crawl bütçeniz 3’ün altındaysa iyi durumdasınız,10’un üzerindeyse kötü durumdasınız demektir ve optimizasyon için harekete geçmenizde fayda vardır.
Tarama Bütçesi Kontrolü Nasıl Yapılır?
Günlük olarak kaç sayfanızın Googlebot tarafından tarandığını kontrol etmek için Search Console’daki Tarama İstatistikleri Raporu’nu kullanabilirsiniz. Bu sayede son 90 günlük tarama verilerinizi incelemeniz mümkündür.
Search Console mülkünüzde sol menüden “Ayarlar” (Settings) seçeneğine tıklayın.
Bu sayfada yer alan Tarama İstatistikleri Raporu’na tıklayın.
Bu ekranda “Toplam Tarama İsteği”(Total crawl request) grafiğini görebilir ve günlük olarak kaç sayfanızın tarandığını inceleyebilirsiniz.
Sayfa altında yer alan “tarama istekleri dökümü” bölümünden ise sayfaların verdiği yanıta göre sıralanan istatistikleri inceleyebilirsiniz.
Böylece 200, 304, 404, 301, 302, 500 gibi yanıt aldığı sayfalarınızı inceleyebilir ve sorunlarınızı giderebilirsiniz.
Ek olarak Googlebot’un amacına göre “Yenileme” ve “Bulunma” seçeneklerini kullanarak URL’lerinizi inceleyebilir ve “Googlebot’un Türüne Göre” alanından da mobil, masaüstü ve görsel Googlebot’ları ayrı ayrı ele alabilirsiniz.
Tarama Bütçesini Etkileyen Faktörler Nelerdir?
- Sitenizin büyüklüğü
- Sayfa yükleme hızı
- İçerik güncellemelerinin sıklığı
- Sitenizin genel SEO sağlığı
- Sitenizdeki kırık bağlantılar
- Yinelenen içerikler
- Sunucu yanıt süreleri
- Backlink Sayısı
- İç linkler
- Zayıf ve Spam İçerikler
Tarama Bütçesi Optimizasyonu Nasıl Yapılır?
Tarama bütçesini optimize etmek için bir dizi strateji uygulanabilir. İşte birkaç optimizasyon stratejisi:
Site Hızını ve Performansı İyileştirmek
Site hızı ve performansı, tarama bütçesi optimizasyonunun temel unsurlarıdır. Hızlı yüklenen sayfalar, arama motoru botlarının daha fazla sayfayı daha kısa sürede taramasını sağlar. Bunun için, resim ve dosya boyutlarını küçültmek, gereksiz kodları kaldırmak ve sunucu yanıt sürelerini iyileştirmek önemlidir. CDN kullanımı, içeriğin kullanıcıya daha yakın sunuculardan iletilmesini sağlayarak yükleme sürelerini azaltır. Ayrıca, tarayıcı önbellekleme ve sayfa sıkıştırma teknikleri de site hızını artıran önemli yöntemlerdir.
Sitenizin güncel hız sonucunu “Google Page Speed” üzerinden test edebilirsiniz.
Sitenin Belirli Bölümlerini Taramaya Kapatmak
Arama motorlarının sitenizin belirli bölümlerini taramasını engellemek, tarama eylemi sırasında bütçenin daha verimli kullanılmasına yardımcı olabilir.
Bu, özellikle gereksiz veya düşük öncelikli sayfaların taranmasını önlemek için kullanışlıdır. Örneğin:
- Kullanıcı Sözleşmesi
- Teşekkür
- Filtreleme sayfaları buna dahildir.
Robots.txt dosyasını kullanarak, belirli dizinleri veya sayfaları taramaya kapatabilirsiniz. Ayrıca, noindex etiketleri ile arama motorlarına belirli sayfaların dizine eklenmemesi gerektiğini belirtebilirsiniz. Bu strateji, önemli sayfaların taranmasını ve dizine eklenmesini sağlamak için bütçenizi optimize eder.
Kırık İç Bağlantıları ve Dahili Yönlendirmeleri Kontrol Etmek
Kırık iç bağlantılar ve yanlış yönlendirmeler arama motoru botlarının tarama sürecinde zaman kaybetmesine ve önemli sayfaları gözden kaçırmasına neden olabilir.
Bu nedenle, sitenizdeki tüm bağlantıları düzenli olarak kontrol etmek ve kırık bağlantıları onarmak önemlidir. Dahili yönlendirmelerin doğru bir şekilde yapılandırılması da tarama eylemi sırasında bütçenin verimli kullanılmasını sağlar.
Sunucu Hızını Artırmak
Hızlı yanıt veren bir sunucu, arama motoru botlarının daha fazla sayfayı daha kısa sürede taramasına olanak tanır. Bunun için, sunucu optimizasyonları yapmak ve güçlü bir barındırma hizmeti kullanmak önemlidir.
Ayrıca, sunucu kaynaklarını verimli kullanmak için gereksiz süreçleri ve uygulamaları minimize edin. Sunucu hızını artırmak, yalnızca tarama bütçesini optimize etmekle kalmaz, aynı zamanda kullanıcı deneyimini de iyileştirir.
Yinelenen İçerikleri Kaldırmak
Yinelenen içerikler, bütçenizin boşa harcanmasına neden olabilir ve arama motorlarının sitenizi doğru bir şekilde anlamasını zorlaştırabilir. Aynı veya benzer içeriklerin birden fazla sayfada bulunması, botların gereksiz sayfaları tarayarak tarama bütçesini tüketmesine yol açar. Bu nedenle, yinelenen içerikleri tespit edip kaldırmak veya birleştirmek önemlidir.
Canonical etiketleri kullanarak arama motorlarına hangi sayfanın asıl olduğunu belirtebilir, bütçenizin verimli kullanmasını sağlayabilirsiniz.
Yetim Sayfaları (Orphan Pages) Optimize Etmek
Yetim sayfalar (Orphan Pages), site içi bağlantılarla diğer sayfalara bağlanmamış ve bu nedenle arama motorları tarafından bulunması zor olan sayfalardır. Bu sayfalar, tarama bütçesinin verimsiz kullanılmasına neden olabilir.
Yetim sayfaları optimize etmek için, bu sayfalara uygun iç bağlantılar ekleyerek arama motoru botlarının erişimini kolaylaştırabilirsiniz. Ayrıca, site haritasını güncelleyerek bu sayfaların taranmasını ve dizine eklenmesini sağlayabilirsiniz. Bütçenizi optimize etmeye ek olarak yetim sayfaları düzenlemek, kullanıcıların da site içinde daha kolay gezinebilmelerini sağlar.
Daha Fazla Referans Bağlantı Almak
Referans bağlantılar, diğer web sitelerinden sitenize verilen bağlantılardır ve arama motorlarının sitenizi daha değerli görmesini sağlar. Daha fazla referans bağlantı almak, tarama bütçesini olumlu yönde etkileyerek sitenizin daha sık ve derinlemesine taranmasına yardımcı olabilir.
Kaliteli ve ilgi çekici içerik üretmek, diğer sitelerin size bağlantı vermesini teşvik eder. Ayrıca, misafir yazarlık yaparak veya işbirlikleri oluşturarak da referans bağlantılar elde edebilirsiniz. Referans bağlantılar, SEO performansınızı artırırken, sitenizin otoritesini ve güvenilirliğini de yükseltir.
Robots.txt Dosyasını Optimize Etmek
Robots.txt dosyası, arama motoru botlarına sitenizin hangi bölümlerinin taranabileceğini veya taranamayacağını belirten bir dosyadır. Bu dosyayı optimize etmek, tarama bütçesinin verimli kullanılmasını sağlar. Gereksiz veya düşük öncelikli sayfaların taranmasını engellemek için robots.txt dosyasını düzenleyebilirsiniz. Ayrıca, önemli sayfaların taranmasını sağlamak için gerekli izinleri bu dosyada açıkça belirtmek önemlidir. Robots.txt dosyasının düzenli olarak kontrol edilmesi ve güncellenmesi, sitenizin tarama süreçlerini iyileştirir ve arama motorlarının sitenizi daha etkili bir şekilde taramasına yardımcı olur.
Sonuç
Tarama bütçesi optimizasyonunu doğru bir biçimde gerçekleştirerek, web sitenizde taranmasını istediğiniz sayfaların önceliklerini artırabilir ve gereksiz sayfaların taranmasını engelleyebilirsiniz.
Arama motoru botları tarafından daha iyi anlaşılmanızı sağlayan bu bütçe kontrolü, sitenizin genel SEO sağlığı için de oldukça iyi bir stratejidir.
