Tarama Bütçesi (Crawl Budget) Nedir? Nasıl Optimize Edilir?

Sitem indexlenmiyor…

SEO’ya ilk başladığım 2010 yılında bu konuda bir serzeniş duymak çok mümkün değildi. Teknik SEO kavramı da ortada yoktu ve SEO sadece On-Page (Sayfa içi) ve Off-Page (Sayfa dışı) olarak ikiye ayrılmaktaydı.

SEO’nun altın çağı olan o yıllarda her şey çok kolaydı. Web sitesi oluşturulur, birkaç siteden link basıldığında web sitesinin her sayfası Google arama motorunda birkaç dakika içerisinde listelenirdi. O yıllar geride kaldı ve artık hayatımızda Teknik SEO diye bir kavram var. Bu kavramın da en önemli yapı taşlarından Tarama Bütçesi ise önem arz eden bir konu.

Tarama Bütçesi yani Crawl Budget arama motorlarının bir web sitesine taramak için ayırdığı süredir. Bütçe kelimesi, Google başta olmak üzere hiç bir arama motorunun bir web sitesine sınırsız süre ayırmamasından kullanılmaktadır.

Buradaki kilit nokta “süre” kavramıdır. Her webmaster veya SEO uzmanı sınırsız olmayan bu süreyi kendi lehine çok iyi bir şekilde kullanmalıdır. Bu yüzden de Tarama Bütçesi Nasıl Optimize edilir, sorusuna bu içeriğimizde detaylı bir şekilde cevap vereceğiz.

Google Botları Nasıl Çalışır?

Google Botları temelde 3 aşamalı çalışmaktadır.

Botlar;

• Önce sayfaları tarar,
• Taradıkları sayfayı dizine ekler,
• Bu sayfalara anahtar kelimelerinde sıralama verirler.

Eğer son aşama yani sıralama konusunda sorununuz varsa bu konu tarama bütçesiyle alakalı değil. Diğer yandan, sayfalarınız taranmıyor veya taransa bile dizine eklenmiyorsa yazıyı okumaya mutlaka devam etmelisiniz.

Google Botları Siteye Nasıl Getirilir?

1- Search Console!

Search Console kaydından sonra web sitenizin site haritasını ekleyin. Ekledikten sonra ise indexlenmesini istediğiniz URL’i Google gibi getirin.

2- News Kaydı!

Google News kaydı almakta Google botlarını anında web sitenize çağırmanızı sağlamaktadır. Örneğin KOZBA.ORG web sitesi News kaydına sahiptir bu noktada bir içerik yayınladıktan sonra “Publisher News” üzerinden yenileme işlemi yaparak ilgili içeriğin 1 dakika içerisinde arama sonuçlarında yer almasını sağlayabilmekteyim.

News botlarının çalışma mantığı farklıdır. Bu yüzden news kayıtlı siteler çok hızlı dizine ekleme ve sıralama alabilmektedir. Diğer yandan sıralamalardan uçmanızın sebebi de bu hızdır. 1-2 hafta boyunca sıralamanın oturması sürebilmektedir.

KOZBA

News kayıt alımları durdurulmuştur.

3- Hitin Olduğu Yerlerde Olmak!

Google botları hitli, ziyaret edilen ve etkileşime geçilen bağlantıları da takip etmektedir. Bu yüzden bu sayfalardan backlink almak index hızını arttırmaktadır.

4- Hit Basmak!

Popcent gibi servislerden direkt indexlenmesini istediğiniz sayfaya kampanya başlatmak da index hızını ciddi anlamda arttırmaktadır. Yine alternatif olarak Adwords reklamları da tercih edilebilir.

Tarama Bütçesi Nasıl Ölçümlenir?

Tarama bütçesinin nasıl optimize edildiği sorusuna yanıt vermeden önce kontrolleri nasıl yapacağınızı bilmelisiniz. Bu noktada Semrush ve Screaming Frog araçları bizim en iyi yardımcılarımızdır.

Screaming Frog ile bir web sitesini taradıktan sonra;

• Üst sekmede Visualitons,
• Crawl Tree Graph butonlarına tıklamanız yeterlidir.

Aynı işlem Semrush ile de yapılabilmektedir. Semrush ile bir web sitesini taradıktan sonra sayfalarınızın kaç tıklama ile erişebildiğini test edebilirsiniz.

Tarama Bütçesi Nasıl Optimize Edilir?

Tarama bütçesinin önemini ve tespitini anlattık. Optimize etmek için aşağıdaki adımları dikkatlice takip etmelisiniz.

1- Robots.txt Kontrolü

Search Console’da artık Robots.txt kontrolü bulunmaktadır. Bu da bu adımın ne kadar önemli olduğunu kanıtlamaktadır.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.kozba.org/sitemap_index.xml

Örnek bir robots.txt dosyası.

Disallow kısmına indexlenmemesini istediğiniz sayfaları eklemelisiniz.

2- Gereksiz 301’ler

Gereksiz 301 konusu da oldukça önelidir.

SEO ile ilgili bir içerik ürettiniz. Bu içerikten kategorinize link verdiniz.

Daha sonra kategori adını (SEO Eğitimi) olarak değişirken URL yapısını da değiştiniz.

İçerikten yaptığınız iç linkleme eğer revizyona uğramaz ise Google bu içerikteki iç linklemeden dolayı önce “siteadresi.com/seo/” akabinde ise 301 çekildiği için “siteadresi.com/seo-eğitimi” URL’ine gider.

İşte bu bir süre kaybıdır ve tarama bütçesi açısından olumsuzdur.

3- 404 Hataları

Web sitenizde bir sayfa vardı fakat sayfayı sildiniz.

Google bu sayfaya gider fakat 404 sayfası ile karşılaşır.

Notunu alır ve gider. Aldığı not sayısı ne kadar olumsuz ise sitenin de başarılı olma ihtimali o kadar azdır.

Bu 404 sayfalarını ana sayfaya veya benzer içeriklere 301 çekebilir ve bu sayfalara giden bağlantıları düzeltebilirsiniz.

4- Pagination (Sayfalandırma)

Sayfalandırma da önemli bir konudur. Özellikle çok fazla içeriğin olduğu web sitelerinde sayfalandırmaların açık şekilde erişebilir olması önemlidir.

5- HTML’i Arttırma

Google, HTML’i javascript ve php’ye göre çok daha kolay anlamlandır. Search Console’da da gördüğünüz gibi bu dillerin kullanım oranını raporlar. Bu yüzden HTML oranının yüksek olması kesinlikle önemlidir.

6- Tıklama Derinliği

Tıklama derinliği ise tarama bütçesinin en önemli konusudur. Bir web sitesindeki tüm sayfaların en fazla 3 tıklamada erişebilir olması önemlidir. Tabi ki binlerce haber içeriği olan bir web sitesinin bunu sağlaması oldukça zordur fakat kurumsal sitelerde bu konu direkt sağlanmalıdır.

İç linkleme arttırıldıktan sonra sayfalandırma örnekteki gibi yapıldığında tıklama derinliği de optimize edilmiş olacaktır.

Tarama Bütçesi ile İlgili Videolar

https://www.youtube.com/watch?v=U2RoOHRsaPE
https://www.youtube.com/watch?v=EiQ-kdTcCIc

Kaynakça:

• https://developers.google.com/search/docs/crawling-indexing/large-site-managing-crawl-budget?hl=tr