Tarama Bütçesi Optimizasyonu Nedir? Nasıl Yapılır? (8 Adımda Çözüm)

Tarama bütçesi optimizasyonu, Google’ın önemli sayfalarınızın her birine erişmesini, taramasını ve dizine eklemesini kolaylaştırır, böylece arama yoluyla daha fazla müşteriye ulaşabilirsiniz. Tarama bütçesi hakkında bilmeniz gerekenler, tarama bütçesi israfını nasıl belirleyeceğiniz ve olası SEO tarama bütçesi sorunlarından kaçınmak için sitenizi optimize etmek için neler yapabileceğiniz aşağıda açıklanmıştır. 

Tarama Bütçesi Nedir?

Tarama bütçeniz, Google’ın belirli bir günde taradığı sitenizin sayfalarının sayısını ifade eder. Tarama oranı sınırınıza ve tarama talebinize dayanır.

Tarama oranı sınırınız, Google’ın web sitenizin kullanıcı deneyimini etkilemeden tarayabileceği sayfa sayısıdır. Esasen, Google sunucunuzu isteklerle aşırı yüklemek istemez, bu nedenle sunucunuzun işleyebileceği (sunucu kaynaklarınız) ve sitenizi taramak “istediği” miktar arasında mutlu bir orta yol bulur. 

Tarama talebiniz bir URL’nin ne kadar popüler olduğuna ve güncelliğine göre belirlenir. Bir URL eskiyse ve az sayıda kişi arıyorsa, Google onu daha az sıklıkta tarar.

Tarama hızınızı etkileyemezsiniz ancak yeni içerik oluşturarak, sitenizi SEO açısından optimize ederek ve 404 ve gereksiz yönlendirmeler gibi SEO sorunlarını ele alarak tarama talebinizi etkileyebilirsiniz. 

Tarama Bütçesi Optimizasyonu Nedir?

Tarama bütçesi optimizasyonu, arama tarayıcısı gezinilebilirliğini iyileştirerek ve tarama bütçesi israfını azaltarak sitenizin Googlebot tarafından erişilmesini, taranmasını ve dizine eklenmesini kolaylaştırma sürecidir. Bu, hataları ve bozuk bağlantıları azaltmayı, dahili bağlantıları iyileştirmeyi, yinelenen içeriği noindexing yapmayı ve daha fazlasını içerir.

Google sitenizdeki sayfaların yeterli bir kısmını taramadığında veya bunları yeterince sık taramadığında tarama bütçesi sorun olabilir. 

Google, çalışmak için yalnızca belirli sayıda kaynağa sahip olduğundan, belirli bir günde belirli bir siteye yalnızca belirli sayıda tarama tahsis edebilir. Büyük bir siteniz varsa, bu, Google’ın sitenizin sayfalarının yalnızca küçük bir bölümünü günlük olarak tarayacak kaynaklara sahip olabileceği anlamına gelir. Bu, sayfalarınızın dizine eklenmesinin veya içerik güncellemelerinin Google sıralamalarına yansımasının ne kadar süreceğini etkileyebilir. 

Neyse ki, sitenizin Google tarama bütçesi sorunlarından muzdarip olduğunu düşünüyorsanız, sitenizi optimize etmek ve tarama bütçenizden en iyi şekilde yararlanmak için yapabileceğiniz bazı şeyler var. 

Tarama İstatistikleri Raporunuzu Nasıl Kontrol Edersiniz?

Tarama bütçesi sorunlarını, Google Search Console’daki tarama istatistiklerinizi kontrol ederek veya sunucu dosya günlüklerinizi analiz ederek belirleyebilirsiniz. 

Google Search Console’da tarama istatistikleri raporunuzu görüntülemek, Googlebot’un web sitenizle nasıl etkileşim kurduğunu daha iyi anlamanıza yardımcı olabilir. İşte Google’ın tarayıcısının neler yaptığını görmek için bunu nasıl kullanabileceğiniz. 

1. Google Search Console’u açın, oturum açın ve web sitenizi seçin. Ardından Search Console menüsünden ‘Ayarlar’ seçeneğini seçin.
2. Son 90 güne ait tarama raporunuzu tarama istatistikleri bölümünde görebilirsiniz. ‘Raporu Aç’a tıklayarak açın.

Tarama İstatistik Raporunuzun Anlamı

Artık Googlebot’un etkinliğini görebildiğinize göre, verileri çözme zamanı geldi. İşte tarama raporunuzdan alabileceğiniz bilgi türlerinin kısa bir dökümü.

Ana tarama grafiği size Googlebot’un tarama etkinliğinin görsel bir temsilini gösterecektir. Burada Google’ın son 90 günde kaç tarama isteği yaptığını ve sitenizin sunucusunun ortalama yanıt süresini ve tarama sırasında indirilen toplam bayt miktarını görebilirsiniz. 

‘Ana bilgisayar durumu’ bölümü, tarayıcının web sitenize erişirken herhangi bir kullanılabilirlik sorunuyla karşılaşıp karşılaşmadığını size bildirir. 

Beyaz onay işareti bulunan yeşil daire, Googlebot’un herhangi bir sorunla karşılaşmadığı ve barındırıcınızın sorunsuz çalıştığını gösterir. 

Yeşil onay işareti bulunan beyaz daire, Googlebot’un bir haftadan uzun bir süre önce bir sorunla karşılaştığını, ancak şu anda her şeyin yolunda gittiğini gösterir.

Beyaz ünlem işareti bulunan kırmızı daire, Googlebot’un son bir hafta içinde en az bir önemli sorunla karşılaştığını gösterir.

Tarama istekleri dökümü, Google tarayıcılarının sitenizle nasıl etkileşim kurduğuna dair daha ayrıntılı bilgiler sağlar.

Cevapla

Bakılacak ilk bölüm ‘Yanıtla’ bölümüdür. Bu bölüm, Googlebot’un sitenizdeki sayfaları taramaya çalışırken ne tür yanıtlar aldığını söyler. Google, aşağıdakileri iyi yanıtlar olarak değerlendirir:

• Tamam (200)
• Kalıcı olarak taşındı (301)
• Geçici olarak taşındı (302)
• Taşındı (diğer)
• Değiştirilmemiş (304)

İdeal olarak, yanıtların çoğunluğu 200 olmalıdır (bazı 301’ler de uygundur). ‘Bulunamadı (404)’ gibi kodlar, web sitenizde muhtemelen tarama bütçenizi etkileyen çıkmaz sokaklar olduğunun bir uyarısıdır. 

Dosya Türü

‘Dosya türüne göre’ bölümü, Googlebot’un tarama sırasında hangi tür dosyayla karşılaştığını söyler. Gördüğünüz yüzde değerleri, o türdeki yanıtların yüzdesini temsil eder ve her dosya türünün bayt yüzdesini temsil etmez. 

Amaca Göre

‘Amaca göre’ bölümü, taranan sayfanın tarayıcının daha önce gördüğü bir sayfa mı (yenileme) yoksa tarayıcı için yeni bir sayfa mı (keşif) olduğunu belirtir. 

Googlebot Türüne Göre

Son olarak, ‘Googlebot türüne göre’ bölümü, isteklerde bulunmak ve sitenizi taramak için kullanılan Googlebot tarama aracılarının türlerini anlatır. Örneğin, ‘Akıllı Telefon’ türü, Google’ın akıllı telefon tarayıcısı tarafından yapılan bir ziyareti belirtirken, ‘AdsBot’ türü, Google’ın AdsBot tarayıcılarından biri tarafından yapılan bir taramayı belirtir. Bir dipnot olarak, robots.txt dosyasını düzenleyerek belirli Googlebot türlerinin web sitenizi taramasını her zaman devre dışı bırakabilirsiniz. 

Tarama raporunuzdaki verileri nasıl yorumlayacağınız hakkında daha fazla bilgi edinmek istiyorsanız  Google’ın Search Console tarama raporları kılavuzuna göz atın.

Tarama Bütçenizi Boşa Harcadığınızı Nasıl Anlarsınız

Tarama bütçenizi optimize etmenin Googlebot’un sayfalarınızın daha fazlasını taramasına yardımcı olup olmayacağını belirlemenin hızlı bir yolu , sitenizin sayfalarının günde ne kadarının gerçekten tarandığını görmektir.

Web sitenizde tam olarak kaç tane benzersiz sayfanız olduğunu bulun ve bunu “günlük ortalama taranan” sayısına bölün. Toplam sayfalarınızın sayısı günlük taranan sayfalarınızın sayısından on veya daha fazla kat fazlaysa, tarama bütçesi optimizasyonunu düşünmelisiniz. 

Tarama sorunları yaşadığınızı düşünüyorsanız, tarayıcının hangi tür hatalarla karşılaştığını görmek için ‘Yanıtla’ bölümüne bakarak başlayın. Bütçenizi neyin tükettiğini tam olarak görmek için muhtemelen daha derin bir analiz yapmanız gerekecektir. Sunucu günlüklerinize bir göz atmak, tarayıcının sitenizle nasıl etkileşime girdiği hakkında size daha fazla bilgi verebilir. 

Sunucu Günlüklerinizi Kontrol Edin

Tarama bütçenizi boşa harcayıp harcamadığınızı kontrol etmenin bir başka yolu da sitenizin sunucu günlüklerine bakmaktır. Bu günlükler, Googlebot’un sitenizi taradığında yaptığı istekler de dahil olmak üzere web sitenize yapılan her isteği depolar. Sunucu günlüklerinizi analiz etmek, Google’ın web sitenizi ne sıklıkla taradığını, tarayıcının en sık hangi sayfalara eriştiğini ve tarayıcı botunun hangi tür hatalarla karşılaştığını söyleyebilir. 

Bu günlükleri manuel olarak kontrol edebilirsiniz, ancak bu verileri aramak biraz sıkıcı olabilir. Neyse ki, SEMRush günlük dosyası analizcisi veya Screaming Frog SEO günlük dosyası analizcisi gibi birkaç farklı günlük analiz aracı günlük verilerinizi sıralamanıza ve anlamlandırmanıza yardımcı olabilir.

Tarama Bütçesi SEO: Tarama Bütçenizi Optimize Etmenin 8 Yolu

Boşa harcanan tarama bütçesini mi keşfettiniz? Tarama bütçesi SEO optimizasyon stratejileri israfı azaltmanıza yardımcı olabilir. Daha iyi performans için SEO tarama bütçenizi optimize etmenize yardımcı olacak sekiz ipucu. 

1. Robots.txt ve Robots Meta Etiketleri

Boşa harcanan tarama bütçesini azaltmanın bir yolu, Google’ın tarayıcısının ilk etapta belirli sayfaları taramasını engellemektir. Googlebot’u dizine eklenmesini istemediğiniz sayfalardan uzak tutarak, dikkatini daha önemli sayfalarınıza odaklayabilirsiniz. 

Robots.txt dosyası, hangi sayfaların taranmasını istediğinizi ve hangilerinin yasak olduğunu bildirerek arama tarayıcıları için sınırlar belirler. Robots.txt dosyanıza bir disallow komutu eklemek, tarayıcıların belirtilen alt dizinlere erişmesini, taramasını ve dizine eklemesini, bu sayfalara işaret eden bağlantılar olmadığı sürece engeller.  

Sayfa düzeyinde, belirli sayfaları noindexlemek için robots meta etiketlerini kullanabilirsiniz. Bir noindex etiketi, Googlebot’un sayfanıza erişmesine ve üzerindeki bağlantıları takip etmesine izin verir, ancak Googlebot’a sayfanın kendisini indekslemekten kaçınmasını söyler. Bu etiket doğrudan HTML kodunuzun <head> öğesine gider ve şöyle görünür:

<meta name=”robots” content=”noindex” />

2. İçerik Budaması

Sitenizde düşük değerli URL’ler veya yinelenen içerik barındırmak tarama bütçenizi zorlayabilir. Web sitenizin sayfalarında derinlemesine bir inceleme, tarama bütçenizi tüketebilecek ve daha değerli içeriğin taranmasını ve dizine eklenmesini engelleyebilecek gereksiz sayfaları belirlemenize yardımcı olabilir.          

Düşük değerli URL olarak nitelendirilen nedir? Google’a göre, düşük değerli URL’ler genellikle site içi SEO‘da aşağıdaki kategorilerden birine girer:

• Yinelenen içerik
• Oturum tanımlayıcıları
• Hata sayfaları
• Hacklenen sayfalar
• Düşük kalite ve spam içerik   

Yinelenen içerik her zaman kolayca tanımlanamaz. Bir sayfadaki içeriğin çoğu başka bir sayfadakiyle aynıysa — daha fazla içerik eklemiş veya bazı kelimeleri değiştirmiş olsanız bile — Google bunu önemli ölçüde benzer olarak görecektir. Dizine eklenmesi gereken orijinal sayfanın hangisi olduğunu belirtmek için noindex meta etiketlerini ve canonical etiketlerini kullanın.

Düşük değerli olarak kaydedilebilecek içerikleri güncelleyerek, kaldırarak veya noindex yaparak, Googlebot’a sitenizdeki gerçekten önemli sayfaları taraması için daha fazla fırsat verirsiniz.

3. JavaScript’i Kaldırın veya İşleyin

Googlebot HTML’yi okumakta sorun yaşamaz, ancak okuyup dizine ekleyebilmesi için JavaScript’i işlemesi gerekir. Bu nedenle, bir sayfadaki JavaScript öğesini tarayıp dizine eklemek yerine, Google sayfadaki HTML içeriğini tarar ve ardından sayfayı bir işleme kuyruğuna yerleştirir. İşleme ayıracak zamanı ve kaynağı olduğunda, JavaScript’i işler ve “okuyarak” son olarak dizine ekler. Bu ekstra adım yalnızca daha fazla zaman almaz — daha fazla tarama bütçesi gerektirir. 

JavaScript de sayfa yükleme sürelerinizi etkileyebilir ve site hızı ile sunucu yükü tarama bütçenizi etkilediğinden, çok fazla JavaScript ile tıkanmışsa Google sitenizi istediğinizden daha az sıklıkta tarayabilir.

Tarama bütçesini korumak için JavaScript içeren sayfaları noindex edebilir, JavaScript öğelerinizi kaldırabilir veya Google’ın anlamasını ve taramasını kolaylaştırmak için statik veya sunucu tarafı işleme uygulayabilirsiniz. 

4. 301 Yönlendirme Zincirlerini Kaldırın

301 yönlendirmeleri, kaldırmak istediğiniz bir URL’den ilgili başka bir URL’ye trafik ve bağlantı değeri aktarmanın kullanışlı ve SEO dostu bir yoludur.

Ancak yönlendirmelerinizi takip etmiyorsanız, yanlışlıkla yönlendirme zincirleri oluşturmak kolaydır. Bu, yalnızca sitenizin ziyaretçileri için artan yükleme sürelerine yol açmakla kalmaz, aynı zamanda tarayıcıların yalnızca gerçek içerik içeren bir sayfaya erişmek için birden fazla URL taramasına da neden olabilir. Bu, Google’ın hedef sayfaya ulaşmak için yönlendirme zincirindeki her URL’yi taraması gerektiği anlamına gelir ve bu süreçte tarama bütçenizi tüketir. 

Bunu önlemek için tüm yönlendirmelerinizin nihai hedeflerine işaret ettiğinden emin olun. Mümkün olduğunca yönlendirme zincirlerini kullanmaktan kaçınmak her zaman iyi bir uygulamadır. Yine de hatalar olur, bu nedenle sitenizi manuel olarak incelemek için biraz zaman ayırın veya 301 yönlendirme zincirlerini tespit edip temizlemek için bir yönlendirme kontrol aracı kullanın. 

5. XML Site Haritası Optimizasyonu

Site haritanız tüm önemli sayfalarınızı arama tarayıcılarıyla paylaşır – veya en azından paylaşmalıdır. Arama motorları sayfaları kolayca bulmak için site haritalarını tarar. Google sayfalarınızı bulmak için bir site haritasına ihtiyaç duymadığını söylese de, bir tane bulundurmak yine de iyi bir fikirdir.

İyi çalışması için, site haritanız yalnızca dizine eklenmesini istediğiniz sayfaları içermelidir. Site haritanızdan noindexed veya yönlendirilmiş URL’leri kaldırmalısınız. Bunu yapmanın kolay bir yolu, dinamik olarak oluşturulmuş bir XML site haritası kullanmaktır. Dinamik olarak oluşturulmuş site haritaları kendilerini günceller, bu nedenle uyguladığınız her 301’den sonra sitenizi düzenleme konusunda endişelenmenize gerek kalmaz.

Sitenizde birden fazla alt dizin varsa, her bir alt dizininizin site haritasına bağlantılar barındıran bir site haritası dizini kullanın. Bu, web sitenizin mimarisini sergilemenize yardımcı olur ve arama tarayıcılarının takip edebileceği kolay bir yol haritası sağlar. 

6. Dahili Bağlantı Stratejisi Oluşturun

Dahili bağlantılar yalnızca site ziyaretçilerinin sitede dolaşmasına yardımcı olmakla kalmaz; aynı zamanda tarayıcı robotları için daha net bir hareket yolu da oluşturur. 

İyi geliştirilmiş bir dahili bağlantı stratejisi, tarayıcıları taranmasını istediğiniz sayfalara yönlendirebilir. Tarayıcılar diğer sayfaları bulmak için bağlantıları kullandığından, daha derin sayfaları daha yüksek seviyeli içerikle birbirine bağlamak tarayıcının bunlara daha hızlı erişmesine yardımcı olabilir. Aynı zamanda, tarama bütçenizi tüketmesini istemediğiniz düşük öncelikli sayfalardan bağlantıları kaldırmak, bunları sıranın sonuna itmeye ve önemli sayfalarınızın önce taranmasını sağlamaya yardımcı olabilir. 

7. Site Hatalarını Düzeltin

Site hataları arama tarayıcılarını tökezletebilir ve değerli tarama bütçesini boşa harcayabilir. İdeal olarak, tarayıcının gerçek bir sayfayla veya o sayfaya tek bir yönlendirmeyle karşılaşmasını istersiniz. Yönlendirme zincirleriyle veya 404 hata sayfasıyla karşılaşıyorsa, tarama bütçesini boşa harcıyorsunuz demektir. 

Tarayıcının nerede hatalarla karşılaştığını ve bunların ne tür hatalar olduğunu belirlemek için  Google Search Console tarama raporunuzu kullanın. Tanımlanabilir hataları gidermek Googlebot için daha sorunsuz bir tarama deneyimi yaratacaktır.

8. Bozuk Bağlantıları Kontrol Edin

Bir URL temel olarak iki sayfa arasında bir köprüdür. Arama motoru tarayıcısına yeni sayfalar bulmak için bir yol sağlar — ancak bazı URL’ler hiçbir yere gitmez. Bozuk bir bağlantı, arama motoru tarayıcıları için çıkmaz bir yoldur ve sınırlı tarama bütçenizin boşa harcanmasıdır. 

Sitenizi arama tarayıcılarını ölü sayfalara gönderebilecek bozuk bağlantılar açısından kontrol etmek ve bunları düzeltmek veya kaldırmak için biraz zaman ayırın. Tarama bütçesi israfını azaltmanın yanı sıra, bozuk bağlantıları kaldırarak ziyaretçilerin tarama deneyimini de iyileştireceksiniz, bu nedenle periyodik bağlantı kontrolü yapmak her zaman iyi bir fikirdir. 

SEO’nuzda Boşa Harcanan Tarama Bütçesini Durdurun!

Sitenizin tarama bütçesini veya genel SEO’yu optimize etmeye nereden başlayacağınızdan emin değil misiniz veya bunalmış hissediyor musunuz? Tek başınıza gitmenize gerek yok — SEO ve web bakım hizmetlerimiz yardımcı olabilir! Bugün Digipeak ile bir danışmanlık görüşmesi yapın ve SEO/web geliştirme uzmanlarımızın bir SEO denetimi gerçekleştirme ve sitenizin SEO’sunu ve teknik performansını optimize etmek için bir strateji geliştirme  sürecinde size yardımcı olmasına izin verin.