Algoritmik Haritacılık: XML Site Haritası Tarama Bütçesini ve İndekslenmeyi Nasıl Yönetir?

İnternetin ilk dönemlerinde arama motoru örümcekleri, köprü metin evreninde körlemesine bir rastgele tarama stratejisiyle gezinirdi: bir sayfadaki herhangi bir bağlantıyı plansızca takip ederlerdi. Ancak dijital evren milyarlarca birbirine bağlı düğüm noktasına ulaştığında, denetlenmeyen web mimarilerinin karmaşası arama motoru mühendislerini zorunlu bir çözüme itti. 2005 yılında Google, Microsoft ve Yahoo ortaklığıyla resmi Sitemaps protokolü ilan edildi. Bir XML site haritası, tarayıcı botlar için alelade bir tavsiye metni değildir; web sitenizin mimari iradesini beyan eden resmi bir sözleşmedir. Bu harita, kanonik gerçeklik ile geçici gezinme gürültüsünü birbirinden kesin çizgilerle ayırır.

Modern arama motorları, tarama bütçesi (crawl budget) olarak bilinen sıkı hesaplama ve finansman sınırları dahilinde çalışır. Bir botun DNS çözümlemeleri, TLS anlaşmaları ve gereksiz sayfaların DOM analizleri sırasında harcadığı her milisaniye, yüksek dönüşümlü ürün sayfalarınızdan veya taze editoryal makalelerinizden çalınan bir dikkat kırıntısıdır. Kusursuz bir XML site haritası sunarak arama botlarına doğrudan ve temiz bir rota çizer, tahmin yürütme maliyetini sıfırlar ve kritik adreslerinizin hızla dizine eklenmesini güvence altına alırsınız.

Dijital Arkeoloji: Jerry’nin Rehberinden Sonsuz ve Kusursuz Örümcek Mitine

1994 yılının henüz emekleme aşamasındaki antedilüvyen siber uzayında, algoritmik botlar insan zihni üzerinde mutlak bir hegemonya kurmadan evvel, taranabilir internetin tamamı Jerry and David’s Guide to the World Wide Web başlıklı mütevazı bir metin dizininden ibaretti. İnternetin ilk kütüphanecileri, İskenderiye Kütüphanesi’ndeki parşömenleri tasnif eden kadim kâtipler misali her köprüyü elleriyle sabırla kaydederdi. Lakin dijital evren dizginlenemez bir kombinatorik patlamaya maruz kaldığında, AltaVista’nın efsanevi örümceği "Scooter" başta olmak üzere ilk otomatik tarayıcılar, sunucuların tükenmez bir hesaplama kudretine sahip olduğu kibriyle sahaya sürüldü. İlk web yöneticileri ise bu yeni dijital tanrılara yaranmak adına sonsuz takvim döngüleri ve labirent gibi CGI tuzakları inşa ederek, botlara yarım milyon anlamsız parametre yuturmanın bir sunucu vandallığı değil, arama sonuçlarında ebedi bir taht garantisi olduğuna saflıkla inandılar.

Google ve ortaklarının 2005 yılında Sitemaps XML protokolünü resmileştirmesi, web yayıncılarına lütfedilmiş bir hayırseverlik jesti değil; internetin kendi kuyruğunu yutan ouroboros misali kontrolden çıkan entropisine karşı ilan edilmiş çaresiz bir bürokratik ateşkesti. Günümüzün en acı ironisi şudur ki, modern web geliştiricileri hâlâ skolastik bir büyüye bel bağlarcasına, kimsenin okumadığı çerez politikalarına veya unutulmuş giriş kapılarına <priority>1,0</priority> yapıştırmakta ve milyarlarca dolarlık yapay zekâ işlemci kümelerini bu beyanatla hipnoz edebileceklerini sanmaktadır. 404 enkazlarıyla dolu, ayıklanmamış şişkin bir haritayı arama motoruna teslim etmek; kadim bir palimpsest üzerine pazar fişleri karalayıp Mountain View mühendislerinin bu parşömen karşısında vecd ile eğilmesini beklemekle eşdeğerdir. Tavizsiz bir algoritmik hijyen süzgecinden geçmeyen her site haritası, dijital çöplüğe dikilmiş gösterişli bir anıttan öteye gidemez.

Tarayıcı Tabanlı Hibrit Tarama: Sunucu Çökmeden Keyfi Kotaları Aşmanın Yolu

Yıllar boyunca web yöneticileri ve SEO uzmanları, eski nesil çevrimiçi oluşturucuların dayattığı ticari zorbalıklara katlanmak zorunda kaldı. O geleneksel platformlar tarama motorlarını kendi sunucularında çalıştırdıkları için sürekli olarak yapay kotalar uydururlar: ücretsiz tarama komik bir 500 sayfa sınırında aniden kilitlenir ve devam edebilmeniz için fahiş abonelik ücretleri talep edilir.

TOOL GIGA, bu yapay kıtlık anlayışını reddederek yenilikçi bir istemci tarafı hibrit mimari geliştirmiştir. Kuyruk yönetimi, bellek içi Set() yapılarıyla anlık tekilleştirme, DOM ayrıştırma ve durum yönetimi doğrudan kendi tarayıcınızın bellek havuzunda (modern Vanilla JavaScript ile) yürütülür. Arka plandaki mikro vekil sunucumuz yalnızca CORS engellerini aşmak için güvenli bir ağ köprüsü görevi görür. Ayarlanabilir eşzamanlılık ve istek gecikmeleri sayesinde kendi web sunucunuz da aşırı yüklenmelerden ve çökme tehlikelerinden tam koruma altına alınır.

Katı Saflık Filtresi: 404 Hataları, 301/302 Yönlendirmeleri ve noindex Neden Dışarıda Kalmalıdır?

Site haritası yönetiminde yapılan en vahim hata, haritadaki URL sayısı ne kadar çok olursa arama otoritesinin o kadar artacağını sanmaktır. Bir sitemap.xml dosyasını ölü bağlantılarla, geçici yönlendirmelerle veya dizine kapatılmış sayfalarla doldurmak doğrudan teknik intihardır. Arama motorları beyanlarınızın güvenilirliğini ölçer: eğer bir bot haritanızda sürekli HTTP 404 Not Found yanıtlarıyla karşılaşıyorsa veya vaat edilen 200 OK yerine zincirleme 301/302 yönlendirmelerine fırlatılıyorsa, site haritanızın güvenilirlik puanı çöker ve sitenize ayrılan tarama sıklığı sert şekilde kısılır.

Aracımız, tespit edilen her bağlantıyı son XML çıktısına dahil etmeden önce ödünsüz bir üçlü kalite süzgecinden geçirir:

  • HTTP Durum Kodu Doğrulaması: 404 Not Found, 403 Forbidden, 410 Gone ve 5xx sunucu hataları anında elenir. Yönlendirmeler (3xx) haritada ara durak olarak bırakılmaz, doğrudan nihai hedef adresine kadar takip edilerek çözülür.
  • Meta Robots ve X-Robots-Tag İncelemesi: Kodunda açıkça noindex direktifi taşıyan her sayfa karantinaya alınır. Bir sayfayı hem site haritasına ekleyip hem de "noindex" ile işaretlemek arama motoruna çelişkili sinyaller göndererek dizin hatalarına yol açar.
  • Kanonik Bağlantı Uyumu: Eğer incelenen sayfa <link rel="canonical" href="..."> etiketiyle farklı bir birincil adresi işaret ediyorsa, oluşturucu kanonik adresi temel alır ve parametreli kopyaları harita dışı bırakır.

lastmod Doğruluğu ve Derinliğe Göre Önceliklendirme Hiyerarşisi

Bütün sayfalara istisnasız <priority>1,0</priority> ve günlük (daily) değişim sıklığı atayan statik bir site haritası, arama motorunun zekasını hafife almaktan başka bir şey değildir. Her şeyin eşit derecede öncelikli olduğu yerde, aslında hiçbir şey öncelikli değildir. Motorumuz derinlik odaklı (Depth) matematiksel bir hiyerarşi uygular:

  • Ana Sayfa ve Birincil Kategoriler (Derinlik 0–1): Temel mimari omurgayı temsil ettikleri için en yüksek öncelik puanlarını (1,0 ve 0,8) ve haftalık (weekly) kontrol periyotlarını alır.
  • İkincil İçerikler ve Derin Sayfalar (Derinlik 2–3+): Doğal organik yaşam döngüsüne uygun olarak dengeli puanlar (0,6 ve 0,4) ve aylık (monthly) sıklık değerleriyle yapılandırılır.
  • Gerçek Last-Modified Üstbilgileri: Sunucunuz meşru bir Last-Modified HTTP yanıtı döndürdüğünde, araç bu veriyi W3C ISO-8601 standardına (YYYY-MM-DD) çevirir. Sunucu bu üstbilgiyi iletmediğinde ise Google'ın sahte tarih uyarısına uyularak yapay tarih eklenmez.

Tek Araçta İki Güçlü Mod: Canlı Tarayıcı (Live Crawler) ile Bağlantı Temizleyici (Paste Cleaner)

Farklı webmaster senaryoları farklı operasyonel yaklaşımlar gerektirir. TOOL GIGA, iki bağımsız çalışma modunu tek bir arayüzde bir araya getirmiştir:

  • Sekme 1: Canlı Web Sitesi Tarayıcı (Live Website Crawler): Bütünsel site denetimleri, yeni yayına giren projeler veya periyodik teknik revizyonlar için idealdir. Kök alan adını girin, eşzamanlılık ve tarama derinliğini belirleyin; motorun siteyi gerçek zamanlı olarak tarayıp hataları ayıklamasını ve temiz sitemap.xml dosyasını derlemesini izleyin.
  • Sekme 2: Bağlantı Temizleyici / Metin (Paste Links / Text Cleaner): Ham ve dağınık verileri düzenlemek için geliştirilmiştir. Veritabanı dökümlerinden, sunucu erişim günlüklerinden (access logs) veya Google Analytics tablolarından aldığınız binlerce karmaşık URL'yi buraya yapıştırın; yapıştırdığınızda otomatik olarak sitemap oluşturalım: araç UTM izleme parametrelerini temizler, WWW öneklerini standartlaştırır, büyük/küçük harfleri eşitler ve anında standart sitemap.xml çıktısı verir.