Arama motorları, bir web sitesindeki tüm sayfaları görseler de bazen görmedikleri sayfaları bile indexlerler. Web site sahipleri olarak, tüm içeriklerimizin arama motorları tarafından görüntülenmesini istemeyebiliriz. Bu gibi durumlarda, içeriğin arama motoru sonuçlarından kaldırılması gerektiğinde sitenin imajını korumak önemlidir.
Hangi Durumlarda İçerik Temizlenebilir
Sitemizde önceden var olan, ancak daha sonra silinen içerikler veya satılan ürünler gibi durumlarda, sitemizde hala bu içeriklere yönlendiren harici linkler olabilir. Ayrıca, sitenin taşınması sonucu eski indexlerin silinerek yeni siteye aktarılması gerekebilir.
Bu gibi durumlarda, arama motorlarının o içeriklere erişmesini engellemek için indexler temizlenmelidir. Ancak, bazen kodlama hataları veya yanlış anlamalar sonucu sitenin var olmayan sayfalarına link verilebilir. Ayrıca, reklam amaçlı olarak ref kodları eklenerek de linkler verilebilir.
Gizli içeriklerde ise, sadece belirli üyelerin veya kişilerin erişebileceği içerikler arama motorlarından gelen ziyaretleri engellemek için indexler temizlenmelidir.
İçerik temizleme seçenekleri arasında, sitenin tamamen arama motorlarından temizlenmesi, tüm sonuçlarının başka bir siteye aktarılması veya sadece belirli içeriklerin temizlenmesi yer alabilir. Ancak, sitelerin var olmayan indexleri spam şüphesi yaratarak sitelerin SEO çalışmalarının önüne geçebilir ve hatta arama motorları tarafından cezalandırılmasına sebep olabilir.
Bu durum aynı zamanda sitenin imajını da olumsuz etkileyebilir ve ziyaretçilerin güvenini kaybetmesine sebep olabilir. Bu nedenle, sitenin admin panel girişi veya resmi belge ve bilgileri arama motorlarından gelen kullanıcılara gizli tutulmalıdır.
Arama motorları ile ilgili işlemler için Google Search Console, robots.txt, meta kodu veya htaccess kullanılabilir.
Neden İstenmeyen İndexlerin Silinmesi Gerekir?
Hangi Yöntemler ile İndex Silinir
Google Search Console Yapılandırması
Google Search Console, website sahiplerine arama motoru tarama ve görünürlük durumları hakkında bilgi vererek düzenleme imkanı sunan bir araçtır.
Bu yazıda, dünya genelinde en çok kullanılan arama motoru olan Google üzerinden anlatım yapılacaktır.
Web sitemizi Google Search Console’a kaydettikten sonra, Site Yapılandırma bölümüne geçerek Tarayıcı Erişimi bölümünde “Robots.txt oluşturun” sekmesini kullanarak, sitemizin tüm içeriğinin Google tarafından görülebilmesini veya tüm sitenin Google arama sonuçlarından kaldırılmasını sağlayabilirsiniz. Bu işlem, website sahiplerine sitelerinin Google arama sonuçlarında nasıl görüneceğine dair kontrol imkanı sunar.
Google Search Console, site sahiplerine ayrıca diğer önemli bilgileri de sağlar, örneğin site haritaları, backlinkler ve arama trafiği gibi. Bu bilgiler, sitenin arama motoru optimizasyonu ve tarama süreci ile ilgili stratejilerin belirlenmesine yardımcı olur.
Google Search Console kullanımı, website sahiplerine sitelerinin Google arama sonuçlarında nasıl görüneceği konusunda kontrol ve düzenleme imkanı sunarak sitenin arama motoru optimizasyonu için önemli bir araçtır
Eğer sitedeki belirli linklerin kaldırılmasını istiyorsanız, Google Search Console‘un URL Kaldırma aracını kullanabilirsiniz. Bu araç, belirli sayfaların Google arama sonuçlarından kaldırılmasını sağlayabilir.
Robots.txt Düzenlemesi
Eğer tüm site içeriği yerine belirli sayfaların veya linklerin kaldırılmasını istiyorsanız, Tarayıcı Erişimindeki URL’yi kaldır sekmesini kullanarak istediğiniz URL’leri girip Google tarafından değerlendirilmesini talep edebilirsiniz.
Bütün Siteyi Silmek için
User-agent: *
Disallow: /
Yalnızca Belirtilen Sayfa veya Dizin ya da Kategori için
User-agent: *
Disallow: / https://moondiggy.com/yanlis-url
Disallow: / https://moondiggy.com/yanlis-kategori
Disallow: / https://moondiggy.com/?ref
Google Görsel Aramaları için
Yalnızca İstenilen Görsel
User-Agent: Googlebot-Image
Disallow: /images/gorsel.jpg
Sitedeki Tüm Resimler
User-Agent: Googlebot-Image
Disallow: /
Meta Kodu Ekleme
Google Search Console kullanarak tüm site içeriğinin veya belirli içeriklerin indexlerini silmek için meta robots kodunu kullanabilirsiniz.
Aşağıdaki kodu istediğiniz sayfalara ekleyerek sadece o sayfaların indexlerini veya tüm sayfalara ekleyerek sitenizin tüm indexlerini bir sonraki arama motoru botunun ziyaretiyle arama sonuçlarından kaldırabilirsiniz.
Bazı arama motorlarının indexlerini silmek istediğiniz durumlarda, aşağıdaki örnekte olduğu gibi sadece o botun adını belirtmeniz gerekebilir.
Ayrıca, arama motorlarının sitenizi önbelleğe almasını engellemek veya önbellekteki sayfaların silinmesini sağlamak için aşağıdaki kodu ekleyebilirsiniz.
Htaccess Düzenlemesi
Site adresinin değiştirilmesi sonucu eski siteye ait indexlerin yeni siteye kayıpsız yönlendirilmesi ve eski indexlerin yeni site indexi olarak değiştirilmesi için, htaccess düzenlemesi kullanılabilir.
Htaccess ile 301 yönlendirmesi yapılarak site tamamen yeni bir adrese yönlendirilebilir.
Ayrıca, açılmayan sayfalar için 404 sayfası oluşturarak, 404 sayfalarının indexlenmesi engellenebilir.
Eski bir ürün veya bilgi sayfasının yeni bir ürün sayfasına yönlendirilmesi de mümkündür.
Örneğin:
Redirect permanent http://www.eskisite.com/ http://www.yenisite.com/
Bu yöntemler, arama motorlarının yeni siteyi algılamasını ve eski indexleri yeni site indexi olarak değiştirmesini sağlayarak, kullanıcıların ve arama motorlarının siteye kesintisiz erişimini sağlar.
Yorum