Google'da Site İndexleme Ve Ekleme

robots.txt,kök dizini,url,arama motorları,arama motoru sonucu,site haritası,indexleme

Google'da Site İndexleme Ve Ekleme 

Google'ın içeriğinizi bulmasına yardımcı olma

Sitenizi Google'a taşımanın ilk adımı, Google'ın sitenizi bulabiliyor olmasıdır.Bunu yapmanın en iyi yolu site haritası göndermektir. Site haritası, arama motorlarına sitenizdeki yeni veya değiştirilmiş sayfalar hakkında bilgi veren sitenizdeki bir dosyadır. 

Google, sayfaları, diğer sayfalardaki bağlantılar aracılığıyla da bulur.Google'a hangi sayfaların taranmaması gerektiğini bildirmek için şu durumlara dikkat edilmesi gerekir.

Uygulanması gerekenler;

Hassas olmayan bilgiler için robots.txt dosyasını kullanarak istenmeyen taramayı engelleyin.

"Robots.txt" dosyası, arama motorlarına sitenizin bölümlerine erişip erişemeyeceklerini ve dolayısıyla, buralarda tarama yapıp yapamayacaklarını bildirir. Bu dosyanın "robots.txt" olarak adlandırılması ve sitenizin kök dizinine yerleştirilmesi gerekir. Robots.txt tarafından engellenen sayfaların yine de taranması mümkündür. Bu yüzden, hassas sayfalar için daha güvenli bir yöntem kullanmanız gerekir.

Bir arama motorunun arama sonuçlarında bulunursa kullanıcılar faydalı olmayabileceğinden dolayı sitenizdeki bazı sayfaların taranmasını istemeyebilirsiniz. Arama motorlarının sayfalarınızı taramalarını önlemek isterseniz Google Search Console'da, bu dosyayı oluşturmanıza yardımcı olacak, kullanımı kolay bir robots.txt oluşturucu vardır. Siteniz alt alan adları kullanıyorsa ve belirli bir alt alan adındaki bazı sayfaların taranmamasını istiyorsanız söz konusu alt alan adı için ayrı bir robots.txt dosyası oluşturmanız gerekir. 

Kaçınılması gerekenler:

  • Google'ın dahili arama sonucu sayfalarınızı taramasına izin vermeyin. Kullanıcılar, bir arama motoru sonucunu tıklayıp sitenizde bir başka arama sonucu sayfasına ulaşmaktan hoşlanmayacaktır.
  • Taranacak proxy hizmetlerinin sonucunda URL'ler oluşturulacaktır.

Hassas bilgiler için daha güvenli yöntemler kullanın

Robots.txt, hassas veya gizli malzemelerin engellenmesi için uygun ya da etkili bir yol değildir. Bu dosya yalnızca iyi huylu tarayıcılara sayfaların onlar için uygun olmadığını bildirir, ancak sunucunuzun, istekte bulunan bir tarayıcıya bu sayfaları sunmasını engellemez. Bunun bir nedeni, engellediğiniz URL'lere internette bir yerde bağlantı veriliyorsa (yönlendirme günlükleri gibi) arama motorlarının bu URL'lere başvuruda bulunmaya (başlık veya snippet olmadan yalnızca URL'yi göstererek) devam edebilmeleridir. Ayrıca, uyumlu olmayan veya Robot Hariç Tutma Standardı'nı onaylamayan hileli arama motorları, robots.txt dosyanızdaki talimatlara uymayabilir. Son olarak, meraklı bir kullanıcı robots.txt dosyanızdaki dizinleri veya alt dizinleri inceleyebilir ve görülmesini istemediğiniz içeriğin URL'sini tahmin edebilir.

Bu durumları gözardı etmeden bağlantıya sahip kullanıcılar sayfaya erişebilmesi sorun değilse yada sayfanın Google'da görünmesini istemiyorsanız bağlantınızda noindex etiketi kullanabilirsiniz. Bununla birlikte, gerçek güvenlik için kullanıcının şifre gerektiren uygun yönlendirme yapılabilen bir sayfa kullanmanız daha sağlıklı olur.Böyle yapıldıktan sonra sayfayı tamamıyla sitenizden kaldırmanız gerekmektedir. 

Yorum Yap


2 Yorum

TY

Louise Armero

September 23, 2012 at 12:00 am

Pellentesque habitant morbi tristique senectus et netus et malesuada fames ac turpis egestas. Vestibulum tortor quam, feugiat vitae, ultricies eget, tempor sit amet, ante. Donec eu libero sit amet quam egestas semper. Aenean ultricies mi vitae est. Mauris placerat eleifend leo.

CEVAP:

TY

Teknova Yazılım

September 23, 2012 at 12:00 am

Pellentesque habitant morbi tristique senectus et netus et malesuada fames ac turpis egestas. Vestibulum tortor quam, feugiat vitae, ultricies eget, tempor sit amet, ante. Donec eu libero sit amet quam egestas semper. Aenean ultricies mi vitae est. Mauris placerat eleifend leo.