Cumartesi, Ekim 31, 2020

Robot.txt nedir ?

Bu içerik ” Robot.txt nedir ? ” sorusunu cevaplar ve Google index hakkında bilgiler sunar.

Robot.txt nedir ?

Robots.txt, web yöneticilerinin web robotlarına (genellikle arama motoru robotları) web sitelerindeki sayfaların nasıl taranacağını bildirmek için oluşturdukları bir metin dosyasıdır. Robots.txt dosyası, robotların web’i nasıl taradığını, içeriğe erişme ve dizine ekleme şeklini düzenleyen ve bu içeriği kullanıcılara kadar sunan bir web standartları grubu olan robot dışlama protokolünün (REP) bir parçasıdır. REP ayrıca meta robotlar gibi yönergelerin yanı sıra arama motorlarının bağlantıları nasıl ele alması gerektiğine ilişkin sayfa, alt dizin veya site genelindeki yönergeleri de içerir (“takip et” veya “nofollow” gibi).

Pratikte robots.txt dosyaları belirli kullanıcı aracılarının (web tarama yazılımı) bir web sitesinin bölümlerini tarayıp tarayamayacağını belirtir. Bu tarama talimatları, belirli (veya tüm) kullanıcı aracılarının davranışına “izin vermeyerek” veya “izin vererek” belirtilir. 

Bir web sitesine geldikten sonra, ancak onu taramadan önce, arama tarayıcısı bir robots.txt dosyası arayacaktır. Bir tane bulursa, tarayıcı sayfaya devam etmeden önce o dosyayı okuyacaktır. Robots.txt dosyası hakkında bilgi içerdiğinden nasıl arama motoru taramamalıdır, bilgi bu özel sitede ayrıca paletli eylemini orada talimat verir bulundu. Robots.txt dosyası yoksa değil kullanıcı vekilin aktivitesini izin vermemek herhangi direktifleri ihtiva (Sitede bir robots.txt dosyası yoksa veya), bu sitedeki diğer bilgi taramasını devam edecektir.

Bugün En Çok Okunanlar

Nükleer Motor: NASA İnsanları Sadece Üç Ayda Mars’a Taşıyacak

NASA, ilk insan mürettebatını 2030'lu yıllarda Mars'a göndermeyi hedefliyor. Nasa için tasarlanan nükleer motor ile birlikte 40 milyon milden fazla yolculuğu şu...

Nükleer Motor: NASA İnsanları Sadece Üç Ayda Mars’a Taşıyacak

NASA, ilk insan mürettebatını 2030'lu yıllarda Mars'a göndermeyi hedefliyor. Nasa için tasarlanan nükleer motor ile birlikte 40 milyon milden fazla yolculuğu şu...

Apple Watch Kurulumu: Saatinizden En İyi Şekilde Yararlanmak İçin Basit İpuçları

Apple Watch sofistike ancak kullanımı kolay bir teknoloji ürünüdür. Eğer bir Apple Watch satın aldıysanız, bir sonraki adım nasıl kurulacağını öğrenmektir. Ne...

Apple One abonelik paketi 30 Ekim’de başlıyor

Arcade, Müzik, TV +, iCloud ve daha fazlası. Elma resmen ortaya “Apple biri” abonelik paket kısmındaki geri İzle olay Eylül ayında. Bugün, şirketin üç aylık...

CEVAP VER

Lütfen yorumunuzu giriniz!
Lütfen adınızı buraya girin