cara setting robots.txt dan Tag tajuk robot khusus

hai , kali ini kholil Rohman official akan membahas bagaimana setting robots.txt dan Tag tajuk robot khusus. Tehnik ini merupakan bagian dari tehnik Optimasi SEO OnPage sesuai dengan format blogger terbaru, yang bertujuan untuk mempermudah proses crawling atau perayapan oleh mesin pencari, Google search engine khususnya.

The Robot Exclusion Standard, atau sering kita kenal sebagai Robots Exclusion Protocol atau robots.txt protokol, adalah sebuah konvensi untuk mencegah web crawler bekerja sama dengan robot web lain untuk mengakses semua atau bagian dari sebuah website yang jika dilihat secara terbuka.

Robot sering digunakan mesin pencari untuk mengkategorikan dan atau mengarsip sebuah situs/ web/blog, atau web master untuk mengkoreksi Source code. Dari beberapa artikel yang saya baca, penggunanan robot.txt ini sangat berguna untuk mendongkrak upaya-upaya SEO pada sebuah blog/website.

Robot.txt merupakan aplikasi yang sangat penting untuk sebuah website atau blog. Manfaatnya berguna untuk membuat url suatu artikel dapat bertengger di barisan elite search engine. Namun fungsi dari Robots.txt itu sendiri seringkali digunakan untuk membatasi atau mencegah spider atau bot search engine untuk dapat mengakses file-file tertentu pada sebuah blog/website. Atau kata-kata sederhananya, aplikasi ini memberitahu spiders atau bot, mana saja yang boleh diakses dan mana yang tidak boleh diakses.

Robot.txt adalah kumpulan perintah yang ditujukan kepada mesin pencari pada saat mulai untuk menelusuri isi dari sebuah web/blog. File robots.txt menginformasikan kepada spider mesin pencari tentang bagaimana cara berinteraksi dengan mengindeks atau tidak mengindeks konten web/blog Anda.

Gambar di bawah ini menunjukkan perbandingan kerja robot.txt pada sebuah web/blog tanpa setting robot.txt dengan web/blog yang mempergunakan setting robot.txt

Cara setting Robot.txt di blogspot :

Login kedalam Blogger
Pada Dasbhoard Blogger, pilih Setelan ► Preferensi Penelusuran ► Robots.txt ► Edit ► Pilih Ya.

Salin kode berikut pada form tersebut di atas.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Sitemap: http://kholil96.blogspot.com/feeds/posts/default?orderby=UPDATED&max-results=999

Ganti url yang berwarna merah dengan url blog anda sendiri. kemudian simpan.

Keterangan:

Kelompok baris pertama merupakan informasi user agent milik Google menandakan bahwa blog ini adalah partner dari Google, hal ini memudahkan bagi anda yang ingin menggunakan jasa Google adsense agar iklan yang nantinya ditampilkan relevan dengan isi blog anda, juga memberitahukan bahwa blog kita bisa diakses melalui mesin pencari.
Kelompok baris kedua adalah informasi untuk semua mesin crawler search engine. Disana dituliskan disallow:/search yang menandakan semua robot mesin pencari tidak boleh mengindeks page label. Script ini berguna untuk mencegah terjadinya duplikasi artikel yang sangat tidak disukai oleh google.
Kelompok baris ketiga merupakan sitemap yang berfungsi memudahkan mesin pencari mengindeks blog anda, Tambahan &max-results=999 ini dimaksudkan sebagai solusi mengatasi daya tampung feed blogspot yang hanya mampu menampung 26 artikel baru.
Tanda "/" adalah tanda home page anda jadi jangan hanya meletakkan tanda ini pada kolom disallow karena berakibat mesin pencari tidak bisa mengindex home anda.

Variasi lain pemasangan atau setting robot.txt ini adalah dengan mempergunakan format berikut :

User-agent: Googlebot
Allow: /
Disallow: /search
Disallow: /?m=0
Disallow: /view/*
User-agent:*
Disallow: /search
Disallow: /?m=0
Disallow: /view/*
Sitemap: http://kholil96.blogspot.com/feeds/posts/default?orderby=updated&max-results=999

Cara setting Tag Header Khusus di blogspot :

Setelan ► Preferensi Penelusuran ► Tag tajuk robot khusus ► Edit ► Pilih Ya
Centang sesuai gambar berikut ini :