Cara Setting Robot.txt dan Tag Header Robot Khusus

Untuk membuat Blog SEO Friendly sekarang tidak perlu cara manual memasukan meta tag di bagian HTML blog temen-temen. Sekarang Blogger.com menambah fitur baru untuk mengatur Robot.txt dan  Tag Header Robot Khusus, yang berguna membantu perayapan dan pengindeksan blog di search engine. Selain dari itu, mengatur robot.txt dan tag header robot khusus juga merupakan suatu optimasi search engine atau yang dikenal dengan SEO, halaman blogger yang termasuk dalamnya artikel, arcives dan homepage sehingga artikel dapat terindeks lebih akurat di search engine. untuk penerapannya ke dalam blog langsung saja ikuti penjelasan singkatnya :

1. Cara Setting Robot.txt (Blogger)

• Login kedalam Blogger
• Pada Dasbhoard Blogger, pilih Setelan ► Preferensi Penelusuran ► Robots.txt ► Edit ► Pilih Ya

•  Copy paste kode di bawah ini lalu masukkan ke dalam form robot.txt tersebut

User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=UPDATED

• Kemudian ganti url yang bewarna hijau dengan url blog anda
• Setelah itu, klik Simpan Perubahan.

2. Setting Tag Header Robot Khusus

• Setelan ► Preferensi Penelusuran ► Tag tajuk robot khusus ► Edit ► Pilih Ya
• Centang sesuai dengan gambar dibawah ini

•  Lalu, Simpan Perubahan

Settingan seperti di atas adalah settingan yang saya rekomendasikan, karena  bertujuan untuk menginformasikan mesin pencari untuk mengindex semua isinya tetapi tetap tidak membolehkan User-agent Open Directory Project untuk mengcrawl semua isi blog dan juga tidak membolehkan untuk mengindex arsip blog.

Demikian tutorial optimasi blog dari saya, semoga berguna bagi Anda. Bila kurang dimengeti silahkan komentar ya, Terima Kasih.

Sumber refrensi: http://seokoplak.blogspot.com/2013/05/Cara.Setting.Robot.txt.dan.Tag.Header.Robot.Khusus.html#ixzz2qnmxgY00