Cara menggatur Robot.txt untuk blogspot
Log in ke blogger dengan akun blogger sobat.
Klik setelan > Preferensi penelusuran / Search preferences > Robot txt
Robot.txt blogspot terbaru
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: Sitemap: https://urlblog.blogspot.com/sitemap.xml
Keterangan:
- Kelompok baris pertama merupakan informasi user agent milik google menandakan bahwa blog ini adalah partner dari google, hal ini memudahkan bagi sobat yang ingin menggunakan jasa google adsense agar iklan yang nantinya ditampilkan relevan dengan isi blog sobat, juga memberitahukan bahwa blog kita bisa diakses melalui mesin pencari.
- kelompok baris kedua adalah informasi untuk semua mesin crawler search engine. disana dituliskan disallow:/search yag menandakan semua robot mesin pencari tidak boleh mengindeks page label. yang ini berguna untuk menegah duplikasi artikel yang sangat tidak disukai oleh google.
- kelompok baris ketiga merupakan sitemap yang berfungsi memudahkan mesin pencari mengindeks blog anda
- tanda "/" adalah tanda home page anda jadi jangan hanya meletakkan tanda ini pada kolom disallow karena berakibat mesin pencari tidak bisa mengindex home anda.
Klik simpan perubahan
Tag tajuk robot khusus
Sekian semoga bermanfaat bagi sobat blogger semua. untuk itu admin mohon undur diri dulu salah kata mohon di ma'afkan ^_^