Apa Itu Robot.txt?
Robot.txt atau yang biasa dikenal sebagai protokol pengecualian robot atau protokol Robot.txt adalah sebuah ketentuan para pengguna blog untuk mencegah web crawler dan robot web lain, dari pengaksesan seluruh atau sebagian situs web yang tidak di izinkan untuk di index.
Apa Fungsi Robot.txt?
Fungsi Robot.txt adalah berfungsi untuk
mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti Friendster, Facebook, dan Twitter
Seberapa Penting Robot.txt?
Dengan mengganti aturan bawaan dasar pengaturan Robot.txt , maka hal ini membuat artikel yang kita upload menjadi lebih SEO friendly. Karena Dengan mengganti Robot.txt bawaan blogger, Kita bisa menentukan mana yang boleh di index oleh mesin pencari dan mana yang tidak Sobat perbolehkan.
OkeSobat, sekarang kita sudah tau apa dan bagaimana Robot.txt itu, sekarang mari kita melakukan Cara merubah Robot.txt. Ikuti langkah-langkah ini untuk melakukan setting Robot.txt di blogspot Sobat. Inilah Cara setting Robot.txt di Blogger Super SEO Friendly
- Masuk ke blog blogger Sobat.
- Arahkan ke Settings >> Shearch Preferences >> Crawlers and Indexing >> Custom robots.txt >> Edit >> Yes (pastekan Robot.txt)
- Klik tombol Save Changes.
Sekarang pastekan kode file Robot.txt Sobat dalam kotak. Sobat tinggal memilih pengaturan Robot.txt di bawah ini.
1. Robots.txt Default
Pakai saja Settingan Robot.txt default, karena inilah yang paling aman dan juga efektif. Untuk settingan Robot.txt ini, pertama kali Sobat membuat blog, seketika itu Robot.txt sudah aktif. Berikut ini adalah Robot.txt default dari blogger.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.idblog.my.id/sitemap.xml
Keterangan:
Pada kode Disallow: /search, artinya pembatasan atau tidak diizinkan merayapi halaman seperti https://LINK.com/search/label/SEO, karena link tersebut tidak menuju ke satu halaman satu artikel penuh.- User-agent: Mediapartners-Google {Penanda bahwa blog menggunakan AdSense}
- Disallow: {Yang tidak dibolehkan tidak ada}
- User-agent: * {Semua robot mesin pencari}
- Disallow: / search {Tidak mengijinkan url setelah /search seperti ..../search/label dan ... search/search?updated...}
- Allow: / {Yang diijinkan untuk dirayapi. Tanda (/) adalah nama blog.}
- Sitemap: https://LINK.blogspot.com/sitemap.xml {Sitemap/peta situs blog.}
2. Setting Tag Tajuk Robot Khusus
Untuk mengaktifkan tag tajuk robot khusus,
Arahkan ke Settings>> Shearch Preferences>>Tag Tajuk (posisi dibawah Setting Robot.txt)
"Berhati-hatilah menggunakan Robot.txt. Karena Penggunaan yang tidak benar dari fitur ini dapat mengakibatkan blog Sobat di abaikan oleh mesin pencari".
Selamat mencoba, semoga berhasil
