Panduan Lengkap Cara Setting Robot Txt di Blogger

Mungkin nama ini tidak asing lagi bagi para blogger, namun saya yakin ada beberapa yang masih belum tahu apa itu robot txt. Nah maka dari itu dalam artikel kali ini saya akan memperkenalkan kepada anda. Sebelum anda membuat robot txt, di sini saya akan menjelakan sedikit tentang :

   - Apa bobot txt itu?
   - Apa fungsi robot txt?
   - Bagaimana cara setting robot txt di blogger?
   - Bagaimana cara menggunakannya di blogger?


Apa Robot Txt itu?

Protokol pengecualian robot atau juga di kenal dengan robot txt adalah sebuah file yang berbentuk teks yang bertujuan untuk mencegah perayapan web untuk menjelajahi seluruh web yang ada di internet.

Apa Fungsi Robot Txt?

Robot txt memiliki fungsi memberikan sebuah komando tertentu kepada mesin pencari ketika mereka ingin mencoba menjelajahi website anda. Misalnya Google ingin menjelajahi website anda, maka file yang pertama kali di crawl adalah file dari robot txt itu sendiri. Nah jadi mesin pencari akan tahu apakah ingin menjelajahi seluruh website anda secara keseluruhan atau sebagian atau tidak menjelajahi sama sekali.

Bagaimana Cara Setting Robot Txt di Blogger

Caranya cukup mudah asalkan kalian membaca, memahami, mempelajari lalu melakukannya. Silahkan Copy Paste script di bawah ini, saya saranin tulis menggunakan notepad agar mudah mengedit dan memindahkannya.

1. Robot txt default asli bawaan dari blogger
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://blog-anda.blogspot.com/sitemap.xml
Keterangan :
User-agent: Mediapartners-Google [ Penanda blog anda menggunakn Googe Adsense ]
Disallow: [ Tidak diizinkan / melarang ]
User-agent: * [ Semua robot pencari ]
Disallow: /search [ Melarang URL setelah /search ]
Allow: / [ Diizinkan untuk dirayapi ]
Sitemap: https://blog-anda.blogspot.com/sitemap.xml [ Peta situs blog anda ]

2. Robot txt custom
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Disallow: /p/contact.html
Allow: /
Sitemap: https://blog-anda.blogspot.com/sitemap.xml
Keterangan:
Pada custom berwarna biru yang saya buat di atas ini melarang mesin pencari merayapi halaman about dan contact pada website anda. Jika salah satu yang berwarna biru anda rubah dengan privacy policy, maka akan melarang mesin pencari merayapi halman privacy policy.

Bagaimana Cara Menggunakannya di Blogger?

Jika anda ingin mengcustom robot txt dan tajuk robot kusus di blogger, ada beberapa langkah yang harus anda terapkan.
Langkah pertama jika ingin mengaktifkan robot txt custom, anda login terlebih dahulu pada blogger, lalu klik setelan dan pilih preferensi penelusuran.

Cara Mengaktifkan Robot Txt di Blogger

Langkah kedua jika ingin mengaktifkan tag tajuk robot kusus, silahkan klik setelan lalu pilih preferensi penelusuran dan pilih tajuk robot kusus di bawah robot txt.

Cara Mengaktifkan Tag Tajuk Robot Kusus di Blogger

Tujuan pada settingan di atas untuk memperbolehkan mesin pencari mengindeks semua isi blog, namun tidak memperbolehkan mesin pencari mengindeks laman arsip dan penelusuran.

Demikian artikel tentang panduan lengkap cara setting robot txt di blogger, berhati-hatilah dalam bertindak. Semoga artikel ini bermanfaat

16 Responses to "Panduan Lengkap Cara Setting Robot Txt di Blogger "

  1. Paling aman yang mana ya bang?? Saya liat beberapa blog beda" soalnya

    ReplyDelete
    Replies
    1. Lebih aman pakai yg dari bloggernya aja mas...robot txt yg default...kalau customnya banyak pilihan...saya aja pakai yg default

      Delete
  2. Newbie kang
    Mau nanya yang benar itu sitemapnya gimana?
    Sitemap.xml atau sitemap. Html kang

    ReplyDelete
    Replies
    1. Untuk lebih baiknya jika menggunakan robot txt pakai format sitemap.xml saja...

      Delete
  3. Mantapp gan, panduannya terperinci jelas sehingga mudah dipraktekin, trimakasih gan info totorialnya keren

    ReplyDelete
  4. Pernah saya set gitu tapi kok ada peringatan dari Google web master mas

    ReplyDelete
    Replies
    1. Iya kalau d webmaster itu mengcrawle secara keseluruhan mas...kalau d robot txt hanya beberapa bagian aja yg d crawle atau yg d rayapi mesin pencari...masing" ada kekurangan dan kelebihannya kog

      Delete
  5. saya masih bingung pakai yang mana? sering gonta ganti robot txt, arena banyak pilihan. kalo blog yg ada iklan ads pakai yang mana gan?

    ReplyDelete
    Replies
    1. Kalo sya pakai yg default dri blog mas...kalo untuk yg ada iklan ads..itu sudah cukup menurut sya

      Delete
  6. Bisa di pasang di blog gw nih bermanfaat dah artikelnya sangat membantu

    ReplyDelete
    Replies
    1. Silahkan di coba mas...jika mengalami kesulitan.
      Mari kita diskusi disini

      Delete
  7. Nah saya sekarang juga pakai robots txt custom, biasanya sih ngikutin website2 besar gitu robots txt nya.

    ReplyDelete
    Replies
    1. Iya mas Rio...tpi alangkah baiknya jika hendak melakukan sesuatu itu harus mempunyai alasan mengapa menggunakan itu..dan apa kelebihan maupun kekurangannya

      Delete
  8. Mantaap mas, tapi saya masih rada bingung sih :
    )

    ReplyDelete
    Replies
    1. Jangan lupa pegangan kalau bingung mas hehehe...

      Bingung karena alasan apa mas?

      Delete

- Harap berkomentar sesuai topik/judul
- Tidak diperbolehkan mempromosikan barang
- Gunakan kolom komentar dengan bijak
Selamat Berkomentar......... :)

Iklan Atas Artikel

Iklan Tengah Artikel 1

Iklan Tengah Artikel 2

Iklan Bawah Artikel