Hai Sahabat. . Hari ini, saya akan membahas Cara Setting Robots.txt kustom di Blogger atau blogspot yang benar ini secara lengkap jagar kalian mengetahui tentang penggunaan dan manfaat dari robots.txt kustom tersebut. Saya juga akan memberi tahu cara menambahkan file kode robots.txt kustm di blogger atau blogspot. Jadi, ayo kita mulai pembahan cara setting robots.txt kustom di blogger atau blogspot yang benar ini.
Daftar isi
- Apa itu Robots.txt Kustom?
- Kode Robots.txt Kustom Default
- Fungsi Kode Robots.txt Kustom
- Cara Setting Robots.txt Kustom Di Blogger atau Blogspot Yang Benar
- Kode Robots.txt Kustom Yang SEO Friendly
- Cara Memeriksa File Robots.txt Kustom Pada Website Orang Lain
- Catatan
Apa itu Robots.txt Kustom?
Robots.txt kustom adalah file teks yang berisi beberapa baris kode sederhana. Robots.txt kustom ini disimpan di situs web atau blog yang menginstruksikan perayap web tentang cara mengindeks dan merayapi blog kamu dalam hasil pencarian.
Dengan robots.txt kustom ini, kamu dapat membatasi halaman web di blogger atau blogspot dari crawler web sehingga tidak bisa di indeks di mesin pencari seperti halaman label blog , halaman demo atau halaman lain yang tidak penting untuk diindeks. Dan yang harus kamu ingat adalah bahwa perayap dari mesin pencarian akan memindai file robots.txt kustom sebelum merayapi laman web mana pun.
Kode Robots.txt Kustom Default
Setiap blog yang dihosting di blogger atau blogspot harus memiliki file kode robots.txt kustom default. Berikut adalah kode default untuk robots.txt kustom agar kamu mengetahui cara setting robots.txt kustom di blogger atau blogspot yang benar:.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://urlblogkamu.blogspot.com/sitemap.xml
Fungsi Kode Robots.txt Kustom Default
Kode default untuk robots.txt kustom di atas dibagi menjadi tiga bagian. Pertama mari kita pelajari masing-masing fungsi kode robots.txj kersebut. Setelah itu, kita akan belajar cara setting robots.txt kustom di blogger atau blogspot yang benar.
- User-agent: Mediapartners-Google
- Disallow:
- Disallow: /search
- User-agent: *
- Allow: /
- Sitemap:
Fungsi kode robots.txt kustom ini adalah untuk membantu robot Google Adsense agar ia menampilkan iklan yang lebih baik di blog . Entah kamu menggunakan Google Adsense di blog atau tidak. biarkan begitu saja.
Fungsi kode robots.txt kustm ini adalah untuk tidak mengizinkan halaman tertentu untuk dirayapi atau diindex.
Fungsi kode robots.txt ini agar tautan yang memiliki pencarian kata kunci tepat setelah nama domain itu diabaikan. Lihat contoh di bawah ini yang merupakan tautan halaman label bernama SEO.
https://utamarizky.blogspot.com/search/label/SEO
Jika kita menghapus Disallow: / search dari kode robots.txt kustom default di atas maka crawler akan mengakses seluruh blog kita untuk mengindeks dan merayapi semua konten dan halaman webnya.
Fungsi kode robotp.txt kustom ini agar semua robots yang ditandai dengan tanda bintang (*) merayapi blog kita.
Fungsi kode robots.txt kustom ini adalah untuk mengizinkan semua konten blog kamu agar dirayapi.
Fungsi kode robots.txt kustom ini mengacu pada peta situs blog kita. Dengan menambahkan tautan sitemap di sini, kamu hanya mengoptimalkan tingkat perayapan blog kamu. Berarti kapan pun perayap web memindai file robots.txt kustom kamu, mereka akan menemukan jalur ke sitemap blog kamu yang merupakan tempat semua tautan pos yang kamu terbitkan.
Cara Setting Robots.Txt Kustom di Blogger atau Blogspot Yang Benar
Sekarang bagian terpenting dari tutorial cara setting robots.txk kustom ini adalah bagaimana cara menambahkan kode robots.txt kustom di blogger atau blogspot yang benar. Berikut ini adalah langkah-langkah atau cara untuk setting robots.txt kustom yang benar.
- Login ke Blogger
- Pilih Menu Pengaturan
- Aktifkan Fituur Robots.txt Kustom
- Tempel Kode Robots.txt Kustom
- Selesai. .
Langkah pertama, cara setting robots.txt kustom di blogger atau blogspot yang benar, adalah login ke Blogger dengan menggunakan akun Google kamu.
Langkah kedua, cara setting robots.txt kustom di blogger atau blogspot yang benar, adalah Pilih Menu "Pengaturan" atau "Setelan". Kemudian pilih "Preferensi Penelusuran" atau Gulir ke bawah sampai ditemukan fitur "Robots.txt Kustom".
Langkah ketiga, cara setting robots.txt kustom di blogger atau blogspot yang benar, adalah Mengaktifkan Fitur Robots.txt Kustom dengan cara Menggeser Ke Kanan Tombol On/Off-nya.
Langkah keempat, cara setting robots.txt kustom di blogger atau blogspot yang benar, adalah Tempel Kode Robots.txt Kustom Default di atas pada kotak kosong yang tersedia. Setelah Kode tersebut diletakkan, kemudian Klik Simpan.
Kode Robots.txt Kustom Yang SEO Friendly
Di tutorial cara setting robots.txt kustom di atas, saya memakai kode robot.txt default saja. Jika kamu ingin menggunkan file kode robot.txt kustom yang sudah dimodifikasi, maka berikut ini kode robots.txt kustom yang SEO Friendly.
Contoh kode robots.txt kustom yang SEO Friendly. Untuk cara pemasangan atau setting kode robots.txt kustom ini sama saja dengan di tutorial di atas.
Ganti "https://urlblogkamu.blogspot.com dengan alamat alamat blog kamu.
Cara Memeriksa File Kode Robots.txt Kustom Pada Website Orang Lain
Kamu dapat memeriksa file kode robots.txt kustm yang ada di blog kamu atau website orang lain dengan menambahkan /robots.txt di akhir URL website di browser web. Sebagai contoh:
https://utamarizky.blogspot.com/ robots.txt
Ketika kamu mengunjungi URL file robots.txt, kamu akan melihat seluruh kode robots.txt kustom yang digunakan dalam website tersebut.
Catatan:
Pastikan bahwa kamu tidak memasukkan kode apa pun di pengaturan robots.txt kustom di blogger atau blogspot kamu tanpa mengetahui fungsinya.
Demikian penjelasan mengenai Cara Setting Robots.txt Kustom di Blogger atau Blogspot Yang Benar.
Lihat juga
wah mantap artikelnya bang. Saya baru terapkan robots.txt kustom ini.
ReplyDeleteOyah, mau nanya, mana lebih baik pakai kustom seperti yang dijelaskan pertama atau yang SEO friendly?