Settingan Robot.txt Yang Benar dan Aman Untuk Blog

Settingan Robot.txt Yang Benar dan Aman Untuk Blog - Robot.txt dalam dunia blogging berfungsi untuk mencekal/memperbolehkan bot untuk merayapi atau mengcrawl isi blog kita.

Pada setinggannya sendiri Robot.txt digunakan tergantung dari keinginan pemilik blog ataupun tergantung kebutuhan blog itu sendiri.

Ada beberapa dari pemilik blog yang tidak ingin laman blognya di index google adapula yang ingin laman blognya di index oleh bot, semua tergantung dari kebutuhan dan keinginan si empu nya blog.

Settingan Robot.txt Yang Benar dan Aman Untuk Blog
Meskipun fungsinya terlihat sederhana, namun dampaknya sangat berbahaya jika kita asal-asalan menyetting Robot.txt ini, potensi yang ditimbulkan jika kita salah setting berakibat blog di abaikan oleh Robot yang artinya blog kita tidak mudah terindex atau bahkan tidak akan terindex.

Untuk itu admin disini akan menyampaikan bagaimana cara setting robot.txt yang benar dan aman untuk blog kita sesuai dengan kebutuhan blog yang kita bangun.

Settingan Terbaik Robot.txt Pada Blogger


User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.masagung.id/sitemap.xml

Keterangan :

User-agent: Mediapartners-google = Penanda bahwa blog kita adalah partner Google, sederhanannya bisa disimpulkan blog kita bekerjasama dengan Google, sebagai contoh kita menggunakan Google Adsense untuk menanyangkan iklan di blog kita.

Disallow:
User-agent: *
Disallow: /search
= Fungsinya untuk mencekal url yang mengandung /search, contohnya pada penggunaan label pada menu, biasanya kita menggunakan namadomain/search/label/tujuan, nah fungsinya adalah untuk mencegah bot merayapi url tersebut, sehinggan tidak terindex di mesin pencari.

Allow: /
Sitemap: https://www.masagung.id/sitemap.xml
= Fungsi dari tulisan ini adalah agar bot merayapi sitemap atau peta situs kita.

Jangan lupa ganti url masagung.id dengan url blog kalian, nah itulah settingan robot.txt yang aman untuk blog kita, jika kalian ingin beberapa halaman blog kalian tidak dirayapi bot mesin pencari gunakan robot.txt dibawah ini.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Disallow: /p/contact.html
Allow: /
Sitemap: https://www.masagung.id/sitemap.xml

Kalian bisa ubah Disallow halaman sesuai keinginan masing-masing, keterangan di atas menunjukan bahwa halaman about dan contact tidak akan dirayapi oleh robot, ubah sesuai url halaman blog kalian, jika ingin menambahkan halaman lain yang ingin dicekal gunakan Disallow: /p/url halaman.html.

Untuk cara menggunakannya kalian bisa lihat contoh gambar dibawah ini.


Masuk ke menu pengaturan > preferensi penelusuran

Demikian informasi tentang settingan robot.txt yang benar dan aman untuk blog kita sesuai dengan kebutuhan blog dan keinginan kita.

0 Response to "Settingan Robot.txt Yang Benar dan Aman Untuk Blog"

Posting Komentar

Iklan Atas Artikel

Iklan Tengah Artikel 1

Iklan Tengah Artikel 2

Iklan Bawah Artikel