Tuesday, July 16, 2013

Cara Membuat Robot txt Di Blog

File robots.txt adalah file teks dengan satu atau lebih record didalamnya. Tiap satu record artinya satu baris. Contoh seperti berikut :

User-agent:*
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~user/

Untuk perintah disallow, anda harus memisahkan tiap directori di tiap baris. Jadi misalnya anda ingin menolak robots untuk beroperasi di /cgi-bin dan /tmp maka tidak boleh menuliskan dalam satu baris.

Disallow: cgi-bin/ /tmp/

Namun yang benar adalah :

Disalllow: /cgi-bin/
Disallow: /tmp/

Tanda * di field user-agent artinya semua robot. Semua yang tidak dilarang, artinya diperbolehkan. Berikut ini beberapa contoh untuk mengeluarkan semua robot dari seluruh server yang menggunakan kode berikut.
 User-agent: *
  Disallow: /

berikut untuk mengizinkan semua robot mengakses semua bagian website
User-agent: *
Disallow:

Atau bisa juga dengan mebuat file robot.txt yang kosong dan tidak berisi apa pun. Selanjutnya menghalangi robot mengunjungi bagian tertentu, contohnya adalah :
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /rahasia/

Untuk melarang robot tertentu, contohnya :
User-agent:Badbot
Disallow: /

Untuk mengizinkan robot tertentu, anda bisa memakai kode berikut :
User-agent: Google
Disallow:
User-agent: *
Disallow: /

Untuk menolak semua file kecuali satu saja, anda bisa menggunakan kode berikut :
User-agent: *
Disallow: /~user/data/
sebelum membuat kode diatas, anda harus menggunakan tehnik akal-akalan karena tidak ada field "allow". Jadi menaruh semua file yang tidak mau dimasuki directori tertentu seperti /user/data.

Demikian sedikit info buat semua rekan-rekan sejagat raya di dunia per-onlinenan dan per-ngeblogkan.




No comments:

Post a Comment

Terima kasih atas kunjungannya, Silakan tinggalkan jejak anda