Cara Membuat Robot txt Di Blog

File robots.txt adalah file teks dengan satu atau lebih record didalamnya. Tiap satu record artinya satu baris. Contoh seperti berikut :

User-agent:*

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~user/

Untuk perintah disallow, anda harus memisahkan tiap directori di tiap baris. Jadi misalnya anda ingin menolak robots untuk beroperasi di /cgi-bin dan /tmp maka tidak boleh menuliskan dalam satu baris.

Disallow: cgi-bin/ /tmp/

Namun yang benar adalah :

Disalllow: /cgi-bin/

Disallow: /tmp/

Tanda * di field user-agent artinya semua robot. Semua yang tidak dilarang, artinya diperbolehkan. Berikut ini beberapa contoh untuk mengeluarkan semua robot dari seluruh server yang menggunakan kode berikut.

 User-agent: *

  Disallow: /

berikut untuk mengizinkan semua robot mengakses semua bagian website

User-agent: *

Disallow:

Atau bisa juga dengan mebuat file robot.txt yang kosong dan tidak berisi apa pun. Selanjutnya menghalangi robot mengunjungi bagian tertentu, contohnya adalah :

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /rahasia/

Untuk melarang robot tertentu, contohnya :

User-agent:Badbot

Disallow: /

Untuk mengizinkan robot tertentu, anda bisa memakai kode berikut :

User-agent: Google

Disallow:

User-agent: *

Disallow: /

Untuk menolak semua file kecuali satu saja, anda bisa menggunakan kode berikut :

User-agent: *

Disallow: /~user/data/

sebelum membuat kode diatas, anda harus menggunakan tehnik akal-akalan karena tidak ada field "allow". Jadi menaruh semua file yang tidak mau dimasuki directori tertentu seperti /user/data.

Demikian sedikit info buat semua rekan-rekan sejagat raya di dunia per-onlinenan dan per-ngeblogkan.