Mencegah website terindex browser

Jika kita punya aplikasi web yang digunakan untuk klient kita atau untuk internal dan gak mungkin orang lain yang tidak berkepentingan tau ,maka kita harus pinter pinter mengakalinya ,ada cara agar web aplikasi kita gak terindex mesin pencari semisal bing,google,ask de el el yaitu dengan menambahkan file robots.txt di root folder website anda dan isi dengan command sesuai kebtuhan , sebagai contoh:

1. Command ini berfungsi untuk mencegah semua jenis bot (program) dari mesin pencari untuk mengindex semua file anda (root dan turunannya).

User-agent: *
Disallow: /

2. Command ini berarti mencegah semua jenis bot mesin pencari untuk mengindex semua file yang berada di folder administration

User-agent: *
Disallow: /administration/

3. Command ini berarti mencegah bot dari google ntuk mengindex semua file anda (root dan turunannya).

User-Agent: googlebot
Disallow: /

4. Command ini berarti mencegah bot dari google ntuk mengindex semua file gambar anda (root dan turunannya).

User-agent: Googlebot-Image
Disallow: /

5. Command ini berarti mencegah semua jenis bot mesin pencari kecuali google untuk mengindex semua file yang berada di folder root dan turunannya, bot dari google boleh mengindex kecuali untuk folder cgi-bin dan privatedir

User-agent: *
Disallow: /
User-agent: Googlebot
Disallow: /cgi-bin/
Disallow: /privatedir/

6. Command ini berarti mencegah semua jenis bot mesin pencari untuk mengindex semua file yang berada di folder root dan turunannya, tetapi utk bot alexa (ia_archiver) diperbolehkan, karena disallow nya dikosongkan yang fungsinya spt tombol on/off

User-agent: *
Disallow: /
User-agent: ia_archiver
Disallow:

Sebagai tambahan informasi, kita bisa menggunakan syntax allow untuk mengijinkan indexing, tapi tidak semua mesin pencari mengenali command tersebut, jadi sebaiknya gunakan disalow yang dikosongkan saja seperti contoh terakhir.

Dan ini ada contoh robots.txt untuk wordpress (copas dari diskusi di situs wordpress di sini)

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-includes/js
Disallow: /trackback
Disallow: /category/*/*
Disallow: */trackback
Disallow: /*?*
Disallow: /*?
Disallow: /*~*
Disallow: /*~

 

Leave a Reply

Please log in using one of these methods to post your comment:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s