Membuat robots.txt untuk web kamu

Membuat robots.txt untuk site kamu

hmm,... robot ???
mesin yang mirip manusia tu kan ??

atau jangan jangan robocop super hero ???

wakakaka... yang dimaksud robots disini robots nya mbah google mas brooo....
fungsi robots adalah untuk menutup pintu masuk agar tidak di indeks oleh mbah google, lho kok kagak di indeks ???
kan harus nya semua harus di indeks supaya masuk di halaman padepokan nya mbah google bukan ??
tenang dolo mas brooo....
robot disini adalah kita menghalangi indeks mbah google untuk beberapa file folder kita..
misalnya CSS, Javascript,Image,File file penting laennya yang kita ingin kan agar tidak di publish oleh si mbah..
bisa berabe kalo ada file penting yang di publish efek nya bisa di hack lho...
nah itu lah fungsi dari robots.txt

tapi gimana ama blogger dan cms seperti drupal,wordpress ama joomla ???
tenang kalao mereka sudah generate sendiri membuat robots otomatis broo..
laen hal nya ama cms laen yang butuh pembuatan robots.txt seperti pyro cms dan lain lain

Oke terus bikin robot gimana ???
masuk ke cpanel hosting kamu dan buat add new file rename dengan robots.txt
kalau sudah klik kanan pada file baru tadi robots.txt kemudian edit
setelah itu kamu akan masuk pada file kosongan bukan nah sekarang buat deh file robot kamu
cari file yang bener bener ingin kamu proteksi contoh nya seperti dibawah ini

User-agent: *
Disallow:
Disallow: /folder yang mau kamu proteksi
Disallow: /folder yang mau kamu proteksi 1
Disallow: /folder yang mau kamu proteksi 2
Disallow: /folder yang mau kamu proteksi 3

dan seterusnya..

kalau uda di save yahh,,, hehehe...

nah sedikit share mengenai Membuat create robots.txt untuk web kamu

semoga bermanfaat ya guyss...