Cara mengizinkan bing melakukan crawl menyeluruh

Robots.txt berfungsi untuk mengizinkan dan menolak mesin pencarian untuk melakukan crawl pada halaman tertentu dan seperti yang kita ketahui bahwa settingan umum robots.txt  pada blogger yang sering digunakan adalah sebagai berikut.

User-agent: *
Allow: /
Disallow: /search

Mengizinkan bing melakukan crawl menyeluruh

Kode * adalah semua nama User-Agent mesin pencarian termasuk bing, jika demikian maka bing juga dibatasi untuk melakukan crawl. Apabila anda ingin bing saja yang dapat melakukan crawl secara menyeluruh maka anda dapat menambahkan settingan berikut ini.

User-agent: Bingbot
Allow: /
Disallow:

Jadi hasil settingannya akan seperti ini.

User-agent: *
Allow: /
Disallow: /search
User-agent: Bingbot
Allow: /
Disallow:

Catatan:

• Bingbot adalah nama user-agent untuk mesin pencarian bing.
• Allow: / adalah perintah untuk mengizinkan si user-agent untuk melakukan crawl di semua direktori.
• Disallow: adalah perintah untuk menolak user-agent untuk melakukan crawl, karena anda ingin bing melakukan crawl menyeluruh, maka biarkan kosong.

Demikianlah cara mengizinkan bing melakukan crawl di blog secara menyeluruh di blog, semoga bermanfaat.