Alwi 's Blog | m-alwi.com

Kalau pada postingan sebelumnya sudah saya bahas Cara Setting Robots.txt, sekarang kita lanjutkan membahas tentang pengaturan atau cara setting robots meta tag WordPress yang terletak di file header.php yang berada di dalam folder theme yang digunakan. Mungkin ada yang bertanya apa bedanya file robots.txt yang ada di root direktori wordpress dengan robots meta tag?. Robots.txt adalah file yang memberikan perintah kepada search engine secara menyeluruh untuk sebuah situs apakah robots-robots search engine boleh mengindex seluruh isi website termasuk direktori atau file yang ada di dalam sebuah web, atau untuk mengatur bagian-bagian tertentu supaya tidak diindex oleh search engine, sedangkan robots meta tag adalah sedikit perintah melalui coding secara lokal untuk sebuah halaman di dalam sebuah situs/web.

Robots meta tag biasanya ditempatkan pada bagian header sebuah halaman web / situs. Contoh :

<meta name="robots" content="all,index,follow"> atau <meta name="robots" content= "all,index,follow,noodp,noodp,noarchive">

1. index, halaman yang mendapat tag “index” akan dimasukkan ke dalam index search engine.
2. noindex, halaman yang mendapat tag “noindex” tidak akan dimasukkan ke dalam index search engine
3. follow, semua link di dalam halaman yang mendapat tag “follow” akan diperlakukan sama dengan jika mereka dipasang tag rel=”dofollow”.
4. nofollow, semua link di dalam halaman yang mendapat tag “nofollow” akan diperlakukan sama dengan jika mereka dipasang tag rel=”nofollow”.
5. noydir, mesin pencari menggunakan beberapa sumber untuk menampilkan deskripsi di bawah title di halaman hasil pencarian, salah satunya adalah dari Yahoo Directory. Jika kita memasukkan situs ke direktori online tersebut, halaman yang mendapat tag “noydir” tidak akan mengambil deskripsi yang telah ditetapkan di sana.
6. noodp, open directory seperti dmoz.org juga sering dijadikan referensi mesin pencari untuk menampilkan deskripsi di halaman hasil pencarian. Jika kita memasukkan situs ke direktori online tersebut, halaman yang mendapat tag “noodp” tidak akan mengambil deskripsi yang telah ditetapkan di direktori online tersebut.
7. noarchive: robot mesin pencari tidak akan men-cache halaman dengan tag ini. Dengan demikian, halaman ini juga tidak akan masuk ke dalam catatan arsip online seperti archive.org.

Menurut saya cara yang biasa tersebut di atas kurang bagus untuk SEO karena syntax tersebut berlaku untuk semua halaman. Misalnya jika menggunakan syntax <meta name="robots" content="all,index,follow"> semuanya akan diindex dan difollow, padahal tidak semua yang ada di halaman web harus diindex seperti hasil pencarian pada Box Search, penomoran halaman dll tidak perlu diindex walau tetap difollow. Setting yang saya gunakan sedikit berbeda dengan settingan di atas, yakni dengan adanya penambahan kode php pada syntax robots meta tag.

Cara setting robots meta tag WordPress :

1. Buka file header.php yang ada di folder theme yang digunakan bisa lewat dashboard atau cpanel.
2. Tambahkan kode di bawah ini di atas kode </head>.

3. <?php if(is_single() || is_page() || is_home()) { ?>
   <meta name="googlebot" content="index,noarchive,follow,noodp" />
   <meta name="robots" content="all,index,follow" />
   <meta name="msnbot" content="all,index,follow" />
   <?php } else { ?>
   <meta name="googlebot" content="noindex,noarchive,follow,noodp" />
   <meta name="robots" content="noindex,follow" />
   <meta name="msnbot" content="noindex,follow" />
   <?php }?>

4. Simpan.

Perintah atau coding di atas memberitahukan kepada googlebot, msnbot dan robot search engine lainnya hanya melakukan index dan follow pada post itu sendiri dan page pada wordpress. Selain itu tidak akan diindex, walaupun tetap di-follow, contohnya seperti hasil pencarian pada Search Box tidak akan diindex.

Settingan di atas juga akan memerintahkan kepada robots mesin pencari untuk tidak mengindex Kategory dan Tag walaupun tetap difollow, hal ini penting supaya keyword pada postingan tidak bersaing dengan kategory dan tag, mohon dikoreksi kalau pendapat saya salah.

Settingan di atas juga sangat baik untuk mencegah duplikat konten bagi pengguna plugin WP Page Number seperti yang saya gunakan untuk menu navigasi halaman pada halaman utama, robots mesin mencari hanya akan mengindex halaman Utama (Home) sedangkan halaman 2 dan seterusnya tidak akan diindex.

Cara di atas sebenarnya mirip dengan kalau kita menggunakan Plugin Platinum SEO yaitu dengan mengaktifkan opsi “Add noodp meta tag”, “Add noydir meta tag”, “index, follow” dll. Yang sedikit membedakan yaitu adanya penambahan robots googlebot dan MSN.

Referensi : askapache.com, wikipedia.org, robotstxt.org, google.com/support/webmasters