Home » SEO » Cara Setting Robots.txt

Cara Setting Robots.txt

10 Apr. 2010168 comments
Cara Setting Robots.txt

Robots.txt merupakan sebuah file yang terdapat dalam directory root dari suatu situs yang berguna untuk mengontrol halaman-halaman tertentu agar diindex oleh spider mesin pencari, atau untuk mengatur bagian-bagian tertentu supaya tidak diindex oleh search engine.

Secara default (jika dalam direktori blog atau web tidak ada file robots.txt maka akan memberikan informasi pada Search Engine bahwa seluruh bagian dari blog atau situs dapat dijelajahi dan dimasukkan dalam index-nya. Dan tidak semua bagian sebuah blog atau web itu perlu didatangi search engine, sebagai contoh untuk pengguna wordpress  dengan hosting sendiri bagian folder atau direktori wp-admin,  wp-content/cache, wp-content/plugins, wp-includes dll tidak perlu diindex, karena tidak ada gunanya, sebaliknya kalau direktori tersebut ikut diindex malah akan merugikan karena akan boros bandwidth dan juga mungkin mengandung data-data penting yang tidak boleh jadi konsumsi publik.

Dengan memblokir direktori atau file tertentu yang memang tidak perlu diindex, ini juga salah satu cara agar blog atau website menjadi lebih SEO, kenapa bisa begitu, karena waktu yang dibutuhkan search engine saat mendatangi blog kita tidaklah lama. Jadi dengan dicegahnya search engine merayapi direktori tertentu maka kesempatan mesin pencari untuk merayapi dan mengindex seluruh konten atau halaman web yang memang perlu ditampilkan (diindex) menjadi lebih besar (lebih diprioritaskan).

Sebagai Contoh anda bisa menggunakan setting seperti ini :

User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*?*
Disallow: /*?

Setting ini akan mencegah search engine untuk merayapi dan mengindex file php, javascript, css dll.

Contoh lainnya :

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /trackback/
Disallow: /feed/
Disallow: /tag/
Disallow: /author/
Disallow: /comments/
Disallow: /category/

Sitemap: http://domainanda.com/sitemap.xml
Sitemap: http://domainanda.com/sitemap.xml.gz

Setting ini akan mencegah search engine untuk merayapi dan mengindex direktori cgi-bin, wp-admin, wp-includes dll beserta seluruh file yang ada di dalam direktori tersebut. Jika anda menggunakan plugin Google XML Sitemap Generator bagian paling akhir dari file robots.txt bisa ditambahkan kode ini : Sitemap: http://domainanda.com/sitemap.xml dan Sitemap: http://domainanda.com/sitemap.xml.gz

Bagi yang menggunakan plugin Google XML Sitemap Generator, Platinum SEO Pack atau All in One SEO Pack dan kebetulan menyertakan category dan atau tag dalam indexnya, maka setting di bagian berikut harus dihapus supaya sinkron :

Disallow: /tag/
Disallow: /category/

Selain contoh di atas anda juga bisa membuat parameter-parameter tertentu misalnya, jika anda sering mengikuti program paid review dan tidak ingin Page Ranknya turun bisa menggunakan parameter seperti ini :

User-agent: Googlebot
Disallow: /review/

Ini setting khusus yang menggunakan struktur permalink dengan settingan seperti ini : /%category%/%postname%/ dan sebelumnya seluruh postingan paid review harus dijadikan satu dalam kelompok atau kategori review.

Contoh setting file robots.txt untuk mencegah duplikat kontent pada penggunaan plugin wordpress versi mobile misalnya pada plugin MobilePress. Tambahkan kode berikut ini di bawah User-agent: Googlebot :

Disallow: /*?
Disallow: /*?comments=true$
Disallow: /*?postcomment=true$

Contoh setting file robots.txt untuk mencegah duplikat kontent ketika kita menggunakan fitur reply to comments atau nested comments. Tambahkan kode berikut ini di bawah User-agent: Googlebot :

Disallow: *?replytocom

Contoh setting file robots.txt untuk mencegah duplikat kontent pada penggunaan plugin wordpress versi mobile misalnya pada plugin MobilePress. Tambahkan kode berikut ini di bawah User-agent: Googlebot :

Disallow: /*?
Disallow: /*?comments=true$
Disallow: /*?postcomment=true$

Page break atau pagination halaman atau membagi postingan ke dalam beberapa halaman bisa berpotensi untuk munculnya duplikat kontent di Google Webmaster Tool. Untuk mencegahnya tambahkan kode berikut ini di bawah User-agent: Googlebot :

User-agent: Googlebot
Disallow: /*/2*
Disallow: /*/3*
Disallow: /*/4*
Disallow: /*/5*
Disallow: /*/6*
Disallow: /*/7*
Disallow: /*/8*
Disallow: /*/9*
Disallow: /*/10*

Itu diasumsikan jika sebuah postingan dibuat sampai 10 halaman, jika lebih, bisa anda tambahkan nomor halaman yang akan dicegah untuk diindek di bawahnya, misalnya Disallow: /*/11* dan seterusnya.

Cara membuat file robots.txt :

  1. Buka Program Notepad anda.
  2. Masukkan setting atau parameter-parameter file robots.txt yang diinginkan, contoh yang saya gunakan untuk blog ini bisa dilihat di sini.
  3. Simpan dengan nama robots.txt.
  4. Upload file tersebut ke root direkori wordpress bisa lewat Cpanel atau FTP.
  5. Cara lainnya login ke Cpanel ~ klik File Manager, klik public_html, klik Icon New File (atas kiri), pada kotak New File Name : beri nama file  “robots.txt” (tanpa tanda petik) terus klik create New File.
  6. Kemudian buka file robots.txt tersebut, masukkan parameter-parameter settingan yang diinginkan. Kemudian simpan.

Jangan lupa validasi hasil pembuatan file robots.txt anda dengan mengunjungi link ini Robots.txt Checker, dan masukkan url file robots.txt anda (contoh http://namadomain.com/robots.txt) pada kotak yang tersedia kemudian lihat hasilnya apakah file robots.txt anda sudah benar-benar valid, jika masih banyak eror di situ dikasih informasi letak erornya.

Valid Robots.txtSelain file robots.txt yang saya tempatkan di root direktori, saya juga menempatkan settingan pengaturan robots pada meta tag yang saya letakkan di file header.php yang ada di folder theme yang saya gunakan, dan settingan ini sudah saya uji joba selama 3 bulan, hasilnya sangat signifikan dalam pengindekan blog ini oleh search engine.

Cara Setting Robots.txt Reviewed by: Alwi on Rating : 5
Mudah-mudahan artikel tentang Cara Setting Robots.txt ini bisa bermanfaat untuk anda, terima kasih.

Artikel Yang Mungkin Berkaitan :

  1. Cara Pasang Adsense Di Bawah Judul Postingan
  2. Tips Atau Cara Menulis Yang Baik Di Blog
  3. Category Page, Index or Noindex?
  4. Cara Meningkatkan Traffic Blog
  5. Cara Mencegah Duplicate Content Di Google Webmaster Tools
  6. Cara Memanfaatkan Twitter Untuk Blog Anda
  7. Cara Setting Plugin Platinum SEO Pack
  8. Optimasi Internal Link Building WordPress
  9. Cara Membuat Breadcrumb Di WordPress
  10. Strategi Optimasi SEO Di Tahun 2011
  1. 10-4-2010 at 04:25 | #1

    numpang sedot ilmunya gannnn

    Muhammad Faisal Aziz Reply:

    ya,nih aku juga nyedot ilmu nih

  2. 10-4-2010 at 05:14 | #2

    Kalo dipikir-pikir bener kuga sih. program ini bisa bikin blog kita makin punya nilai privasi dan bikin SEO bekerja sesuai tugasnya, bukannya ngorek yang lain-lain. hehe
    makasi ya infonya.
    sudi kiranya mampir ke blog saya, blog yang sederhana dan biasa-biasa saja..

    Alwi Reply:

    Sebagai bukti, keyword postingan ini “Cara Setting Robots” walau baru beberapa jam langsung keindex sama Google dan muncul di halaman pertama hasil pencarian Google (SERP) dari sekitar 12,800,000 hasil penelusuran untuk cara setting Robots, tentunya ada juga setingan atau faktor2 lain. sebelum memakai setingan ini dan setingan robots yg saya tempatkan di meta tag agak lama untuk bisa nangkring di halaman 1 Google

    Muhammad Faisal Aziz Reply:

    thanks atas infonya mas

  3. 10-4-2010 at 05:52 | #3

    jadi dengan mengatur file robot.txt
    google tidak bisa mengindex halaman pribadi ya mas…

    baru tahu saya

    Alwi Reply:

    Betul sob, kita bisa mengatur dan mensetting file, direktori atau bagian2 yang tidak ingin ditampilkan di hasil pencarian search engine

  4. 10-4-2010 at 05:52 | #4

    info yang mantap nih kang..

    Bang Iwan Reply:

    Ilmu baru bagi saya.

    Bang Iwan Reply:

    Saya harus membacanya berulang-ulang Kang.

    Vulkanis Reply:

    Ikutaannnnn Bang….

    Bang Iwan Reply:

    makasih banyak… banyak ilmu yang saya sudah dapatkan dari blog ini.

    Vulkanis Reply:

    Akuuuuuuuuuurrrrr

    Bang Iwan Reply:

    Cuman belum ngerti…

    Vulkanis Reply:

    Sama dong

    Bang Iwan Reply:

    harus lebih banyak belajar lagi.

    Vulkanis Reply:

    Kalo yang giniaan buat saya mah
    Baru tahu juga

    Muhammad Faisal Aziz Reply:

    sama mas,aku juga baru tau

  5. 10-4-2010 at 05:54 | #5

    Selamat pagi, sehat dan sukses selalu.

    Vulkanis Reply:

    Saya sehat Bang

    Muhammad Faisal Aziz Reply:

    semoga bang Iwan juga sehat selalu

  6. 10-4-2010 at 06:15 | #6

    Mantab ni met pagi sob!!Waduh wp keren

    Muhammad Faisal Aziz Reply:

    pagi juga mas….iya..

  7. 10-4-2010 at 06:15 | #7

    Tapi aq g bisa

    Muhammad Faisal Aziz Reply:

    kenapa mas??gak bisa settingnya atau apa mas??

  8. 10-4-2010 at 06:16 | #8

    cz blogspot lebih gampang

    Alwi Reply:

    Untuk blogspot tidak perlu membuat file robots.txt tapi hanya perlu memasukkan aja sitemapnya lewat Google Master Tool nantinya akan terbentuk sendiri file robots.txt-nya biasanya hasilnya akan seperti ini :

    User-agent: Mediapartners-Google
    Disallow:
    User-agent: *
    Disallow: /search
    Sitemap:http://www.alwi70.co.cc/feeds/posts/default?orderby=updated

    Muhammad Faisal Aziz Reply:

    betul,saya juga tertarik pake wp,tapi pake blogspot lebih nyaman

  9. 10-4-2010 at 08:15 | #9

    Saya copas aja script diaas mas…..

    Alwi Reply:

    Monggo, tapi setingan tidak harus seperti punya saya, Mas Dafid bisa aja mengurangi atau menambahkan perameter yg diinginkan

    Vulkanis Reply:

    ya ikutann Mass
    Paling ntar blog saya eror lagi
    wakkaaakkkkaakkk

    Muhammad Faisal Aziz Reply:

    ikutann masss….

  10. 10-4-2010 at 08:20 | #10

    Mungkin coba kalian lihat robots.txt milik detik, kapan lagi atau portal berita yang lain. pASti beda. . . Milih mana hayo?

    Alwi Reply:

    Sesuai kemauan penggunanya heeee dan terus saya cari setingan yg betul2 pas

    Muhammad Faisal Aziz Reply:

    oK mas

Comment pages
1 2 3 11 1802