Menghapus Crawl Error Google Webmaster Tools

Google spiderbot webmaster
Cara meghapus crawl error pada Google Webmaster Tools - Setelah pada postingan saya yang lalu tentang Cara Mendaftarkan Blog ke Google Webmaster Tools, kali ini saya akan mulai membahas cara mengoptimalisasi blog dari Google Webmaster Tools. Bila anda belum mendaftarkan blog anda ke Google Webmaster Tools, silakan Mendaftarkan Blog anda ke Google Webmaster Tools. OK,, kembali ke laptop,, salah satu cara optimalisasi adalah dengan cara menghapus crawl yang error yang terjadi saat Google Search Engine melakukan crawling terhadap blog kita.
Lalu, mengapa proses crawl yang error ini perlu dihapus? Ya, tentu saja agar proses crawling yang dilakukan search engine terhadap blog kita menjadi lancar. Karena proses crawl yang error akan menghambat dan mengganggu search engine ketika men-crawl dan mengindex blog.

>> Macam-macam Crawl Error Pada Google Webmaster Tools
Berikut ini adalah beberapa crawl error yang pernah saya temui :

A. Not Found
Error ini terjadi karena server tidak dapat menemukan halaman yang diminta pada sebuah blog/web. Penyebab error ini biasanya karena penghapusan halaman pada blog. Jadi, untuk menghindari terjadinya error not found, sebaiknya jangan menghapus postingan maupun halaman yang telah terpublish. Jika anda menemukan crawl error yang ada di blog anda, maka segeralah dihapus agar proses crawling berjalan lancar.

Adapun cara menghapus crawl error yang not found adalah sebagai berikut :
1. Login ke halaman Dashboard Google Webmaster Tools.

2. Klik tulisan Not Found.
Google crawling
3. Anda akan dibawa ke halaman Crawl Errors. Di halaman ini akan ditunjukkan URL yang Not Found. Copy URL-URL tersebut.
Google Webmaster Tools
4. Kemudian masuk ke Site Configuration >> Crawler access >> Remove URL, lalu klik Create a new removal request.
Webmaster Tools crawl
5. Paste URL Not found yang dicopy tadi, Kemudian klik Continue.

6. Lalu akan muncul 3 pilihan dalam menghapus URL
    >> Remove page from search result and cache
         URL akan dihapus dari hasil pencarian Google dan cache
    >> Remove from cache only
          URL akan dihapus dari cache saja
    >> Remove directory
          URL akan dihapus dari direktori Google

7. Klik Submit Request


Proses penghapusan URL yang Not found ini memerlukan waktu yang lama. Saya pernah menghapus URL yang not found seperti ini dan baru terhapus setelah hampir 1 bulan sejak melakukan langkah-langkah diatas. :D. Akan tetapi dampak dari penghapusan crawl error ini sangat besar, proses crawling blog akan makin lancar dan hasilnya bagus.


B. Restricted by robots.txt
robots.txt adalah file yang digunakan oleh Googlebot (robot search engine-nya Google) sebagai pedoman dalam melakukan crawling terhadap isi blog. File robots.txt dapat menentukan bagian mana yang boleh dicrawl dan bagian mana yang tidak diperbolehkan untuk dicrawl. Bagian restricted by robots.txt artinya bagian tersebut dibatasi aksesnya oleh file robots.txt agar tidak dicrawl spiderbot. Sebenarnya bagian restricted by robots.txt ini tidak dihapus juga tidak masalah, karena tidak mengganggu proses crawling. :D

Sekian postingan saya mengenai Cara mengatasi Crawl Error di Google Webmaster Tools. Semoga artikel ini bermanfaat bagi sobat blogger semua. Mungkin artikel ini belum lengkap, masih ada beberapa dalam proses crawl error yang belum saya temukan. Lain kali jika ada tambahan akan saya tambahkan, atau mungkin jika anda menemukan proses crawl error lain silakan berkomentar dibawah.

143 komentar:

  1. ane ada gak ya crawl errornya di webmaster. cek TKP dulu ah biar mengerti :D

    BalasHapus
  2. oke sobat, mksih untuk ilmunya :D
    happy new year 2012

    BalasHapus
    Balasan
    1. saya atas nama egi dari malaysia ingin mengucapkan banyak terimah kasih kepada MBAH KABOIRENG,kalau bukan karna bantuannya munkin sekaran saya sudah terlantapernaah terpikirkan oleh saya kalau saya sdh bisa sesukses ini dan saya tdk menyanka klau MBAH KABOIRENG bisa sehebat ini menembuskan semua no,,jika anda ingin seperti saya silahkan hubungi MBAH KABOIRENG no ini 082322212111 saya yakin anda tdk akan pernah menyesal klau sudah berhubungan dgn MBAH KABOIRENG dan jgn percaya klau ada yg menggunakan pesan ini klau bukan nama EGI dan bukan nama MBAH KABOIRENG krna itu cuma palsu. KLIK TOGEL JITU DISINI




      saya atas nama egi dari malaysia ingin mengucapkan banyak terimah kasih kepada MBAH KABOIRENG,kalau bukan karna bantuannya munkin sekaran saya sudah terlantapernaah terpikirkan oleh saya kalau saya sdh bisa sesukses ini dan saya tdk menyanka klau MBAH KABOIRENG bisa sehebat ini menembuskan semua no,,jika anda ingin seperti saya silahkan hubungi MBAH KABOIRENG no ini 082322212111 saya yakin anda tdk akan pernah menyesal klau sudah berhubungan dgn MBAH KABOIRENG dan jgn percaya klau ada yg menggunakan pesan ini klau bukan nama EGI dan bukan nama MBAH KABOIRENG krna itu cuma palsu. KLIK TOGEL JITU DISINI



      saya atas nama egi dari malaysia ingin mengucapkan banyak terimah kasih kepada MBAH KABOIRENG,kalau bukan karna bantuannya munkin sekaran saya sudah terlantapernaah terpikirkan oleh saya kalau saya sdh bisa sesukses ini dan saya tdk menyanka klau MBAH KABOIRENG bisa sehebat ini menembuskan semua no,,jika anda ingin seperti saya silahkan hubungi MBAH KABOIRENG no ini 082322212111 saya yakin anda tdk akan pernah menyesal klau sudah berhubungan dgn MBAH KABOIRENG dan jgn percaya klau ada yg menggunakan pesan ini klau bukan nama EGI dan bukan nama MBAH KABOIRENG krna itu cuma palsu. KLIK TOGEL JITU DISINI

      Hapus
  3. betul itu gan .. webmaster tool bepengaruh terhdap blog kita,, karena itu mbah yang punya si google

    BalasHapus
  4. wah di blog saya ada Crwalnya juga yach sob??? cara ceknya gimana sob???

    BalasHapus
  5. @ Farixsan Quilicuor
    Silakan dicek blognya mas bro,, Kalo ada yg error segera dihapus biar ngga mengganggu proses crawling :D

    @ Aldio
    Sama-sama sobat, selamat tahun baru juga moga tahun ini menjadi lebih baik dari kemarin :)

    @ mahir blogging
    iya mas bro,, webmaster tools memang penting untuk memantau dan mengoptimalisasi blog,, :D

    BalasHapus
  6. @ Asisi Sugianto
    Cara cek crawl errornya gini sob,, pertama, login ke Google Webmaster, kemudian disitu akan muncul alamat blog sobat + screenshot tampilannya, klik tulisan/gambat tersebut. Stelah itu lihat di sebelah kanan, disana nanti ada tulisan Crawl Errors , trus dibawahnya ada jenis-jenis crawl errornya (biasanya not found sama restricted by robots.txt).;) Bila ingin menghapus yg not found, tinggal klik tulisan Not found lalu ikuti cara diatas... Selesai deh,, :D

    BalasHapus
  7. Baca dulu gan... Kayaknya bermanfaat nih...

    BalasHapus
  8. @ Fajar
    Terima kasih telah berkunjung ke blog ini.. :) Semoga artikel ini bermanfaat bagi sobat... ;)

    BalasHapus
  9. ijin simak + praktekin trik di atas sob :)) saking bodohnya ane g nyadar klo artikel yang di hapus bkin error saat mbah google crawling :D
    mksih bnyk sob sdh di kasih ilmu tambahan..

    BalasHapus
  10. Ilmu yang bermanfaat sobat,maksih atas sharenya yah,salam kenal dan happy blogging.

    BalasHapus
  11. Makasih tipsnya,langsung dicoba ya tipsnya,karena ku juga punya artikel yang sudah dihapus...

    BalasHapus
  12. @ Dumuk Struck
    Wah, sebaiknya jangan mengapus postingan yang udah terpublish, biar crawlingnya lancar... ;)
    Sama-sama, semoga artikel ini bermanfaat :D

    @ Dharma Sehat
    Terima kasih sobat, dan salam kenal juga. Semoga artikel di blog ini bermanfaat bagi sobat blogger dan pengunjung blog ini.. ;))

    BalasHapus
  13. @ Catatan Darmanto
    Sama-sama sobat,, semoga artikel di blog ini bermanfaat.. Terima kasih sudah berkunjung :D

    BalasHapus
  14. NICE info sobatku

    Lanjut berkarya!

    BalasHapus
  15. Oke sob :D g bakal ane ulangi lagi kesalahn kedua kalinya hee..sukses buat sobat..

    BalasHapus
  16. sip deh sob, akan ku praktikkan.

    BalasHapus
  17. wah sob..
    klo blog yg baru dibuat kira2 ada gak ya ?

    BalasHapus
  18. Untungnya selama ini saya tidak pernah mengalami, ... thanks and Happy New Year 2012, smoga membawa keberuntungan bagi kita semua ... Amin.

    BalasHapus
  19. terima kasih banyak sobat, dengan segera saya akan mengecek Crawl pada blog saya sobat, semoga saja tidak banyak errornya sob...

    BalasHapus
  20. sepertinya gak ada error sob saya sudah cek pada not found gak ada masalah sob,, gaka angkah yg menunjukkan error sobat..

    BalasHapus
  21. berkunjung lg nigh kawan,

    masih setia am Postingan terbaru

    BalasHapus
  22. tips yang bermanfaat gan..thanks ya...:)

    BalasHapus
  23. Terima kasih sobat atas berbagi ilmunya nih...
    Ijin jalan ke TeKaPe siapa tahu ada yang error dan perlu diperbaiki

    BalasHapus
  24. Kunjungan silaturahmi pagi hari saudaraku dan mendapatkan kembali ilmu yang baru bagi abu...
    Terima kasih

    BalasHapus
  25. boleh juga nih di manfaatkan untuk proses crawling lebih mudah :D

    BalasHapus
  26. @ Si Galau
    Wah,, silakan saja dicek sob.. tinggal sobat pernah menghapus postingan apa ngga,, atau mungkin ada error yang lain. Kalo belum punya akun GWT, silakan daftar dulu,, gratis kok.. :D

    @ Madhek Blog
    Wah,, untungnya belum pernah ada error,, bagus sob.. :D Happy new year.. semoga tahun ini menjadi lebih baik... :D

    @ Asis Sugianto
    Kalo ngga ada error bagus tuh sob.. proses crawlingnya jadi lebih lancar.. ;)

    @ Mharjipes
    Thanks kunjungannya sobat,, semoga artikelnya bermanfaat;; ;)

    BalasHapus
  27. @ Ageboy
    Sama-sama sobat,, saya senang jika artikel di blog ini bermanfaat bagi sobat.. thanks kunjungannya :D

    @ cardiacku
    Sama-sama sobat,, semoga artikelnya bermanfaat.. silakan dicek di GWT... ;)

    @ abufarras
    Sama-sama abu, semoga artikelnya bermanfaat.. :) Terima kasih kunjungannya ;)

    @ Farixsan
    Iya sob,, crawl error memang mempengaruhi proses crawling selanjutnya.. :D

    BalasHapus
  28. info yang sangat bagus buat saya sob..thanks y...
    jangan lupa kunjungi baliky + komentarnya...

    BalasHapus
  29. Ane bener-bener gk nyangka ternyata crawlku yang error ada 93

    BalasHapus
  30. boleh juga ni info ane mau cek dolo seberapa banyak crawl yang erro punya ane di webmaster

    BalasHapus
  31. wah blog saya ada 8 yang error tapi sudah dalam proses penghapusan berkan tips dari sobat,,thank ya tipsnya sangat bermanfaat

    BalasHapus
  32. semoga saja gak ada Crawl sob, tapi saya gak yakin juga sobat....

    BalasHapus
  33. sob, punya saya belum terhapus. emang cukup lama ya sob.

    BalasHapus
  34. @ DHENYSHARE
    Sama-sama sobat,, semoga artikelnya bermanfaat. Saya udah meluncur ke blog sobat... :))

    @ Musa
    Wah,, banyak banget errornya. Itu yg Not found ato yg Restricted by robots.txt,,? Biasanya yg banyak itu yg Restricted by robot.txt,, kalo yg restricted ngga usah dihapus juga ngga apa2, soalnya ngga begitu berpengaruh.. :D

    @ WahidBlog
    Silakan dicek sobat,, moga ngga ada errornya ;)

    @ BLOGCUNAYZ
    Sama-sama sobat,, saya senang kalo artikelnya bermanfaat.. Thanks juga udah berkunjung ;))

    BalasHapus
  35. @ Asis Sugianto
    Kalo ngga ada error bagus tuh. Kalo ada yg error silakan dihapus dulu. Tapi kalo Crawl itu sebaiknya ada sob,, soalnya crawl itu proses ketika Google mengunjungi dan mengindeks postingan blog kita, sehingga Postingan kita muncul di hasil pencarian Google.. ;)) Syukur2 kalo menempati posisi atas,, manteb tuh sob,, hehehe :))

    @ Mania-xp
    Iya sob,, memang lama proses penghapusannya. Punya saya dulu hampir 1 bulan baru terhapus... ;)
    Sabar aja yg nunggu,, entar lama2 kan kehapus..

    BalasHapus
  36. Nice inpo sob.. maaf baru mampir tadi sibuk.. hehe

    BalasHapus
  37. wah sob ane tunggu tips lainnya nie :)
    skalian ijin follow..
    dtunggu follbeckna ya :)

    BalasHapus
  38. ane gak tau Cawl sob.. hehey,
    tapi gpp nambah ilmu aja dah.. :D

    BalasHapus
  39. setelah saya cek masih ada yang error ternyata punya saya...

    BalasHapus
  40. Semoga saja sob di blog saya gak ada Crawlnya,,, thx yach sobat untuk informasinya...

    BalasHapus
  41. mampir lagi sobat menunggu postingan terbaru dari sobat.....

    ada postingan terbaru di blog saya, monggo silahkan dicicipi sobat....

    BalasHapus
  42. Yang not found mas,soalnya pas itu saya suka gonta-ganti url

    BalasHapus
  43. @ Black Angel Syndicate
    Thanks kunjungannya sobat... Semoga artikelnya bermanfaat :D

    @ Si Galau
    OK sob,, follback sukses.. :))

    @ awlqq @ Blog Mantap Donk
    Crawl itu adalah proses ketika Google mengindeks blog agar masuk kedalam hasil pencarian Google

    @ Ageboy
    Kalo masih ada yg error silakan segera dihapus sobat.. :D

    BalasHapus
  44. hadir kembali sobat... maaf baru bisa mampir ada halangan tadi... ehhe :)

    BalasHapus
  45. @ Asis Sugianto
    Iya sob,, ditunggu aja posting terbarunya.. ;)

    @ Musa Khairul Umam
    Em,, gitu ya.. kalo banyak gitu memang repot sih menghapusnya,, karena saat ini baru bisa buat menghapus URL yg not found satu persatu.. :)

    BalasHapus
  46. cuma mau berkunjungan dan untuk berkata
    terima kasih
    atas jawabannya
    dan
    thanks

    BalasHapus
  47. @ Blog Mantap Donk
    Sama-sama mas bro,, semoga blog ini bermanfaat :D
    Happy Blogging...

    BalasHapus
  48. oke sob,, lansung di coba,, hehe,, not found gua udah banyak juga tu di google webmaster,, :)

    BalasHapus
  49. absen lagi dihari minggu ini sobat...

    BalasHapus
  50. kembali berkunjung sambil menunggu postingan barunya

    BalasHapus
  51. kembali mengunjungimu sobatku, semoga engkau sehat selalu

    BalasHapus
  52. mapir pagi lagi ke blog sobat sebelum saya melakukan aktivitas pagi ini,,,

    sukses selalu untuk sobat...

    BalasHapus
  53. Siipp thanks yaa Gan atas Sharenya


    berkunjung lg nigh
    sambil menikmati betapa ramainya blog sobat

    BalasHapus
  54. mampir lagi ke blog sobat membawa updatean post terbaru...

    BalasHapus
  55. hemm,,gak saya sangka ternyata menghapus postingan setelah di publish dampaknya kaya gini,,saya juga mengalaminya...dan ditemukan satu,,semoga bisa cepat sembuh,,heheh,,makasih buat infonya

    BalasHapus
  56. sudah saya coba hapus
    sperti tutor di atas...
    mungkin nunggu ya

    salam kenal mas

    BalasHapus
  57. punya saya error terus gag bisa bisa nyerah dehhhh

    BalasHapus
  58. izin nyimak sob, blogku ada 15 yang error, thaks sharingya:)

    BalasHapus
  59. bintanghidupku-loonk.blogspot.com

    BalasHapus
  60. Salam kenal... Postingannya sangat bermanfaat, tapi sy masih belum mengerti...
    "Lalu akan muncul 3 pilihan dalam menghapus URL
    >> Remove page from search result and cache
    URL akan dihapus dari hasil pencarian Google dan cache
    >> Remove from cache only
    URL akan dihapus dari cache saja
    >> Remove directory
    URL akan dihapus dari direktori Google"
    Trus, yang paling recomended biar "baik dan aman" untuk situs kita, yang dipilih yang mana ya mas bro?
    Terima kasih...

    BalasHapus
  61. Yang pertama selalu terbaik..
    jadi pilih aja
    Remove page from search result and cache

    BalasHapus
    Balasan
    1. Terima kasih atas jawabannya. Nanya lagi ya gan... Kalo yg dieksekusikan yg ketiga (remove directory) dampaknya spt apa ya gan? Terima kasih sebelumnya

      Hapus
  62. mantap tentang google webmaster tools nya sangat bermanfaat untuk kami ,,,,, thanks rental mobil

    BalasHapus
  63. kalo masalah robot buatku bingung,langsung praktek aja gan.thanks yo

    BalasHapus
  64. Makasih gan tutorialnya sangat bermanfaat..

    BalasHapus
  65. makasih infonya gan, sangat membantu untuk newbie seperti saya yang tak tau apa-apa mengenai blog... salam kenal gan, happy blogging.....

    BalasHapus
  66. saya ada 600 error gara2 perubahan kategori..waduh Site Configuration >> Crawler access >> Remove URL hanya bisa masukin satu2 lagi gak bisa copy paste semua yng error capek pastinya nie...

    BalasHapus
    Balasan
    1. Iya,, untuk saat ini baru bisa dimasukin satu2 :D

      Hapus
  67. Thanks buat tips-nya, langsung dipraktekin nih. maklum pemula kudu banyak belajar.

    BalasHapus
  68. cara membuat sitemap daftar isi blog,gimana caranya

    BalasHapus
  69. saya udah hapus crawl error nya gan, tapi jumlahnya masih aja tetap, malahan nambah. gemantuh kira-kira biar cepat ilang....???

    BalasHapus
  70. makasih banyak sob ud share tutorialnya.nemu juga akhirnya. salam blogger :)

    BalasHapus
  71. ohhh begitu ya ternyata terimakasih gan

    BalasHapus
  72. http://curhatz.blogspot.com/ : nice ..Thread saya coba dulu om

    BalasHapus
  73. habis di hapus html, apa perlu kita mark fixed supaya tidak ada craw lagi? thanks info nya.

    BalasHapus
  74. cek dulu ahhh.. kunjungi juga http://smbjagasatru.blogspot.com/

    BalasHapus
  75. situs saya ada 3 link yang error. tapi saya cuma pake robot.txt saja.belum tau ada cara yang seperti sobat ajarin. language saya pake bahasa Indonesia akhirnya saya juga pusink.

    BalasHapus
  76. makasi gan..tutorialnya....dicoba dhe..

    BalasHapus
  77. makasi info dan caranya...patut dicoba nie..

    BalasHapus
  78. makasih infonya gan, sangat membantu untuk newbie

    BalasHapus
  79. Slalu ada saja yg error..kudu tiap ari cek webmaster tools

    makasih informasinya sobat,kalo ada waktu jgn lpa maen ke blog saya,trima kasih

    BalasHapus
  80. informasi yang pas buat blog yang dapat crawl error bisa memperbaiki diri
    thx gan

    BalasHapus
  81. Uda saya hapus, tapi lama sekali terhapusnya dari google webmaster
    Gudang Info www.wanblog.web.id

    BalasHapus
  82. Makasih tipsnya,langsung dicoba ya tipsnya.

    BalasHapus
  83. Ilmu yang bermanfaat sobat,maksih atas sharenya yah,

    BalasHapus
  84. ane gak tau Cawl sob.. hehey,
    tapi gpp nambah ilmu aja dah.. :D

    BalasHapus
  85. udh saya apus informasi yang pas buat blog yang dapat crawl error bisa memperbaiki diri
    thx gan

    BalasHapus
  86. sippp gan...makasi infonya...tadi sempat eror...sekanrng dah beres...

    BalasHapus
  87. akhirnya nemuin juga artikel ini...thx ya sob..

    BalasHapus
  88. ini yang dicari, cache nya masih nempel... trim om..

    BalasHapus
  89. Thanks sharenya. memank lagi cari cara untuk hilangan index page pada google.biar ga jadi page yang error..

    BalasHapus
  90. ane ada kirim PM ke om admin,,, tolong dicek gan,,,,

    BalasHapus
  91. gan ntar postingannya ikut ke hapus ga ? trus nanti url yang dihapus tadi apakah bisa ke search sama google, please help me.. jawab ya ke http://nandarious.blogspot.com

    BalasHapus
  92. kalo hapus cache postingan Fan page FB di google search gmna gan ada yang tau gak

    BalasHapus
  93. bagus ne tipznya, emg kdng ska error gtu..
    ntar saya praktekin dech..

    BalasHapus
  94. niceeeeeeeeeeeeeeeeeeeeeeeeeee

    kunjungi jg. pelajarlog.blogspot.com

    BalasHapus
  95. nice info ne gan, ijin d copaz dlu gan...!!
    thanx...

    BalasHapus
  96. nice tipz gan, d tunggu tipz-tipz selanjutnya...!!!

    BalasHapus
  97. kalau untuk memperbaiki "AMBIL SEBAGAI GOOGLE" gimana ya gan ? disini keteranganya "STATUS DI ALIHKAN". bila berkenan mohon pencerahanya gan. hehehe terimakasih

    BalasHapus
  98. Komentar ini telah dihapus oleh pengarang.

    BalasHapus
  99. Terimakasih Gan infonya janagan lupa bekunjung di mari Karimunjwa Opentrip

    BalasHapus
  100. fungsi manfaatnya apa yah gan dihapusin?
    thx

    BalasHapus
  101. bagus gan
    http://eko-tipsntrick.blogspot.com

    BalasHapus
  102. waduh ada ribuan error. hapus dulu 1 1, thx gan

    BalasHapus
  103. bagaimana cara Remove URLs sekaligus, karena harus hapus satu satu, kalau ada ratusan masih mending ini ada ribuan gan,, mohon pencerahan.. trims

    BalasHapus
  104. saya juga banyak mengalami error 404 nih tapi kenapa tiap dihapus muncul lagi kebanyakan error dari search , smartphone sama komentar
    tolong bagaimana mengatasinya biar tiap dihapus ga muncul lagi

    BalasHapus
  105. ini maksudnya bisa untuk web wordpress dan blogsot ya gan?

    BalasHapus
  106. semoga sukses terus gan buat usahanya

    BalasHapus
  107. Mau mendapatkan pelayanan yang baik dan ramah???

    Modal Kecil bisa mendapatkan hasil yg luar biasa...

    BalasHapus
  108. Menarik sekali, perlu saya coba ini..
    kebetulan lagi cara tentang hal ini.

    BalasHapus
  109. ok mantap sob buat infonya dan salam kenal

    BalasHapus
  110. keren mas buat infonya dan salam sukses selalu

    BalasHapus
  111. bagus bos artikelnya dan menarik

    BalasHapus
  112. makasih gan buat infonya dan semoga bermanfaat

    BalasHapus
  113. Kabar Baik Untuk Para pencinta Game
    Karena di Bulan januari ini Sudah keluar Game RPG Online Terpopuler Se-Asia
    Penasarankan Game nya Seperti apa???
    Kalian bisa dilihat game nya dari link di bawah yaaa

    BalasHapus
  114. Cara membuat link whatsapp menjadi lebih mudah dengan linknge.com

    BalasHapus