U3DGDAQbHz1BfkaNiXhOCW0356K5hbADnV3jwXwA

Mengatasi Masalah URL Yang Dikirimkan Diblokir Oleh Robots.txt

Mengatasi masalah Diindeks, meski diblokir oleh robots.txt, Detail kesalahan url yang dialami pada blog dapat dibaca pada pesan yng kirimkan oleh google di Google Search Console. Di sinilah pengelola blog perlu melakukan tindakan apabila ditemukan kesalahan url. Lakukanlah perbaikan dan segera validasi di bagian peringatan google untuk di uji kembali.

Ababila tidak segera dilakukan perbaikan terhadap kesalahan indeks dan url ini, akan menyebabkan halaman blog tidak muncul di hasil penelusuran mesin pencari google, masalah bisa merembet menjadi duplikat konten di blog, dan lain sebagainya.

Gambar di bawah ini menunjukkan pesan kesalahan indeks dan url yang mesti segera diperbaiki.  Pilih tombol perbaiki liputan masalah untuk melihat detail permasalahan di Google Search Console.
Diindeks, meski diblokir oleh robots.txt
Perbaiki Cakupan Masalah
Dan sekarang saya akan berbagi pengalaman perihal cara saya memperbaiki liputan maslalah diindeks dan url yang diblokir robot.txt sebagaimana pesan notifikasi dari Google Search Console pada tanggal 12/12/2019. Ada 2 masalah yang perlu diatasi :

1. Ada 3 halaman yang diberi warna merah 'URL yang dikirimkan diblokir oleh robots.txt' status kesalahan
2. Ada 32 halaman diberi warna kuning untuk masalah 'Diindeks, meski diblokir oleh robots.txt' status peringatan (valid dengan peringatan)
Liputan Google Search Console
Masalah url dan diindeks
Cakupan Google Search Console
Pada gambar di atas ditemukan ada 3 kesalahan url, 32 valid dengan peringatan, 74 valid dan 176 dikecualikan. Cara mengatasi masalah ini, langkah pertama pelajari detail kesalahan URL dan kesalahan iindeks dengan menekan tombol Perbaiki Liputan masalah Apabila ditemukan masalah yang sama persis dengan yang saya hadapi. Silahkan lakukan cara ini untuk mengatasi masalahnya.

1. Memblokir label blog yang tertaut dengan halaman dengan melakukan seting robot.txt pada setelan blogger. Di Preferensi penelusuran, Aktifkan Robot txt khusus dengan memilih ya, lalu edit.
aktifkan robot txt khusus
Seting robot txt khusus
Gunakan kode robot.txt seperti di bawah ini. Sesuaikan sitemapnya dengan blog sobat. Simpan perubahan jika telah selesai. Langkah berikutnya kirim robots txt di google search console. Caranya ketik saja di google 'Penguji robots.txt' pilih properti yang terverifikasi. Lihat gambar penguji robots.txt
Penguji Robots Txt
Robots.txt untuk mengatasi masalah :
  • URL yang dikirimkan diblokir lleh robots.txt 
  • Diindeks, meski diblokir oleh robots.txt
Sebelum menggunakan robots.txt ini, gantilah https://www.menuliscatatan.com dengan url blog milik sobat.
User-agent: *
Disallow:

Sitemap: https://www.menuliscatatan.com/sitemap.xml
Sitemap: https://www.menuliscatatan.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://www.menuliscatatan.com/feeds/posts/default
Sitemap: https://www.menuliscatatan.com/sitemap-pages.xml
Selanjutnya edit tema html blog, tambahkan kode meta tag noindex untuk arsip blog diantara kode <head> ...</head> noarchive berarti di halaman blog tidak ada lagi widget archive.
<b:if cond='data:view.isArchive'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>
Simpan template jika sudah selesai. Setelah langkah ini lakukanlah validasi perbaikan di Google Search Console untuk memberitahukan kepada google bahwa liputan kesalahan yang ada di blog sudah diperbaiki. Google akan segera melakukan pengujian dan tunggulah hasilnya, dan rajin rajinlah mmengecek di Google Search Console, Apakah perbaikan yang dikirim lulus uji atau tidak.

Sebagai perbandingan untuk mengatasi masalah Diindeks, meski diblokir oleh robots.txt. Untuk mengatasi masalah 'URL yang dikirimkan diblokir oleh robots.txt.' Dengan langkah langkah yang telah saya jelaskan di atas. Masalah URL yang dikirimkan diblokir oleh robots.txt teratasi. Status kesalahan muncul pada tanggal 14/12/2019 dan lulus validasi perbaikan urlnya pada tanggal 17/12/2019. Lebih jelasnya perhatikan gambar liputan yang di centang warna hijau. (Validasi lulus). Tidak ada halaman yang terpengaruh karena kesalahan url.
Mengatasi masalah indeks yang diblokir robot.txt
Mengatasi masalah indeks yang diblokir robot.txt
Selanjutnya untuk masalah Diindeks, meski diblokir oleh robots.txt.Untuk hasil validasi lulusnya lebih lama dari masalah url, ini disebabkan karena banyaknya masalah indeks yang diblokir robot yang mencapai 32 masalah dibandingkan dengan url ada 3 masalah.

Untuk masalah yang kedua ini penyelesaiannya lebih lama dari masalah url. Validasi lulusnya tercatat tanggal 31/12/2019.
Diindeks, meski diblokir oleh robots.txt
Mengatasi diindeks, meski diblokir oleh robots.txt
Secara keseluruhan dari kedua masalah yang dihadapi telah terselesaikan dengan baik. Pada dasboard Google Search Console, pilih bagian liputan maka akan ditampilkan secara detail jenis kesalahan, valid dengan peringatan, vaid dan dikecualikan. Untuk lebih memahaminya, sobat bisa mempelajarinya di Google Search Console dan tanyakan masalahnya di penelusuran google. 
Perbaiki liputan masalah
Liputan Google Search Console
Diindeks, meski diblokir oleh robots.txt
Diindeks, meski diblokir oleh robots.txt
Solusi untuk mengatasi masalah Diindeks, meski diblokir oleh robots.txt pada bagian seacrh dan search/label. Ambil contoh pada blog saya yang mengalami masalah cakupan indeks di bagian 'https://www.menuliscatatan.com/search' dan 'https://www.menuliscatatan.com/search/label/' 
Cara mengatasinya dengan menambahkan kode di bawah ini, tempatkan di bawah <head> pada template blog yang digunakan :
<b:if cond='data:blog.searchQuery'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>
<b:if cond='data:blog.searchLabel'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>
Selesai dan simpan template. Selanjutnya validasi masalah cakupan indeks di google search console dan tunggu hasilnya dalam beberapa hari dengan melakukan pengecekan di cakupan google search console. Demikian sobat blogger catatan hari ini untuk mengatasi masalah indeks dan URL yang dikirimkan diblokir oleh robots.txt Selamat membaca dan mencoba, semoga sukses. Terima kasih.
Related Posts
I GB Sudiantara
Salam lestari, salam konservasi. Selamat datang di Bllog Menulis Catatan. Semoga bermanfaat.

Related Posts

Posting Komentar