Cara Memperbaiki Masalah Cakupan Indeks di Search Console
Masalah Cakupan indeks baru terdeteksi untuk situs https://www.namadomain.com/. Yth. pemilik https://www.namadomain.com/, Search Console telah mengidentifikasi bahwa situs Anda terpengaruh oleh 1 masalah baru terkait Cakupan indeks.
Artinya, Cakupan indeks dapat terkena dampak negatif di hasil Google Penelusuran. Sebaiknya Anda meninjau dan mempertimbangkan untuk memperbaiki masalah ini. Masalah baru ditemukan: Di indeks, meski diblokir oleh robots.txt.
Apakah anda mendapatkan pesan seperti itu juga di Search Console atau di Alat Webmaster Google? Tak perlu risau.
Para pengguna situs web atau blog platform blogger, secara default perintah yang ada pada robots.txt memang memblokir URLs atau halaman-halaman yang dimaksud. Di bawah ini adalah pengaturan atau format file robots.txt default dari blogger:
Jika dilakukan pengujian pada robots.txt terkait masalah cakupan indeks, maka akan ditemukan bagian dari robots.txt yang menghalangi perayapan atau indeks.
Persoalan yang ada di gambar, memberikan kejelasan terkait permasalahan yang sebetulnya bukanlah masalah. Perintah Disallow: /search pada robots.txt adalah pengaturan default dari blogger itu sendiri.
Pengaturan robots.txt yang seperti itu secara spesifik (khusus) bertujuan agar Googlebot tidak melakukan indeks pada halaman hasil penelusuran (/search).
Walaupun Googlebot dilarang untuk melakukan indeks, bukan berarti bagian tersebut tidak di indeks. Cara kerja Googlebot atau Spiderbot memang seperti itu! Lalu apa maksudnya pesan itu?
Googlebot hanya ingin memastikan dan melakukan validasi terkait larangan melakukan indeks pada bagian /search adalah atas kehendak anda sendiri sebagai webmaster.
Silakan pergi ke Dasbor Blogger - Setelan - Preferensi penelusuran - Edit pada bagian robots.txt khusus.
Setelah anda berada di pengaturan robots.txt, ganti /search menjadi /p/about.html pada bagian Disallow: /search dan hasil akhirnya akan seperti ini:
Artinya, Cakupan indeks dapat terkena dampak negatif di hasil Google Penelusuran. Sebaiknya Anda meninjau dan mempertimbangkan untuk memperbaiki masalah ini. Masalah baru ditemukan: Di indeks, meski diblokir oleh robots.txt.
 |
| Masalah Cakupan Indeks di Search Console |
Para pengguna situs web atau blog platform blogger, secara default perintah yang ada pada robots.txt memang memblokir URLs atau halaman-halaman yang dimaksud. Di bawah ini adalah pengaturan atau format file robots.txt default dari blogger:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.namadomain.com/sitemap.xmlJika dilakukan pengujian pada robots.txt terkait masalah cakupan indeks, maka akan ditemukan bagian dari robots.txt yang menghalangi perayapan atau indeks.
 |
| Cakupan Indeks Dilarang Robots TXT |
Pengaturan robots.txt yang seperti itu secara spesifik (khusus) bertujuan agar Googlebot tidak melakukan indeks pada halaman hasil penelusuran (/search).
Walaupun Googlebot dilarang untuk melakukan indeks, bukan berarti bagian tersebut tidak di indeks. Cara kerja Googlebot atau Spiderbot memang seperti itu! Lalu apa maksudnya pesan itu?
Googlebot hanya ingin memastikan dan melakukan validasi terkait larangan melakukan indeks pada bagian /search adalah atas kehendak anda sendiri sebagai webmaster.
Cara Perbaiki Masalah Cakupan Indeks di Search Console
Apakah perlu diperbaiki? Silakan anda sesuaikan dengan kebutuhan. Saran saya, biarkan tetap default dan anda tidak perlu mengubah atau memperbaikinya. Bagi yang ingin mengubah perintah robots.txt, berikut cara yang perlu dilakukan.Silakan pergi ke Dasbor Blogger - Setelan - Preferensi penelusuran - Edit pada bagian robots.txt khusus.
 |
| Edit robots.txt Blogger |
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Allow: /
Sitemap: https://www.namadomain.com/sitemap.xmlCatatan: Bagian URL dengan kata namadomain ubah dengan nama domain situs web atau blog anda.
Halaman statis yang dilarang untuk di indeks Googlebot pada pengaturan robots.txt, dapat disesuaikan dengan keinginan dan tentunya sesuaikan juga dengan URL halaman statis di situs anda.
Anda bisa melarang halaman statis seperti about, contact, privacy policy, dsb. Bahkan anda bisa juga melarang beberapa halaman statis sekaligus dengan contoh pengaturan robots.txt sebagai berikut:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Disallow: /p/contact.html
Allow: /
Sitemap: https://www.namadomain.com/sitemap.xml
Kalau anda masih ragu untuk mengatur robots.txt dengan perintah atau format seperti itu, saya sarankan anda melakukan pengujian robots.txt terlebih dahulu. Caranya sebagai berikut: Kunjungi alat pengujian robots TXT. Pilih properti yang terverifikasi dan lakukan pengujian.
 |
| Pengujian Robots TXT |
Di halaman uji coba robots TXT, hapus kata /search lalu ganti dengan URL halaman statis /p/about.html. Jangan lupa isi URL yang ingin di uji untuk mengetahui apakah pengaturan tersebut berhasil mengatasi masalah cakupan indeks di search console.
 |
| Cakupan Indeks Diizinkan Robots TXT |
Lihat gambar di atas, pengujian robots TXT memberikan keterangan diizinkan, itu artinya masalah cakupan indeks di search console selesai hanya dengan cara mengganti /search menjadi /p/about.html. Semoga bermanfaat.
Halo gan, apakah pengaturan seperti di atas sama antara Blogger dan WP?
BalasHapusCara mengatasi masalah cakupan indeks di search console atau alat webmaster Google tiap platform berbeda om, namun pada dasarnya solusi untuk itu adalah sama, yakni dengan mengabaikan peringatan tersebut. Karena secara default, robots.txt tiap platform memang melarang bot google meng-crawl pada bagian yang dimaksud demi kepentingan webmaster dan pengguna situs.
HapusCuma tinggal buang search aja yak... Bikin puyeng aja si Google nih ��
BalasHapusIya betul, cara mengatasinya memang mudah. Tapi nggak perlu juga diatasi, karena secara default robots.txt untuk blogger memang sudah melarangnya. Ini tidak terbatas, bagi yang memang mengerti dan memahami cara mengatur robots.txt khusus, bisa mengatur tajuk robots.txt khusus sesuka hati.
HapusMantap gan... Tapi aman tidak ya untuk index?
BalasHapusGak ada masalah gan. Nah kalau soal hasil indeks apakah setelah kata 'search' dihilangkan dapat memberikan performa terbaik atau nggak di hasil penelusuran Google, itu yang belum bisa dipastikan.
HapusBagi yang kurang mendalami sintaks pada robots.txt, sebaiknya tetap menggunakan pengaturan default robots.txt.
Kalau menghilangkan search, artinya url yang diawali search, akan diindeksi donk gan??? Sementara google menyarankan untuk tidak mengindeksi halaman seperti itu.
BalasHapusKalau menurut saya mending diabaikan, karena kemungkinan masih ada kesalahan dari google sendiri karena adanya versi beta dari seacrh console.
Mungkin agan belum baca keseluruhan artikel saya di atas. Hehe.. Iya gan, makanya saya bilang untuk mengatasi nya, yaitu dengan cara menghilangkan search pada settings robots.txt. Pemberitahuan dari search console sebetulnya bukan suatu permasalahan, karena secara default perintah robots.txt di blogger memang tidak mengizinkan halaman /search untuk di indeks Googlebot. Kurang lebih kalimat yang saya katakan di post artikel atas seperti itu gan. Hehe..
HapusSaya baca gan keseluruhan artikelnya,,,kalau merujuk pada judul artikelnya, ya pastinya orang beranggapan menghilangkan poin search itu akan menyelesaikan masalah.
HapusMungkin perumpamaannya, jika atap rumah bocor cara mengatasinya bongkar atapnya. Jadi tidak akan ada bahasa atapnya bocor, wong atap aja tidak ada.
Hehe, semoga nggak ada. Kalau ada yang cepat berspekulasi hanya dari judul, resiko ditanggung penumpang mas. Saya sengaja melatih budaya masyarakat Indonesia untuk terbiasa membaca keseluruhan isi setelah judul, biar gak salah paham cuma gara2 baca judul artikelnya doang. :D
Hapusbetul mas, pembaruan webmaster google menyarankan pemilik blog utk memberikan akses bot ke file html, css ataupun javascript. jadi langkah yg tepat utk menghilangkan search agar tetap dapat diindeks.
BalasHapusOiya saya mau tanya setelah langkah yg dijelaskan di atas perlu fetch lagi kah?
Permasalahan cakupan indeks di search console baru baru ini bersifat opsional mas. Maksudnya adalah, sebagai seorang webmaster kita boleh saja mengabaikan nya.
HapusMengapa? Karena pada dasarnya robots.txt milik blogger secara default memang menolak/melarang URLs /search untuk diindeks oleh Googlebot.
Jika mas Halo Sobat memilih untuk memberikan izin Googlebot melakukan indeks di halaman atau URLs tersebut, setelah langkah yang dijelaskan tidak perlu melakukan Fetch as Google.
Berarti terserah pemilik mau dihilangkan atau tidak ya om hehehe, kalau saya nunggu 2 minggu ke depan dulu, apakah ada perubahan dari pv atau tidak.
BalasHapusIya om, Bot Google cuma ngasih tau, mau diikuti atau nggak bagi bot Google bukan masalah, walaupun peringatan tersebut terkesan bermasalah. Saya rasa persoalan itu belum bisa diperbaiki Tim Google, sebab yang dipermasalahkan Googlebot sebetulnya pengaturan robots.txt default dari blogger Google.
Hapusterima kasih atas artikelnya,sangat membantu sekali...
BalasHapusOke, terima kasih kembali sudah mau mampir. :)
Hapusakhirnya,,,,teratasi juga gan.....sempat khawatir karena saya juga pemula. bermanffat sekali gan.....kalaw mau lihat blog saya visit aja gan.
BalasHapusTerima kasih sudah berkunjung. Mantap kalau sudah berhasil diperbaiki. :)
HapusMas nino menyarankan di biarkan defaul aja, apakah itu artinya di biarkan begitu sj walau ada peringatan dr google untuk mmperbaiki krena berdampak negatif di penulusuran searc console??
BalasHapusTrs yang ini gimana mksudnya? Sitemap: http://namadomain'blogspot.com/feeds/posts/default?orderby=UPDATED, karena mas nino menyarankan Sitemap: https://www.namadomain.com/sitemap.xml
Mohon pencerahannya dan trima kasih sebelumnya
Pertanyaan nya bagus mas. Secara default maksudnya bentuk perintah. Untuk akhiran ordernya=UPDATED dan sitemap.xml sejatinya sama. Jadi bisa dikatakan keduanya adalah default dari blogger.
HapusPertanyaan, apakah ada dampak negatif kalau dibiarkan? Tidak mas, justru lebih positif. Mengingat halaman label itu kan tergolong halaman dari hasil pencarian blog yang nggak perlu ditampilkan indeks nya di hasil penelusuran.
Googlebot memang seharusnya dilarang melakukan indeks, kalau diizinkan bot bakal ngasih data indeks nya di penelusuran Google atau google search.
Saya sarankan menggunakan robots txt default bisa juga diartikan tidak mengaktifkan fitur tersebut di dasbor blogger.
Ciri-ciri blog yang tidak mengaktifkan Robots TXT kalau di intip dengan perintah namablog,com/robots,txt keterangannya No results found atau Page not found.
Situs resmi webmaster, adsense, Google contohnya, kalau pakai peeintah itu juga hasilnya No results found. Artinya mereka menggunakan pengaturan robots txt default.
Ya ya jadi paham sdah aku, trima kasih mas nino atas pencerahannya, salam sulses sllu. Amin
BalasHapusOke, terima kasih kembali mas. Sukses juga untuk blog nya Mas Moel. :)
HapusJadi ga masalah kalo dicuekin ya. Karena emang wajar ya gan. Makasih ilmunya
BalasHapusIya mbak Sri. Dibiarkan saja tetap apa adanya, karena secara default pengaturan robots txt memang melarang bot untuk memasukkan halaman yang dimaksud Googlebot dalam indeks penelusuran Google.
HapusMakasih gan, ketemu juga ahirnya cara mengatasi masalah cakupan indeks di blog agan nino artikel...
BalasHapusOke, terima kasih kembali mas. Baru dapat notifikasi tentang masalah cakupan indeks di search console ya mas? Semoga setelah baca artikel di atas jadi nggak khawatir lagi. Hehe..
HapusHari ini saya dapat email pemberitahuan seperti itu juga ... Jadi abaikan aja ya mas. Sempet bingung juga sih.. Tapi thanks artikel nya memberikan pencerahan
BalasHapusIya kang biarkan aja gpp kok. Punya saya juga tak abaikan. Bahkan untuk robots txt di pengaturan blogger saya buat nonaktif.
HapusMakasih min infonya, tapi garagara cakupan ininde viewerku kok jadi menurun ya min?
BalasHapusPenyebab pengunjung atau tayangan halaman pada website/blog menurun banyak faktor penentunya. Jadi tidak bisa di simpul kan terjadi karena kesalahan pada cakupan indeks.
HapusSalam kenal Mas Nino.
BalasHapusBarusan saya dapat email seperti ini. Sempat khawatir dan bingung. Langsung saja googling dan ketemu artikel ini. Saya akan mengikuti saran anda untuk mengabaikannya. Apalagi saya emak-emak gaptek yang taunya cuma nulis doang. Lega rasanya sudah ketemu solusinya.
Makasih ya mas
Iya mbak Rina, salam perkenalan.
HapusDiabaikan nggak masalah, diikuti juga nggak masalah tutorial di atas mbak. Terbaik dari yg baik menurut saya adalah mengabaikannya.
Terima kasih kembali Mbak. :D
terima kasih banyak mas, dari kemarin sampai bingung gmn cara ngatasinya. ternyata pada akhirnya saran anda saya pakai tetep biarin, cuma website saya terakhir2 turun terus berarti bukan karena masalah ini, padahal januari kemarin sempat nangkring di page 1 nomer 1 dengan KW tukang taman surabaya...suwun mas!
BalasHapusOke sama2 om. Untuk masalah peringkat artikel berdasarkan kata kunci (keyword) di mesin pencari Google, faktor yang mempengaruhi ada banyak, tapi jgn khawatir, masalah peringkat halaman posting nggak ada hubungannya dengan cakupan indeks untuk /search kok.
BalasHapusbaru dapet email kayak gini gan, dan setelah membaca beberapa artikl terkait ini, sepertinya saya memilih mengabaikan pemberitahuannya saja, thanks infonya gan
BalasHapusOke gan, terima kasih kembali.
Hapusartikelnya kompor gas gan.
BalasHapusthks artikelnya.
Oke gan. Terima kasih. ð
Hapusgan saya mau tanya kenapa link ini ada peringatanya search/label/rumput%20lapangan%20putsal. apa perlu diperbaiki ? mohon pencerahanya
BalasHapusBiasanya peringatan itu ada di akun webmaster, dan menurut saya itu bukan suatu kesalahan, jadi tidak perlu perbaikan. Cukup contreng/tandai sebagai sudah diperbaiki. Semoga membantu. :)
Hapustapi ada lagi- ada lagi masalah label itu, apa harus ganti template gan? soalnya takut mengganggu seo blog
HapusIya mmg begitu, muncul lagi dalam rentang waktu tertentu. Gpp, itu aman dan tidak menggangu SEO website kok.
HapusAkhirnya saya pun mampir juga bang Nino.... biasanya kita bergurunya di grup IAPD, karena berhubung sy lagi ada kendala dengan webmaster, langsung searching, ketemu dech sama nih artikel.... Mantap bang Nino.... :D
BalasHapusHalo bang Husni, nggak sengaja nemuin blog ini di mesin pencarian Google ya? Hehe.. Semoga membantu permasalahannya dan terima kasih udh mau mampir. ð
Hapusini kesekian kalinya saya tidak sengaja ketemu blog ini lagi...... :D. maklum karena lagi masalah sama webmaster dengan istilah "dikualikan". itu maksudnya apa yang bang?
HapusMungkin maksudnya dikecualikan. Bagian mana yang dikecualikan?
Hapushallo gan, mohon infonya.
BalasHapussaya masih bingung dengan pengaturan robot txt. pada bagian "Sitemap: "https://www.namadomain.com/sitemap.xml" harus menggunakan https://www, https:// saja atau http://. atau antara ketiganya sama saja?.
terimakasih
Halo juga gan. Antara ke-tiga nya sama aja menurut saya, untuk menghindari kemungkinan negatif yang masih menjadi dugaan, sebaiknya disesuaikan dengan pengaturan situs.
HapusKalau situs sudah beralih ke https dan dengan www, saya sarankan https://www. Kurang lebih seperti itu gan, semoga membantu. Terima kasih. ð
Mantap bang nino..... sengaja saya coment disini soalnya lagi bingung nih dengan istilah "dikecualikan" di webmaster. karena hampir 1.3K yang dikecualikan.... :(
BalasHapusOke terima kasih udah mampir. Semoga udah nggak khawatir dan nggak bingung lagi. Hehe..
HapusHalo mas, kalau artikel blog saya tidak terdeteksi di search kenapa ya mas? Saya test pakai site:namaweb digoogle namun hanya keluar 4 page. Sebelumnya blog saya pakai web.id dan sudah terdaftar di webmaster sudah mulai ada pengindexan.
BalasHapusNamun setelah ganti domain TLD dan seting ulang di GWebmaster sudah 1 bulan gak keindex2 ya mas. Hanya 4 page aja (sitemap, about, discl, policy).
Untuk setingan robot.txt saya juga sudah menerapkan standar google seperti contoh diatas. Cuman cara yang kedua harus mengganti /search belum saya lakukan. Apakah harus saya ganti ataukah abaikan saja mas?
Saat saya cek di webmaster tools URL terdetex sitemap ada 45 tapi 41 URl "Dikecualikan". Mohon pencerahannya mas. Muaaff kalau panjang hehee
Halo juga mas Kobus, sya jawab satu per satu berdasarkan apa yg sya tau ya mas.
Hapus1. Cek sdh ke indeks atau belum sebaiknya di dalam alat webmaster atau search console lebih akurat.
2. Tidak perlu diganti, gunakan settings file robot txt standar atau default dari Blogger aja.
3. Dikecualikan karena apa, jika dikecualikan berdasarkan perintah default robot txt itu bukan masalah mas.
Semoga jawaban singkat dari saya bisa membantu. ð
Terima kasih min, berkat artikel ini saya bisa menyelesaikan masalah yang ada. Jangan lupa mampir juga di website ku min
BalasHapusOke terima kasih sob..
HapusMas mo tanya jika mssalah itu dibiarkan ada efeknya gak ya soalnya pernah baca artikelnya blogger senior katanya sih gak papa bener gak sih thanks maaf aku masih pemula
BalasHapusBetul, gpp kok. Dibagian subjudul paragraf pertama saya juga bilang begitu kok. :)
HapusMakasih banget infonya tambahan ilmu buat saya
HapusOke mantap, terima kasih kembali. ð
HapusBaru saja mendapat peringatan ini dari Google. Sudah berusaha diperbaiki namun masih gagal.
BalasHapusDiabaikan aja gpp kok sebetulnya. ð
Hapusartikelnya sangat bermanfaat sekali terima kasih admin
BalasHapusTerima kasih sob. ð
Hapus