Mikaylabinar.com–Page cannot be reached this could be because the page is unavailable or blocked by robots.txt. Pesan error ini cukup merepotkan bagi saya dan sempat panik karena bingung bagaimana cara mengatasinya
Ketika pesan ini muncul, sebenarnya tidak ada kendala dengan akses situs saya dan masih bisa mengaksesnya melalui browser.
Table of Contents
Namun, yang menjadi permasalahan dan ini adalah masalah berat yakni situs saya tersebut tidak akan bisa di crawling oleh google dikarenakan diblok oleh robots.txt
Dampak dari Error Page Cannot Be Reached blocked by Robots.txt
Jika diblok dan tidak dapat di index oleh mesin perayap google maka tinggal dunia menjadi kiamat dikarenakan situs anda akan anjlok rankingnya di mesin pencarian dan tentunya ini akan berdampak pada pendapatan anda dari adsense dan juga tinggal mimpi untuk berada di halaman pertama mesin pencarian google.
Sedikit sharing tentang awal mula saya mendapatkan pesan tersebut dan situs saya tidak terindeks di google console yang tentunya juga tidak akan di indeks di mesin pencarian.
Pada awalnya saya membuat robots.txt dengan tujuan utama untuk memperbaiki tampilan situs agar menjadi mobile friendly karena terdapat beberapa pesan error yang diakibatkan blokir dari robots.txt ini
Lalu, saya memperbaiki robots.txt berdasarkan informasi yang saya peroleh dari membaca situs-situs lain. Alass…bukannya tambah benar malah tambah kacau, tampilan situs saya berantakan bahkan sulit untuk diakses secara proporsional dan semakin banyak ditemukan deretan pesan error dari robots.txt ini
Bagaimana Cara Mengatasi Error Page Cannot Be Reached blocked by Robots.txt
Pada dasarnya robots.txt ini sudah ada dalam situs kita namun tidak kelihatan, oleh karenanya cara yang mudah untuk mengubahnya dengan membuat robots.txt melalui notepad kemudian tulis scripts apa yang dinginkan, sebagai cotoh:
Setelah menulis skripnya di notepad, simpan dan beri nama dengan robots.txt. hasilnya anda upload ke roots website anda melalui cpanel. Adapun langkahnya adalah sebagai berikut:
1. Buka cpanel situs anda
2. Pilih file manager
3. Lalu letakkan robots.txt ini di dalamnya
Dalam beberapa kasus yang penah saya jumpai, selain di file manager robots.txt ini juga perlu di upload di Public_html
Setelah melakukan perubahan. Jangan lupa untuk mengeceknya dengan cara ketik url situs anda, misalnya: http://mikaylabinar.com/robots.txt apakah isi skripnya sudah sesuai dengan yang anda isikan ?
Jika sudah maka langkah selanjutnya mengetes situs anda di mobile friendly test untuk mengetahui situs anda sudah mobile friendly atau belum
Lalu, bagaimana caranya jika kita ingin mengubah isi dari robots.txt tersebut?
Caranya gampang, cari filenya melalui cpanel dan ubah isinya lalu simpan perubahannya.
Berdasarkan pengalaman yang pernah saya tangani, kadang robots.txt yang pernah diupdate ternyata tidak berdampak apa-apa hal ini dikarenakan google belum membacanya sehingga masih terbaca robots.txt versi sebelumnya oleh karenanya anda perlu mensubmit robots.txt yang baru di update tersebut ke google agar google mengetahui updatenya. Caranya sebagai berikut:
Cara Submit Robot.txt ke Google
1. Pertama yang perlu anda lakukan adalah buka robots.txt tester
2. Klik tombol submit
3. Kemudian muncul kota dialog sebagai berikut:
Pilih Tombol Download jika anda membutuhkan backup dari robots.txt yang telah anda buat, klik Uploaded version untuk mengetahui robots.txt yang ada dalam situs anda sudah terupdate atau belum. Jika belum, maka tekan tombol submit pada nomor 3 untuk meminta google agar mengupdatenya
Setelah itu cek lagi robots.txt anda apakah sudah terupdate atau belum dengan cara ketik pada browser http://mikaylabinar.com/robots.txt atau anda juga bisa mengeceknya melalui mobile-friendly test
Demikian cara mengatasi pesan Page cannot be reached this could be because the page is unavailable or blocked by robots.txt. Semoga artikel ini bisa membantu permasalahan anda.
