Mengijinkan adsense buat merayapi situs
Jika Anda memodifikasi file robots.txt situs untuk melarang perayap AdSense untuk mengindeks laman Anda, maka kami tidak akan dapat menayangkan iklan Google di laman ini.
Untuk memperbarui file robots.Txt agar mengizinkan akses perayap ke halaman Anda, hapus dua baris teks berikut dari file robots.Txt:
User-agent: Mediapartners-Google
Disallow: / Perubahan ini akan memungkinkan perayap kami mengindeks konten situs Anda & menyediakan iklan Google. Perhatikan bahwa setiap perubahan yg Anda lakukan pada file robots.Txt mungkin nir tecermin pada indeks kami, hingga perayap kami mencoba mengunjungi situs Anda lagi.
Sumber = https://support.google.com/adsense/answer/10532
Mengenal robot perayapan adsense
Perayap, dikenal juga dengan spider atau bot, adalah perangkat lunak yang digunakan Google untuk memproses dan mengindeks konten laman web. Perayap AdSense mengunjungi situs Anda untuk mengetahui kontennya guna menyediakan iklan yang relevan.
Berikut beberapa liputan penting yg perlu Anda ketahui mengenai perayap AdSense:
Laporan perayap diperbarui setiap minggu.
Perayapan dijalankan secara otomatis dan kami tidak dapat memenuhi permintaan perayapan yang lebih sering.
Perayap AdSense tidak sesuai memakai perayap Google.
Kedua perayap terpisah, tetapi memakai cache yang sama. Kami melakukan ini untuk mencegah kedua perayap meminta laman yang sama, sehingga membantu penayang menghemat bandwidth. Sama halnya, perayap Search Console mereka juga terpisah.
Mengatasi perkara perayapan AdSense tidak akan menyelesaikan kasus perayapan Google.
Mengatasi masalah yg tercantum dalam halaman Akses perayap nir akan berpengaruh pada penempatan Anda dalam hasil penelusuran Google.
Indeks perayap dari URL.
Perayap kami akan mengakses “Site.Com” dan “www.Site.Com” secara terpisah. Namun, perayap kami tidak akan menghitung Site.Com dan Site.Com/#anchor secara terpisah.
Perayap nir akan mengakses laman atau direktori yang dihentikan sang file robots.Txt.
Kedua perayap Mitra Media Google dan AdSense menghargai file robots.txt Anda. Jika file robot.txt Anda melarang akses ke laman atau direktori tertentu, laman atau direktori tersebut tidak akan dirayapi.
Perlu pada ingat bahwa bila Anda menayangkan iklan dalam halaman yg dijadikan robot menggunakan baris User-agent: *, perayap AdSense akan permanen merayapi halaman tersebut. Untuk mencegah perayap AdSense mengakses laman, Anda wajib mencantumkan
User-agent: Mediapartners-Google dalam arsip robots.Txt.
Perayap akan mencoba mengakses URL hanya bila tag kami diterapkan.
Hanya laman yang menampilkan iklan Google yang harus mengirimkan permintaan ke sistem kami dan dirayapi.
Perayap akan mencoba mengakses page yg mengalihkan.
Bila Anda memiliki “laman orisinal” yang mengarahkan ke laman lain, perayap kami harus mengakses laman orisinal untuk mengetahui apakah alihan menggantikannya. Karenanya, kunjungan perayap kami ke laman orisinal akan muncul di log akses Anda.
Merayapi ulang situs
Saat ini, kami tidak dapat mengontrol seberapa sering perayap kami mengindeks konten situs Anda. Perayapan dilakukan otomatis oleh bot kami. Jika Anda membuat perubahan pada laman, perubahan itu mungkin memerlukan hingga 1-2 minggu agar tercermin dalam indeks kami.
Penyebab robot crawl adsense error
Memastikan situs Anda dapat di-crawl sepenuhnya bisa membantu Anda meningkatkan pendapatan dari konten. Untuk memastikan Anda telah mengoptimalkan situs untuk di-crawl, pertimbangkan semua masalah di bawah ini yang mungkin memengaruhi hal tersebut.
Memberikan akses ke crawler Google pada robots.Txt
Untuk memastikan kami dapat meng-crawl situs Anda, pastikan Anda telah memberikan akses ke crawler Google. Ini berarti mengaktifkan crawler Google di robots.txt Anda. Untuk petunjuk cara melakukannya, lihat: Mengijinkan adsense buat merayapi situs [ paragraf ke 2 ]
Menyediakan akses ke seluruh konten yang hanya bisa diakses memakai login
Jika memiliki konten yang hanya dapat diakses dengan login, pastikan Anda telah menyiapkan login crawler.
Baca jua : Cara aman setting robots txt
Jika Anda belum memberikan login untuk crawler kami, kemungkinan crawler dialihkan ke halaman login, yang dapat mengakibatkan pelanggaran kebijakan “Tidak ada konten”, atau crawler kami menerima error 401 (Tidak Sah) atau 407 (Autentikasi Proxy Diperlukan), sehingga tidak dapat meng-crawl konten.
Halaman nir ditemukan
Jika URL yang dikirim ke Google mengarah ke halaman yang tidak ada (atau tidak lagi tersedia) di situs, atau menghasilkan error 404 (Tidak Ditemukan), crawler Google tidak akan berhasil meng-crawl konten apa pun.
Mengganti URL
Jika Anda mengganti URL halaman dalam tag iklan, crawler Google mungkin tidak dapat mengambil konten halaman yang meminta iklan, terutama jika URL halaman yang ditimpa memiliki format yang salah.
Secara umum, URL halaman yg Anda kirim ke Google dalam permintaan iklan harus sinkron memakai URL sebenarnya berdasarkan laman yang Anda monetisasi, buat memastikan liputan kontekstual yang paripurna sedang ditindaklanjuti sang Google.
Masalah server nama
Jika server nama untuk domain atau subdomain Anda tidak mengarahkan crawler kami ke konten Anda dengan benar, atau memiliki batasan terkait lokasi asal permintaan, crawler kami mungkin tidak dapat menemukan konten Anda.
Menerapkan pengalihan
Jika situs Anda memiliki pengalihan, ada risiko bahwa crawler kami dapat mengalami masalah untuk menindaklanjutinya. Misalnya, jika ada banyak pengalihan, dan pengalihan perantara gagal, atau jika parameter penting seperti cookie dihapus selama pengalihan, hal tersebut dapat menurunkan kualitas crawling.
Pertimbangkan buat meminimalkan penggunaan pengalihan pada page dengan kode iklan, dan memastikan pengalihan diterapkan menggunakan sahih.
Masalah hosting
Terkadang saat crawler Google mencoba mengakses konten situs, server situs tidak dapat meresponsnya secara tepat waktu. Hal ini dapat terjadi karena server sedang tidak aktif, lambat, atau kelebihan beban akibat permintaan.
Sebaiknya pastikan situs Anda dihosting pada server yg tangguh atau sang penyedia layanan yg andal.
Batasan geografis, jaringan, atau IP
Beberapa situs mungkin menerapkan batasan yang membatasi geografi atau rentang IP yang dapat mengakses konten mereka, atau memiliki konten yang dihosting di jaringan atau rentang IP yang dibatasi (misalnya, 127.0.0.1).
Jika batasan ini menyebabkan crawler Google tidak bisa mengakses semua halaman Anda, sebaiknya hapus batasan tadi atau jadikan konten Anda mampu diakses sang publik supaya URL sanggup di-crawl.
Konten yang baru dipublikasikan
Saat memublikasikan halaman baru, Anda dapat mengajukan permintaan iklan sebelum crawler Google meng-crawl konten. Contoh situs yang memposting banyak konten baru mencakup situs dengan konten buatan pengguna, artikel berita, inventaris produk yang besar, atau situs cuaca.
Biasanya selesainya permintaan iklan diajukan dalam URL baru, konten akan pada-crawl dalam beberapa mnt. Tetapi, selama beberapa mnt awal ini, lantaran konten Anda belum di-crawl, Anda mungkin mendapat volume iklan yg rendah.
Halaman yang dipersonalisasi (memakai parameter URL atau jalur URL yang didapatkan secara dinamis)
Beberapa situs menyertakan parameter tambahan di URL mereka yang menunjukkan pengguna yang login (misalnya, ID Sesi), atau informasi lain yang mungkin unik untuk setiap kunjungan. Jika ini terjadi, crawler Google mungkin memperlakukan URL sebagai halaman baru, meskipun kontennya sama.
Hal ini dapat mengakibatkan jeda beberapa menit antara permintaan iklan pertama dalam laman
Umumnya, jika konten pada halaman tidak berubah, pertimbangkan untuk menghapus parameter dari URL dan mencari cara lain agar parameter dari URL tersebut tetap ada. Memiliki struktur URL yang lebih sederhana membantu menjadikan situs Anda mudah di-crawl.
Menggunakan data POST
Jika situs Anda mengirimkan data POST beserta URL-nya (misalnya, mengirimkan data formulir melalui permintaan POST), situs mungkin menolak permintaan yang tidak disertai data POST.
Perhatikan bahwa karena crawler Google tidak akan menyediakan data POST apa pun, penyiapan seperti itu akan mencegah crawler mengakses halaman Anda. Jika konten halaman ditentukan oleh data yang dimasukkan pengguna ke formulir, sebaiknya gunakan permintaan GET.
Mengatasi penayangan adsense diblokir robots.txt
Jika situs Anda menggunakan file robots.txt, perayap AdSense dapat diblokir agar tidak merayapi laman web Anda. Karenanya, kami mungkin tidak dapat melayani Anda dengan iklan yang paling relevan berdasarkan konten situs web Anda.
Cek robots.txt anda dengan format www.helmykediri.com/robots.txt
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.helmykediri.com/sitemap.xml Pada robots txt 2 baris paling atas memungkinkan bot AdSense (Mediapartners-Google) untuk merayapi konten situs Anda dan memberi Anda iklan Google yang paling relevan untuk halaman Anda.
User-agent: Mediapartners-Google
Disallow: Sebenarnya, ini tidak ada gunanya. Anda memberi tahu bot Mediapartners-Google bahwa ia di izinkan untuk merayapi seluruh situs, dan kemudian Anda menyatakan bahwa setiap bot di izinkan untuk melakukannya – yang jelas juga mencakup Mediapartners-Google. Jadi, sebaiknya Anda hanya menyatakan ini:
User-agent: *
Disallow:
Saya melihat di Blogger menambahkan 1 baris Mediapartners-Google secara default, mungkin karena mereka tidak memiliki batasan yang mungkin berlaku untuk yang lain bot di baris selanjutnya membatasi pergerakan bot Mediapartners-Google.
Silahkan hapus 2 baris dari pengaturan robots.txt anda kemudian simpan
User-agent: Mediapartners-Google
Disallow:
No Comments