K A N G A M E T

Loading

Selamat Datang di Blog ini . Postingan saya kali ini akan menjelaskan mengenai apa itu robot txt dan bagaimana cara mengoptimalkannya untuk SEO , beberapa postingan yang pernah saya publikasikan sering kali menyebut istilah robot.txt khusus namun saya tidak pernah menjelaskan maksudnya karena saya anggap pembaca sudah memahami apa itu robot.txt

Ternyata saya keliru , beberapa pembaca blog saya lebih tertarik buat menanyakan arti menurut istilah spesifik contohnya apa itu robot.Txt ? Tag tajuk robot spesifik ? Apasih crawl budget ? Dll artikel yang susah payah aku tulis ternyata tidak mampu dipahami sang pembaca karena penggunaan istilah-istilah yg memang belum dimengerti oleh blogger umum

Pada dasarnya robot txt hanyalah sebuah rule / anggaran yg mengatur bagaimana cara bot google merayapi situs anda

Untuk mengetahui struktur robots txt yang digunakan oleh suatu website gunakan format berikut https://www.helmykediri.com/robots.txt , ganti link blog saya dengan link blog anda sendiri

Secara default robot txt situs anda akan melarang google bot buat merayapi laman pencarian karena dipercaya menghabiskan crawl budget dimana efeknya menciptakan otoritas laman yang diunggulkan menjadi melemah

Sekali lagi saya menyebutkan istilah aneh yaitu crawl budget , jika anda penasaran baca saja artikel yang menjelaskan lebih lanjut mengenai apa itu crawl budget ?

Karena pengaturan robot txt secara default mengijinkan perayapan semua laman kecuali pencarian , label, file, maka tak heran bila artikel blog anda mampu terindeks oleh mesin pencari google baik konten primer dimenu entri juga konten dihalaman nir aktif hanya saja anda tidak akan melihat indeks buat halaman pencarian pada search engine google khususnya bagi pengguna blogger

Fungsi spesifik menurut penggunaan robot txt merupakan buat membatasi perayapan google bot seperti pembatasan index dihalaman file , dihalaman pencarian atau tidak mengijinkan index gambar karena anda risi jika gambar berhak cipta yg anda gunakan pada keliru satu konten menerima keluhan DMCA maka situs anda akan menerima pinalti dari google

Dengan mengatur robot txt anda sanggup memfokuskan indeks artikel dan menaikkan ranking halaman hanya pada konten primer yg dikehendaki saja, menggunakan mengabaikan halaman kurang penting berarti kuota crawl budget anda lebih banyak

Apa untungnya jika crawl budget lebih banyak ? Ada poly diantaranya

  • Halaman yang diunggulkan lebih cepat terangkat posisinya
  • Konten baru lebih cepat terindeks
  • Konten lama yang baru saja diedit perubahannya segera ditambahkan ke google
  • Menjadikan result blog anda lebih rapi , ketika anda ingin mengecek konten disebuah web biasanya anda menggunakan operator pencarian site:helmykediri.com nah jika anda tidak mencekal halaman arsip maka semua arsip blog setiap minggu akan muncul dihasil penelusuran
  • Otoritas halaman meningkat karena rate crawl tidak terbagi terlalu banyak

Lantaran saking sensitifnya robot txt , para pemilik web disarankan buat mengerti terlebih dahulu sebelum mengaktifkan pengaturan robot txt spesifik diwebsite mereka

Contoh penggunanan robot txt

Meskipun disetelan default blogger terlihat bahwa pengaturan robot txt tidak aktif , sebenarnya google bot sendiri telah mempunyai pengaturan bawaan yg mengatur bagaimana cara mereka merayapi sebuah laman

Pengaturan robot txt default bisa anda lihat langsung dihalaman webmaster search console dibagian menu perayapan > pengujian robot txt

Disana anda akan melihat bagaimana aturan default dari robot txt google , sebenarnya anda juga bisa menguji 7 bot google lainnya seperti Googlebot, Googlebot-News, Googlebot-Image, Googlebot-Video, Googlebot-Mobile, Mediapartners-Google, Adsbot-Google.

Jika saat pengujian muncul keterangan di ijinkan berarti bot google dapat merayapi blog anda dengan aman tapi jika statusnya dicekal maka bot google tidak akan bisa merayapi halaman itu . Ketika anda ingin mengaktifkan robot txt diblogger silahkan copy paste dulu pengaturan anda di google webmaster search console untuk memastikan bahwa  bot google masih memiliki ijin untuk mengakses situs anda

Penggunaan robot txt sangat berpengaruh terhadap SEO , sedikit kesalahan dari penerapan aturan robot txt dapat membuat situs anda hilang dari halaman penelusuran google

Sebagai contoh , ini adalah kode robot.txt default

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://www.helmykediri.com/sitemap.xml

Nah sekarang pertanyaannya: bagaimana yang dimaksud robot.txt khusus ? robot.txt khusus adalah robot txt yang sudah diberikan sentuhan tambahan oleh pemilik situs sehingga google bot hanya mengindeks atau tidak mengindeks permalink halaman yang sudah ditetapkan oleh pemilik situs sebelumnya

Pemilik situs memiliki kewenangan untuk mengatur perilaku google bot , pastikan anda memahami fungsi setiap baris dari isi robot txt yang akan anda gunakan

Dalam contoh kasus didalam website anda terdapat halaman yang jika terindeks digoogle dikhawatirkan memicu gugatan DMCA dari pihak yang merasa dirugikan , misal saya memposting tools zombie hunter yang saya beli secara gratis , suatu ketika pengembang tools tersebut menyadari produknya telah dibajak dan mengajukan gugatan ke DMCA

Jika gugatan mereka diterima efeknya konten tersebut bisa saja dihapus oleh google jika anda pengguna platform blogger , sanksi lain seperti deindex dalam kasus ini yang terkena dampak bukan hanya konten yang dimaksud namun beberapa konten lain juga bisa mengalami deindex sampai penurunan peringkat . SEO situs anda akan menurun karena sebuah pelanggaran efeknya lalu lintas blog juga turun

Anda hanya mentargetkan halaman yang share tools blog zombie gratis untuk dikunjungi visitor yang berasal dari forum atau group yang anda ikuti saja , untuk itu anda bisa mengatur robot txt seperti ini

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Disallow: /www.helmykediri.com/p/zombi-hunter-freemium.html

Disallow: /www.helmykediri.com/zombie-gratis.html

Allow: /

Sitemap: https://www.helmykediri.com/sitemap.xml

Contoh lainnya adalah ketika anda menambahkan label diblog yang mengandung unsur pembajakan maka anda juga bisa menyembunyikan postingan dengan label tertentu agar tidak di indeks oleh google bot

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /software

Allow: /

Sitemap: https://www.helmykediri.com/sitemap.xml

Dengan menambahkan fungsi disallow didepan URL maka google bot tidak akan merayapi konten yang sudah anda tandai sebagai zona terlarang untuk di indeks

Jadi secara default pengaturan robot txt didashboard blogger memang tidak aktif , tapi google bot sudah memiliki robot.txt default

Pemilik situs bisa memodifikasi aturan robot txt sesuka hati mereka asalkan mereka paham , mengaktifkan pengaturan robot txt khusus sifatnya hanyalah optional bagi pengguna berpengalaman

Jadi bagi yang masih abu-abu terkait robot txt sebaiknya belajar dulu dan melakukan testing dialat pengujian robot txt tester yang terdapat di layanan google webmaster search console

Ini contoh ketika saya melakukan pengujian robot txt di GSC

robot.txt dan cara mengaturnya dibloggervv

Jika anda sudah mantap ingin mengaktifkan pengaturan robot txt diblogger , anda juga harus menambahkannya di google search console buka fitur robots.txt tester, tekan tombol submit untuk mengupdate / upload robots.txt. Biasanya akan muncul pop-up yang berisi 3 pilihan, silahkan pilih submit untuk pembaharuan robots.txt, setelah selesai lakukan refresh pada search console untuk melihat hasilnya

Sekali lagi caranya adalah dengan mengaktifkan robot txt didashboard blogger tambahkan aturan robot txt yang anda buat disana , kemudian kita update dihalaman GSC menu robot txt tester , paste kode robot txt yang baru kemudian klik submit dan pilih nomor 3

Jika sukses muncul notifikasiSuccess! Reload the Tester page in a minute to confirm the timestamp.

robot.txt dan cara mengaturnya dibloggerv

Setelah itu scroll kebawah saatnya menguji robot txt situs anda dengan menambahkan namadomain.com/robots.txt pastikan statusnya allowed

robot.txt dan cara mengaturnya diblogger

Demikian postingan mengenai penjelasan robot txt khusus diblogger , banyak orang membandingkan kenapa robot txt disitus sebelah sangat panjang sementara disitus yang lain tidak menerapkan aturan robot txt padahal situsnya ramai ? setiap webmaster memiliki strateginya masing-masing apa yang menurut anda baik belum tentu menurut mereka baik juga bisa jadi malah sebaliknya oleh karena itu saya katakan bahwa anda harus bereksperiment sendiri untuk menemukan pola yang tepat untuk blog anda sendiri, jadikan situs lain sifatnya hanyalah sebagai referensi

No Comments

Leave a Comment