Support Me Subscribe now!

You cannot copy content of this page

Penjelasan Lengkap Robot.txt untuk Blogger

Menjelaskan robot.txt file secara detail seperti apa itu robot.txt file, cara membuat atau membuatnya, lalu bagaimana cara mengirimkannya.

Ingin mengontrol halaman mana dari situs web Anda yang harus di-crawl dan mana yang tidak ada di blogger? Ini hanya mungkin dengan robot.txt file situs web Anda. Robot.txt adalah file halaman yang sederhana namun sangat penting yang mengontrol akses perayapan bot atau crawler.

Dalam tutorial Blogger ini, saya akan menjelaskan robot.txt file secara detail seperti apa itu robot.txt file, cara membuat atau membuatnya, lalu bagaimana cara mengirimkannya. Setelah tutorial ini, Anda tidak memerlukan robot.txt generator untuk menghasilkan robot Anda.txt file untuk situs web blogger Anda.

Penjelasan Lengkap Robot.txt untuk Blogger
Penjelasan Lengkap Robot.txt untuk Blogger

Jadi pertama-tama kita perlu tahu apa itu robot.txt file?

Apa itu file Robot.txt

Robot.txt adalah file teks sederhana (.txt) yang terletak di direktori root situs web Anda dan memberi tahu perayap mesin pencari atau bot halaman atau file mana yang Anda inginkan (atau tidak ingin) dirayapi. Anda dapat memeriksa robot situs web Anda.txt file hanya dengan menambahkan /robots.txt setelah URL situs web Anda seperti ini:

Ini website opodab: https://www.opodab.com

Kemudian file robot.txt saya akan berada: https://opodab.com/robots.txt

Anda Dapat Mengizinkan atau melarang akses Crawling yang berbeda untuk bot tertentu seperti Googlebot, yahoo bot, dll. Jadi Anda mungkin penasaran sekarang tentang apa yang terjadi jika saya tidak menggunakan file robot.txt di situs web saya? Tetapi apakah itu benar-benar file yang diperlukan untuk digunakan atau apa yang terjadi jika kita tidak menggunakan file robot.txt di situs web kita?

Apakah file Robot.txt diperlukan?

Jawaban ini hanya tergantung pada kebutuhan dan kebutuhan Anda, tetapi robot.txt bukanlah file yang harus dimiliki untuk situs web Anda. Bingung kapan kita harus menggunakan robot.txt file dan kapan kita tidak membutuhkan robot.txt file terutama jika situs web kita di-host di platform blogger. Mari kita bersihkan kebingungan Anda…

Kapan kita harus memiliki robot.txt file?

  • Anda ingin memblokir halaman dan file tertentu dari mesin pencari.
  • Anda ingin bahwa hanya bot tertentu yang dapat mengakses atau merayapi situs web Anda.

Kapan kita tidak membutuhkan robot.txt file?

  • Ketika Anda ingin mengindeks semua yang tersedia di situs web Anda.
  • Anda tidak ingin memblokir halaman atau file apa pun yang diblokir dari mesin pencari.

Sekarang mari kita beralih ke cara membuat file robot.txt jika Anda membutuhkannya.

Bagaimana cara membuat file Robot.txt untuk blogger?

Membuat robot.txt file sangat mudah tetapi banyak blogger menggunakan robot.txt generator untuk menghasilkan robot.txt file untuk situs web blogger. Tetapi saya akan menunjukkan kepada Anda bagaimana Anda dapat membuat file robot.txt untuk situs web Anda sendiri.

Jadi Pertama-tama lihat format file robot.txt.

User-agent: *
Disallow: /
Allow: /

Ini adalah format default dari file robot.txt apa pun dan Anda perlu menambahkan aturan untuk crawler dengan cara yang sama. Di sini, User-agent mengacu pada bot tertentu, dan disallow mengacu pada konten yang ingin kami blokir agar tidak di-crawl.

Tanda bintang (*) Mengacu pada semua bot dan crawler.

Sebagai Contoh:

Jika ingin memblokir halaman tentang dan kontak untuk Googlebot, Anda akan menggunakan:

User-agent: Googlebot
Disallow: /about
Disallow: /contact
Allow: /

Mari kita punya satu contoh lagi:

Misalkan Anda ingin memblokir arsip label dari pengindeksan tetapi Anda ingin mengizinkan arsip label tertentu untuk diindeks sehingga robot Anda.txt akan seperti ini: (Misalkan Anda hanya ingin mengindeks 1 label bernama API)

User-agent: *
Disallow: /search/label
Allow: /search/label/API

Saya harap Anda memahaminya

Mari kita lanjutakan bagian selanjutnya “Apa robot yang sempurna.txt file untuk situs web blogger

Robots.Txt Sempurna untuk Blogge

Di Blogger Kami tidak memiliki halaman login, detail pengguna, dan halaman dasbor seperti WP dan lainnya untuk diblokir dari crawler. Tetapi kita harus memblokir kueri penelusuran dari crawler. Seperti jika seseorang mencari kata kunci "Median" di kotak pencarian situs web kami sehingga blogger akan menghasilkan jenis URL ini: https://www.website.com/search?q=median

Tetapi kami tidak ingin mengindeks jenis tautan ini di mesin pencari. Jadi setelah melarang tautan kueri pencarian ini ke Robot Anda.txt akan terlihat seperti ini:

User-agent: *
Disallow: /search?q=
Allow: /
Sitemap: https://www.yourwebsite.com/sitemap.xml
Sitemap: https://www.yourwebsite.com/sitemap-pages.xml
Sitemap: https://www.yourwebsite.com/atom.xml?redirect=false&start-index=1&max-results=500

Ganti www.yourwebsite.com dengan nama website Anda.

Cukup Salin Kode ini dan tempelkan ke bagian robot.txt Anda. Untuk membuka robot.txt bagian: -

  • Buka Dasbor Blogger.
  • Klik pengaturan > gulir ke bawah.
  • Temukan Robots.Txt Kustom dan aktifkan.
  • Tempelkan kode di atas di bagian itu.

Tautan dan sumber daya penting

Robots.txt Testing Tool by Google

Robots.txt Google Developer blog

Kesimpulan

Hari ini saya membagikan panduan lengkap untuk membuat robot.txt untuk mengunggahnya di situs web Anda untuk blogger. Saya harap Anda menemukan ini bermanfaat. Berikan suka dan bagikan dengan teman blogger Anda karena-

Kepuasan Besar Berasal dari berbagi dengan orang lain.

Ciao,
OpODab,

إرسال تعليق

Cookie Consent
We serve cookies on this site to analyze traffic, remember your preferences, and optimize your experience.
Oops!
It seems there is something wrong with your internet connection. Please connect to the internet and start browsing again.
AdBlock Detected!
We have detected that you are using adblocking plugin in your browser.
The revenue we earn by the advertisements is used to manage this website, we request you to whitelist our website in your adblocking plugin.
Site is Blocked
Sorry! This site is not available in your country.