CaraGokil.Com – Jika anda adalah blogger pemula atau baru membuat blog pasti akan mencari tahu apa itu robots.txt?, apa fungsinya dan bagaimana cara membuatnya agar SEO. Dan artikel ini kami buat khusus untuk para pemula agar bisa sedikit membantu.
Apa itu Robots.txt?
Robots.txt disebut juga dengan protokol pengecualian robot (protokol robots.txt), robots.txt ini sangat penting didalam sebuah website atau blog karena fungsinya yang sangat super. Dengan sebuah robots.txt ini kita bisa menentukan mana saja bagian web / blog yang boleh di crawl dan di index oleh robot pencarian seperti google, bing dll.
Settingan robots.txt di blog
 |
| Cara Setting robot.txt |
Login ke akun Blogger / blogspot
Klik menu Settings >> Shearch Preferences >> Crawlers and Indexing >> Custom Robots.txt >> Edit >> Yes ( Masukan Script )
Simpan dengan klik Save Changes
Settingan Robots.txt Default
Kalian bisa pakai setiingan robots.txt yang aman dengan menggunakan script ini. Berikut adalah settingan robots.txt default dari blogger.
| User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / |
Keterangan:
User-agent: Mediapartner-Google ( adalah tanda jika blog kita menggunakan partner Adsense )
Disallow: ( Tidak diijinkan / tidak dirayap)
User-agent: * (Semua robot mesin pencari )
Disallow: /search (tidak mengijinkan perayapan setelah url /search ... atau url/serach/label )
Allow: / ( Yang boleh dirayapi oleh mesin pencari google, bing dll)
Sitemap: https://url.blogspot.com/sitemap.xml(Sitemap / peta situs blog kalian)
Kesimpulan : semua ulr yang ada di blog kalian akan dirayapi google seperti sitemap, category dll kecuali halaman search.
Terimakasih telah berkunjung ke situs CaraGokil dengan artikel tentang Cara Terbaru Setting robot.txt. Semoga materi yang kami bagikan bisa membantu dan bermanfaat serta menambah wawasan kita semua. Situs CaraGokil.Com hanya memberikan informasi untuk menambah wawasan saja dan tidak bertujuan untuk merugikan pihak lain, dan jika ada pertanyaan bisa langsung memberikan komentar.
Posting Komentar