Untuk menyesuaikan atau mencegah halaman tertentu kalian dari index mesin pencari seperti Google, Bing, Yandex, Yahoo, dan sebagainya biasanya kalian akan menggunakan file bernama robots.txt. Jika kalian menggunakan CMS WordPress, maka kalian bisa dengan mudah melakukan edit robots.txt menggunakan Yoast SEO.
Yang Harus Kalian Miliki Sebelum Edit Robots.txt Menggunakan Yoast SEO
- Website dengan CMS WordPress, baik di localhost maupun web hosting
- Plugin Yoast SEO Aktif, baik versi gratis maupun berbayar
- Robots.txt Generator supaya bisa membuat file robots.txt dengan mudah (bisa menggunakan tools ini: seoptimizer)
Cara Edit Robots.txt Menggunakan Yoast SEO
- Pertama kalian buat dulu kode atau file robots.txt menggunakan tools online, disini menggunakan tools seoptimizer
- Setelah mengisi semua kolom yang ada di halaman seoptimizer, klik tombol Create Robots.txt, dan konten robots.txt akan ditampilkan di textarea dibawahnya
- Setelah membuat robots.txt, selanjutnya kalian perlu membuka tab baru di browser kalian, dan buka halaman dashboard admin WordPress. Defaultnya https://namaweb.site/wp-admin
- Selanjutnya buka menu Yoast SEO > Tools
- Di halaman Tools, buka halaman File editor untuk mulai mengedit file robots,txt
- Jika kalian belum pernah membuat file robots.txt, maka kalian perlu membuatnya dulu dengan cara klik tombol Create robots.txt File
- Setelah berhasil membuat file robots.txt, buka kembali tab robots.txt generator sebelumnya, kemudian salin semua isi robots.txt yang sudah kalian buat
- Setelah disalin, kembali ke tab WordPress kalian, dan paste/tempel konten robots.txt di kolom yang sudah tersedia, kemudian klik tombol Save Changes to robots.txt
- Terakhir, setelah kalian menyimpan perubahan, coba periksa file robots.txt kalian melalui https://namaweb.site/robots.txt
- Apabila kalian ingin memastikannya lagi, maka kalian bisa mencoba Robots.txt checker milik Google disini https://www.google.com/webmasters/tools/robots-testing-tool
KOMENTAR
Memuat...