Cara Menambahkan Robots.txt di Sitepad

Jika kalian menggunakan Sitepad untuk membuat website dan ingin membatasi mesin pencari seperti Google, Bing, Yandex, dan sebagainya, maka kalian bisa menggunakan file bername robots.txt di sitepad, namun karena di dashboard Sitepad tidak ada opsi untuk robots.txt, lalu bagaimana cara mengedit atau menambahkan robots.txt di sitepad?

Sebenarnya secara default sitepad sudah menambahkan file robots.txt dengan konten seperti ini:

User-agent: *
Disallow: /site-admin/
Allow: /site-admin/admin-ajax.php

Namun seiring berkembang dan kustomisasi yang kalian lakukan pada website, mungkin kalian perlu mengubah isi robots.txt, yang caranya akan kita bahas disini.

Cara Menambahkan Robots.txt di Sitepad

1. Login ke web hosting yang kalian gunakan untuk menginstall Sitepad
   
2. Cari dan buka halaman File Manager
   
3. Di halaman file manager, buka folder instalasi Sitepad kalian. Biasanya berada di folder public_html
   
4. Tambahkan file bernama robots.txt di folder instalasi sitepad kalian
   
5. Edit dan tambahkan koten baru robot.txt kalian. Jika kalian bingung konten apa yang perlu kalian tambahkan, kalian bisa menggunakan Robots.txt Generator
   
6. Periksa file robots.txt kalian dengan mengunjungi https://namaweb.site/robots.txt