Dua file kecil di root website berkomunikasi dengan robot mesin pencari. sitemap.xml adalah daftar halaman yang ingin Anda tunjukkan. robots.txt menentukan bagian mana yang tidak boleh dijelajahi. File pertama membantu; file kedua, jika salah tulis, bisa mengeluarkan seluruh website dari Google tanpa Anda sadari.
Yang akan Anda capai
- menemukan sitemap website dan mengirimkannya ke Google;
- memastikan
robots.txttidak memblokir yang tidak seharusnya; - membedakan
Disallowdannoindexserta tahu kapan memakai masing-masing.
Penjelasan singkat
| File | Fungsi | Yang TIDAK dilakukan |
|---|---|---|
sitemap.xml | mendaftar alamat halaman, beserta tanggal perubahan terakhir, agar Google menemukannya lebih cepat | tidak menjamin halaman masuk ke Google |
robots.txt | memberi tahu robot folder atau halaman mana yang tidak boleh dibaca | tidak menyembunyikan halaman: halaman yang diblokir tetap bisa muncul di hasil pencarian, tanpa deskripsi |
tag noindex | menyatakan bahwa halaman tidak boleh muncul di hasil pencarian | tidak berfungsi jika robots.txt memblokir halaman tersebut: Google tidak membacanya, jadi tidak melihat tag-nya |
Langkah-langkah
A. Menemukan sitemap
- WordPress: buka
https://domeniul-tau.ro/wp-sitemap.xml. WordPress membuatnya otomatis. Jika Anda memakai plugin SEO, plugin itu bisa menggantinya dengan sitemap miliknya, biasanya disitemap_index.xmlatausitemap.xml; alamat persisnya ada di pengaturan plugin. - Website buatan sendiri (tanpa CMS): biasanya
https://domeniul-tau.ro/sitemap.xml, jika pembuat website sudah memasangnya. Jika belum ada, dia bisa membuatkannya, atau Anda menulisnya sendiri mengikuti contoh di bawah. - Anda harus melihat daftar alamat. Pastikan itu alamat yang benar, dengan
https://dan versi yang Anda pilih, dengan atau tanpawww(lihat Redirect ke HTTPS dan www).
Sitemap minimal untuk website kecil:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url><loc>https://domeniul-tau.ro/</loc></url>
<url><loc>https://domeniul-tau.ro/servicii</loc></url>
<url><loc>https://domeniul-tau.ro/contact</loc></url>
</urlset>Unggah ke public_html, dari Enhance, tab “Files” (lihat Mengunggah website dengan File Manager).
B. Memeriksa robots.txt
- Buka
https://domeniul-tau.ro/robots.txt. robots.txtyang baik untuk website biasa:User-agent: * Disallow: Sitemap: https://domeniul-tau.ro/sitemap.xmlDisallow:yang kosong berarti “tidak ada yang dilarang”. Di WordPress, file yang dibuat WordPress hanya memblokir/wp-admin/, dan itu sudah benar.- Tanda bahaya:
Disallow: /, dengan garis miring. Artinya “jangan baca apa pun dari website ini”. Aturan ini dipasang saat website masih dibangun dan sering terlupa saat peluncuran. - Di WordPress, periksa juga Setelan » Membaca (Settings » Reading): kotak Halangi mesin pencari untuk mengindeks situs ini harus tidak dicentang pada website yang sudah diluncurkan.
C. Menyembunyikan halaman dari hasil pencarian dengan benar
Untuk halaman yang tidak boleh muncul di Google (halaman terima kasih, halaman uji), gunakan tag
noindexdi halaman tersebut, bukanrobots.txt:<meta name="robots" content="noindex">Di WordPress, plugin SEO punya opsi untuk ini di setiap halaman.
- Untuk area privat (panel, dokumen untuk pelanggan), baik
robots.txtmaupunnoindexbukan perlindungan: pasang password.
D. Mengirim sitemap ke Google
- Di Search Console, pada Peta situs, tambahkan alamat sitemap (lihat Google Search Console: menghubungkan website Anda ke Google).
Jika ada kendala
wp-sitemap.xmlmenampilkan 404. Plugin SEO sudah menggantinya dengan sitemap miliknya (cari alamatnya di pengaturan plugin), atau tautan permanen belum disimpan: di WordPress, Setelan » Tautan Permanen (Settings » Permalinks), klik Simpan Perubahan tanpa mengubah apa pun.- Search Console menyatakan “Diblokir oleh robots.txt”. Halaman tersebut terkena aturan
Disallow. Hapus aturannya jika halaman harus muncul di Google. - Search Console menyatakan “Dikecualikan oleh tag noindex”. Halaman memiliki
noindex. Jika bukan Anda yang memasangnya, periksa pengaturan indeks di WordPress dan plugin SEO. - Sitemap berisi alamat dengan
http://atau versiwwwyang lain. Perbaiki alamat website di WordPress, pada Setelan » Umum, serta pengaturan plugin SEO.