Checklist SEO Technical: Memastikan Website Dapat Di-crawl dan Di-index

Seiring dengan perjalanan bot pencarian melalui website Anda, mereka mulai mengindeks halaman berdasarkan topik dan relevansinya terhadap topik tersebut. Setelah diindeks, halaman Anda memenuhi syarat untuk muncul dalam hasil pencarian search engine (SERP). Berikut adalah beberapa faktor yang dapat membantu halaman Anda diindeks.

Checklist Indexability

  1. Bebaskan crawl bot dari halaman akses.
    • Pastikan bot dikirim ke halaman yang Anda inginkan dan dapat melakukan crawl dengan bebas. Gunakan tools pengujian robots.txt dari Google untuk mendapatkan daftar halaman yang tidak diizinkan dan gunakan alat Pemeriksa Google Search Console untuk mengetahui penyebab halaman diblokir.
  2. Hapus duplicate content.
    • Duplicate content dapat membingungkan bot pencarian dan berdampak negatif pada indexabilitas Anda. Gunakan URL cannonical untuk menetapkan halaman pilihan Anda.
  3. Audit redirects Anda.
    • Verifikasi bahwa semua redirects Anda diatur dengan baik. Redirect loops, URL rusak, atau — worse — improper redirects dapat menyebabkan masalah saat website Anda diindeks. Untuk menghindari ini, lakukan audit semua redirects secara teratur.
  4. Periksa responsifitas mobile website Anda.
    • Jika website Anda belum responsif untuk perangkat mobile, Anda jauh tertinggal. Sejak 2016, Google mulai mengindeks website mobile terlebih dahulu, memprioritaskan pengalaman mobile daripada desktop. Untuk mengikuti tren penting ini, gunakan tes keberlanjutan mobile Google untuk mengetahui di mana website Anda perlu ditingkatkan.
  5. Perbaiki kesalahan HTTP.
    • Kesalahan HTTP dapat menghambat kinerja bot pencarian dengan memblokir akses ke konten penting di website Anda. Oleh karena itu, sangat penting untuk segera dan secara menyeluruh menangani kesalahan ini.
    • 301 Redirect Permanen: Digunakan untuk mengirimkan traffic dari satu URL ke URL lain secara permanen. Your CMS akan memungkinkan Anda untuk mengatur redirects ini, tetapi terlalu banyak dapat melambatkan website Anda dan merusak pengalaman pengguna karena setiap redirect tambahan menambah waktu muat halaman. Bidik untuk redirect chain nol, jika memungkinkan, karena terlalu banyak akan membuat search engines menyerah dalam crawling halaman tersebut.
    • 302 Redirect Sementara: Cara untuk sementara mengarahkan traffic dari satu URL ke halaman web lain. Walaupun akan mengarahkan pengguna, tag judul, URL, dan deskripsi yang di-cache akan tetap konsisten dengan URL asal. Jika pengalihan sementara berlangsung cukup lama, itu akhirnya akan dianggap sebagai pengalihan permanen, dan elemen-elemen tersebut akan beralih ke URL tujuan.
    • 403 Pesan Dilarang: Artinya konten yang diminta oleh pengguna dibatasi berdasarkan izin akses atau karena konfigurasi server.
    • 404 Halaman Error: Memberi tahu pengguna bahwa halaman yang diminta tidak ada, baik karena telah dihapus atau mereka mengetik URL yang salah. Disarankan untuk membuat halaman 404 yang sesuai dengan merek dan menarik agar pengunjung tetap berada di website Anda.
    • 405 Metode Tidak Diperbolehkan: Menandakan bahwa server website Anda mengenali dan masih memblokir metode akses, menghasilkan pesan kesalahan.
    • 500 Kesalahan Server Internal: Pesan kesalahan umum yang berarti server web Anda mengalami masalah dalam memberikan website kepada pihak yang meminta.
    • 502 Bad Gateway Error: Terkait dengan komunikasi yang salah atau respons yang tidak valid antara server website.
    • 503 Layanan Tidak Tersedia: Memberi tahu Anda bahwa meskipun server Anda berfungsi dengan baik, itu tidak dapat memenuhi permintaan.
    • 504 Gateway Timeout: Berarti server tidak menerima tanggapan tepat waktu dari server web Anda untuk mengakses informasi yang diminta.

Tidak peduli alasan kesalahan ini, penting untuk menanganinya agar pengguna dan bot pencarian tetap terus kembali ke website Anda.

Bahkan jika website Anda telah di-crawl dan diindeks, masalah aksesibilitas yang menghalangi pengguna dan bot akan memengaruhi SEO Anda. Dengan demikian, kita perlu beralih ke tahap berikutnya dari audit SEO techinal Anda.