Crawling adalah tahap pertama dari rangkaian proses kerja search engine, yaitu “Crawling, Indexing, Ranking”.
Lalu apa pengertian crawling dan fungsinya di dalam SEO (Search Engine Optimization) dan GEO (Generative Engine Optimization)? Berikut penjelasannya!
Pengertian Crawling
Dalam SEO dan GEO yang dimaksud dengan crawling adalah proses web crawler mengunjungi website untuk memahami isi dari halaman web dan mengirim data tersebut ke search engine.
Crawling sendiri berasal dari kata crawl yang artinya merayap. Istilah tersebut dipilih karena web crawler digambarkan sebagai laba-laba yang merayapi jejaring (web) di internet.
Cara Kerja Crawling
Pada proses crawling, web crawler melakukan dua tugas utama: mengunjungi halaman dan memahami isi halaman.
Mengunjungi Halaman
Web crawler mengunjungi halaman lewat berbagai cara dan yang paling familiar adalah lewat:
- Internal link, web crawler berpindah lewat tautan ke halaman lain di website yang sama.
- External link, web crawler berpindah lewat tautan ke halaman lain di website berbeda.
- Sitemap, peta situs yang dibuat agar web crawler bisa mengunjungi setiap halaman di website.
Proses kunjungan web crawler sangat penting dalam SEO karena berkaitan dengan status index halaman. Halaman yang tidak bisa diakses oleh web crawler kemungkinan besar tidak bisa ter-index oleh search engine.
Saking pentingnya akses ke sebuah halaman, ada istilah Orphan Page untuk halaman yang tidak mempunyai inbound link dan ini sangat dihindari dalam SEO.
Memahami Isi Halaman
Setelah berhasil masuk ke dalam sebuah halaman, tugas selanjutnya dari web crawler adalah memahami isi halaman.
Cara web crawler memahami isi halaman adalah dengan membaca kode HTML dan JavaScript yang membentuk halaman tersebut.
Contoh kode yang dibaca oleh crawler adalah:
- Heading Tag, yaitu judul dan sub judul dalam halaman.
- Text, isi halaman.
- Image Alternative Text, deskripsi tulisan untuk sebuah gambar.
- Internal dan External Link, tautan yang memberikan konteks tambahan tentang halaman.
- dan seterusnya
Informasi yang diterima oleh web crawler tersebut kemudian akan dipilah lagi oleh search engine sebelum terindex. Contohnya untuk search engine Google statusnya bisa dilihat di Google Search Console.
Di sana akan tertera laporan seperti “Discovered – Currently not indexed”, “Crawled – Currently not indexed”, dan “Page is indexed” yang menunjukkan status dari halaman website kamu di Google Search.
Kesimpulan
Crawling adalah tahap pertama dari proses kerja search engine. Proses yang terjadi adalah web crawler masuk ke dalam halaman lewat link dan kemudian membaca isi halaman.
Crawling penting dalam SEO karena halaman yang tidak bisa diakses web crawler kemungkinan besar tidak akan bisa terindex oleh mesin pencari.
