Saya suka menemukan cara untuk membuat hidup saya menjadi lebih baik dan mudah.
Itulah mengapa teknik yang akan saya ceritakan hari ini adalah salah satu favorit mutlak saya. Ini adalah hack SEO yang sah yang bisa Anda gunakan segera.
Ini adalah cara untuk meningkatkan SEO Anda dengan memanfaatkan bagian alami dari setiap situs web yang jarang dibicarakan. Tidak sulit untuk menerapkannya.
Ini adalah file robots.txt (juga disebut protokol pengecualian atau standar robot).
File teks kecil mungil ini adalah bagian dari setiap situs web di Internet, namun kebanyakan orang bahkan tidak mengetahuinya.
Ini dirancang untuk bekerja dengan mesin pencari, tapi anehnya, ini adalah sumber jus SEO yang menunggu untuk dibuka.
Saya telah melihat klien setelah klien berusaha sekuat tenaga untuk meningkatkan SEO mereka. Ketika saya mengatakan kepada mereka bahwa mereka dapat mengedit file teks kecil, mereka hampir tidak mempercayai saya.
Namun, ada banyak metode untuk meningkatkan SEO yang tidak sulit atau menyita waktu, dan ini salah satunya.
Anda tidak perlu memiliki pengalaman teknis untuk memanfaatkan kekuatan robots.txt. Jika Anda dapat menemukan kode sumber untuk situs web Anda, Anda dapat menggunakan ini.
Jadi saat Anda siap, ikutilah saya, dan saya akan menunjukkan dengan tepat bagaimana cara mengubah file robots.txt sehingga mesin pencari menyukainya.
Mengapa File Robots.txt Itu Penting
Pertama, mari kita lihat mengapa file robots.txt penting di tempat pertama.
File robots.txt, yang juga dikenal sebagai protokol pengecualian atau standar robot, adalah file teks yang memberi tahu robot web (mesin telusur paling sering) yang dirangkul di situs Anda untuk dirayapi.
Ini juga memberi tahu robot web mana halaman yang tidak dirayapi.
Misalkan mesin pencari akan mengunjungi situs. Sebelum mengunjungi halaman target, ia akan memeriksa robots.txt untuk mendapatkan petunjuk.
Ada berbagai jenis file robots.txt, jadi mari kita lihat beberapa contoh berbeda dari penampilan mereka.
Katakanlah mesin pencari menemukan file robots.txt contoh ini.
User-agent: *
Disallow: /
Disallow: /
Pada bagian atas itu adalah kerangka dasar file robots.txt.
Tanda bintang setelah "user-agent" berarti bahwa file robots.txt berlaku untuk semua robot web yang mengunjungi situs ini.
Garis miring setelah "Disallow" memberitahu robot untuk tidak mengunjungi halaman manapun di situs ini.
Anda mungkin bertanya-tanya mengapa ada orang yang ingin menghentikan robot web mengunjungi situs mereka.
Bagaimanapun, salah satu tujuan utama SEO adalah membuat mesin telusur merayapi situs Anda dengan mudah sehingga meningkatkan peringkat Anda.
Disinilah rahasia SEO ini masuk.
Anda mungkin memiliki banyak halaman di situs Anda, bukan? Bahkan jika Anda tidak berpikir Anda melakukannya, pergi cek. Anda mungkin akan terkejut.
Jika mesin pencari merayapi situs Anda, mesin pencari akan merangkak setiap halaman Anda.
Dan jika Anda memiliki banyak halaman, bot mesin pencari akan memakan waktu untuk merangkak mereka, yang dapat memberi efek negatif pada rangking Anda.
Itu karena Googlebot (bot mesin telusur Google) memiliki "crawl budget".
Ini terbagi menjadi dua bagian. Yang pertama adalah crawl rate limit. Inilah cara Google menjelaskan bahwa :
Bagian kedua adalah Crawl Demand:
Pada dasarnya, crawl budget adalah "jumlah URL Googlebot yang dapat dan ingin dirayapi."
Anda ingin membantu Googlebot membelanjakan anggaran merangkak untuk situs Anda dengan cara terbaik. Dengan kata lain, seharusnya merayapi halaman Anda yang paling berharga.
Ada beberapa faktor yang akan, menurut Google, "berdampak negatif pada perayapan dan pengindeksan suatu situs."
Inilah faktor-faktor tersebut:
Jadi mari kita kembali ke robots.txt.
Jika Anda membuat halaman robots.txt yang benar, Anda bisa memberi tahu bot search engine (dan terutama Googlebot) untuk menghindari halaman tertentu.
Pikirkan implikasinya. Jika Anda memberi tahu bot mesin telusur untuk hanya merayapi konten Anda yang paling berguna, bot akan merayapi dan mengindeks situs Anda berdasarkan konten itu sendiri.
Seperti yang dikatakan Google :
"Anda tidak ingin server Anda diliputi oleh perayap Google atau menghabiskan crawl budget yang merangkak ke halaman yang tidak penting atau serupa di situs Anda."
Dengan menggunakan robots.txt Anda dengan cara yang benar, Anda bisa memberi tahu bot mesin pencari untuk menghabiskan anggaran merangkak dengan bijak. Dan itulah yang membuat file robots.txt begitu berguna dalam konteks SEO.
Penasaran dengan kekuatan robots.txt?
Mari kita bicara tentang bagaimana menemukan dan menggunakannya.
Menemukan File Robots.txt Anda
Jika Anda hanya ingin melihat sekilas file robots.txt Anda, ada cara mudah untuk melihatnya.
Sebenarnya, metode ini akan bekerja untuk situs manapun . Jadi Anda bisa mengintip file situs lain dan melihat apa yang mereka lakukan.
Yang harus Anda lakukan adalah mengetikkan URL dasar situs ke bilah penelusuran browser Anda Kemudian tambahkan /robots.txt ke akhir.
Jika Anda menemukan file kosong atau 404, Anda pasti ingin memperbaikinya.
Jika Anda menemukan file yang valid, ini mungkin disetel ke pengaturan default yang dibuat saat Anda membuat situs Anda.
Saya terutama menyukai metode ini untuk melihat file robots.txt situs lain. Begitu Anda belajar seluk beluk robots.txt, ini bisa menjadi latihan yang berharga.
Sekarang mari kita lihat benar-benar mengubah file robots.txt Anda.
#2:Menemukan File Robots.txt Anda
Langkah selanjutnya Anda semua tergantung pada apakah Anda memiliki file robots.txt atau tidak. (Periksa apakah Anda melakukannya dengan menggunakan metode yang dijelaskan di atas.)
Jika Anda tidak memiliki file robots.txt, Anda harus membuatnya dari awal. Buka editor teks biasa seperti Notepad (Windows) atau TextEdit (Mac.)
Gunakan editor teks biasa saja untuk ini. Jika Anda menggunakan program seperti Microsoft Word, program bisa memasukkan kode tambahan ke dalam teks.
Editpad.org adalah pilihan gratis yang bagus, dan itulah yang akan Anda lihat di artikel ini.
Kembali ke robots.txt Jika Anda memiliki file robots.txt, Anda harus menemukannya di direktori akar situs Anda.
Jika Anda tidak terbiasa mengaduk-aduk kode sumber, mungkin agak sulit menemukan versi file robots.txt yang dapat diedit.
Biasanya, Anda dapat menemukan direktori root Anda dengan membuka situs web akun hosting Anda, masuk, dan menuju ke bagian manajemen berkas atau FTP di situs Anda.
Catatan: Jika Anda menggunakan WordPress, Anda mungkin melihat file robots.txt saat Anda membuka situs Anda.com/robots.txt, namun Anda tidak dapat menemukannya di file Anda.
Ini karena WordPress membuat file robots.txt virtual jika tidak ada robots.txt di direktori root.
Jika ini terjadi pada Anda, Anda harus membuat file robots.txt baru.
Membuat File Robots.txt
Anda bisa membuat file robots.txt baru dengan menggunakan editor teks biasa pilihan Anda.
(Note: Hanya menggunakan editor teks biasa)
Jika Anda sudah memiliki file robots.txt, pastikan Anda telah menghapus teksnya (tapi bukan filenya).
Pertama, Anda harus terbiasa dengan beberapa sintaks yang digunakan dalam file robots.txt.
Google memiliki penjelasan bagus tentang beberapa istilah robots.txt dasar:
Saya akan menunjukkan cara menyiapkan file robot.txt sederhana, dan kemudian kita akan melihat bagaimana menyesuaikannya untuk SEO.
Mulailah dengan menyetel istilah user-agent. Kami akan mengaturnya sehingga berlaku untuk semua robot web.
Lakukan ini dengan menggunakan tanda bintang setelah istilah user-agent, seperti ini:
User-agent:*
Selanjutnya, ketik "Disallow:" tapi jangan mengetik apapun setelah itu.
Disallow:
Karena tidak ada yang setelah disallow, robot web akan diarahkan untuk merayapi keseluruhan situs Anda. Saat ini, semua yang ada di situs Anda adalah permainan yang adil.
Sejauh ini, file robots.txt Anda akan terlihat seperti ini:
User-agent: *
Disallow:
Aku tahu itu terlihat super sederhana, tapi kedua garis ini sudah banyak melakukan.
Anda juga bisa menautkan ke sitemap XML Anda , tapi itu tidak perlu. Jika mau, inilah yang harus diketik:
Sitemap:http/https:yoursite/sitemap.xml
Percaya atau tidak, ini seperti file robots.txt dasar.
Sekarang mari kita bawa ke tingkat berikutnya dan mengubah file kecil ini menjadi booster SEO.
Mengoptimalkan Robots.txt Untuk SEO
Cara mengoptimalkan robots.txt semuanya bergantung pada konten yang Anda miliki di situs Anda. Ada banyak cara untuk menggunakan robots.txt untuk keuntungan Anda.
Saya akan membahas beberapa cara yang paling umum untuk menggunakannya.
(Ingatlah bahwa Anda seharusnya tidak menggunakan robots.txt untuk memblokir halaman dari mesin pencari . Itu tidak besar.)
Salah satu kegunaan terbaik dari file robots.txt adalah memaksimalkan penjelajahan mesin pencari dengan memberi tahu mereka agar tidak merayapi bagian-bagian situs Anda yang tidak ditampilkan ke publik.
(Jika Anda memiliki WordPress, Anda dapat menggunakan garis larangan yang sama persis).
Anda dapat menggunakan perintah atau perintah yang serupa untuk mencegah bot merayapi halaman tertentu. Setelah disallow, masukkan bagian URL yang muncul setelah .com. Masukkan itu di antara dua garis miring ke depan.
Jadi jika Anda ingin memberi tahu bot untuk tidak merayapi laman Anda http://yoursite.com/page/ , Anda dapat mengetikkan ini:
Disallow:/page/
Anda mungkin bertanya-tanya secara khusus jenis halaman yang akan dikecualikan dari indeksasi. Berikut adalah beberapa skenario umum yang akan terjadi:
Tujuan Duplikat Konten
Sementara duplikat konten sebagian besar adalah hal yang buruk, ada beberapa kasus yang perlu dan dapat diterima.
Misalnya, jika Anda memiliki versi halaman yang ramah printer, secara teknis Anda memiliki konten duplikat. Dalam kasus ini, Anda dapat memberitahu bot untuk tidak merayapi salah satu versi tersebut (biasanya versi ramah printer).
Ini juga berguna jika Anda membagi halaman pengujian yang memiliki konten yang sama namun berbeda.
Kesimpulan
Saya selalu suka berbagi sedikit yang tidak diketahui yang bisa memberi Anda keuntungan nyata dengan lebih dari satu cara.
Dengan menyiapkan file robots.txt Anda dengan cara yang benar, Anda tidak hanya meningkatkan SEO Anda sendiri. Anda juga membantu pengunjung Anda.
Jika bot mesin pencari bisa menghabiskan anggaran merangkak dengan bijak, mereka akan mengatur dan menampilkan konten Anda di SERPs dengan cara terbaik, yang berarti Anda akan lebih terlihat.
Ini juga tidak memerlukan banyak usaha untuk menyiapkan file robots.txt Anda. Ini sebagian besar merupakan penyiapan satu kali, dan Anda dapat melakukan sedikit perubahan seperlunya.
Entah Anda memulai situs pertama atau kelima, menggunakan robots.txt dapat membuat perbedaan yang signifikan. Saya sarankan memberikan spin jika Anda belum melakukannya sebelumnya.
