Pada Kesempatan kali ini saya akan membahas mengenai Pengeditan Robots.txt dan juga Tag Tajuk Robot Khusus pada blogger, namun sebelum itu saya akan menjelaskan terlebih dahulu tentang apa itu dan apa fungsinya berikut penjelasannya.
apa itu robots.txt?
robots.txt merupakan sebuah file yang berekstensi .txt yang berada disetiap situs agar situs tersebut dapat diakses oleh mesin pencari dan berfungsi sebagai arahan bagaimana sebuah mesin pencari akan mengakses atau mengindeks situs tersebut, dengan menggunakan robots.txt anda dapat mengatur cara kerja mesin pencari dalam mengakses situs anda seperti mencegah mesin pencari untuk merayapi atau mengindeks sebuah laman yang tidak anda inginkan untuk mesin pencari mengakses laman atau folder tersebut nah jika anda ingin mengetahui robots.txt sebuah situs anda tinggal mengetikan nya sepertiwww.yaquul.com/robots.txt pada browser, pada dasarnya setiap blog juga mempunyai robots.txt seperti ini.
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: http://www.yaquul.com/sitemap.xml |
User-agent: Mediapartners-Google >> berfungsi untuk crawling iklan adsense biasanya semua situs yang memiliki iklan adsense memiliki tag ini pada robots.txt dengan tujuan supaya iklan yang muncul dapat relevan dengan apa isi konten yang dibahas pada situs tersebut misalkan jika anda mempunyai situs tentang kesehatan maka iklan yang dimunculkan pun akan tentang kesehatan dan tentu saja hal ini akan menaikan jumlah klik pada iklan google adsense anda.
Disallow: >> berfungsi untuk mencegah pengindeksan suatu halaman atau folder pada situs kita, dan kode diatas bermaksudkan tidak ada satupun halaman atau folder yang dicegah untuk diakses oleh mesin pencari.
User-agent: * >> Bermaksud membolehkan semua bot selain google adsense dapat mengcrawler situs kita seperti yahoo-bot, msn-bot, google-bot, slurp, ask dan lain lain.
Disallow: /search >> Berfungsi agar bot tidak mengcrawl atau mengindeks link yang memiliki kata search misal http://www.yaquul.com/search/label/unik.
Allow: / >> Bermaksud membolehkan crawler atau perayap untuk merayapi semua yang ada pada situs kita kecuali yang telah disebutkan pada kode disallow diatas.
Sitemap: http://www.yaquul.com/sitemap.xml >> Berfungsi untuk memerintahkan crawler untuk merayapi sitemap tersebut, dan sitemap berisi semua link yang ada pada situs atau blog kita.
lalu bagaimana cara pengeditan robots.txt
Jika anda merupakan pemilik sebuah situs mungkin hal ini diperlukan untuk anda tetapi kalau untuk blog seperti saya pengeditan robots.txt tidak terlalu diperlukan karena robots.txt yang diberikan oleh blogger juga saya rasa sudah cukup, nah berikut ini contoh jika anda ingin memblok sebuah direktori dari perayapan mesin pencari
disallow: /cgi-bin/ bermaksud untuk mencegah bot merayapi folder atau direktori www.namadomain.com/cgi-bin/
disallow: /2016/02/cara-membuat.html bermaksud untuk mencegah bot merayapi halaman www.namadomain.com/2016/02/cara-membuat.html
apa itu tag tajuk robot khusus atau tag meta head?
tag tajuk robot khusus robot adalah sebuah meta tag yang ditaruh antara tag <head> sampai </head> atau jika anda ingin mengaturnya secara otomatis anda dapat mengaturnya pada setelan di blog anda, lalu apakah fungsi dari tag tajuk robot khusus?. sebenarnya fungsi dari tag tajuk robot khusus hampir sama dengan robots.txt yaitu untuk memerintahkan bagaimana cara kerja dari bot mesin pencari dalam merayapi situs kita, tidak seperti robots.txt tag tajuk robot khusus ini kadang digunakan kadang tidak karena tidak terlalu memiliki peran penting dalam proses perayapan oleh mesin pencari, sehingga ada beberapa orang yang menggunakannya dan ada juga yang tidak, berikut adalah salah satu contoh dari tag tajuk robot khusus.
berikut merupakan beberapa perintah dalam tag tajuk robot khusus.
all : artinya mengizinkan bot untuk mengcrawl atau merayapi semua halaman web atau situs.
none : arti dari none merupakan kebalikannya dari all yaitu, perintah ini berfungsi agar robot tidak merayapi semua halaman yang ada pada situs kita.
follow : berfungsi agar bot mengikuti setiap url yang ada pada halaman atau situs kita.
index : berfungsi agar bot mengindeks setiap halaman yang ada pada situs kita.
noindex : berfungsi agar bot tidak mengindeks setiap halaman yang ada pada situs kita atau bot dilarang untuk mengindeks.
nofollow : berarti agar bot tidak mengikuti setiap url atau link yang ada pada situs kita.
noodp : noodp merupakan kepanjangan dari no open direktori projek, yang berfungsi agar bot tidak mengambil deskripsi dari open direktori seperti DMOZ karena tidak semua situs terdaftar di open direktori.
noydir : noydir merupakan kepanjangan dari no yahoo direktori fungsinya hampir sama dengan noodp, noydir berfungsi agar bot (robot) tidak mengambil deskripsi situs atau blog kita dari yahoo direktori.
berikut adalah cara pemasangan dan pengeditan meta tag robot atau perintah tag tajuk khusus secara manual.
<meta name="robots" content="index,follow"/> bermaksud agar bot mesin pencari mengindeks dan mengikuti semua halaman yang ada pada situs kita termasuk label label dan semuanya tanpa terkecuali.
<meta name="robots" content="noindex,nofollow"/> berfungsi untuk memerintahkan bot mesin pencari agara tidak mengindeks atau mengikuti berbagai halaman yang ada disitus kita.
<meta name="robots" content="noodp"/> bermaksud agar robot (bot) tidak mengambil deskripsi dari open direktori.
<meta name="robots" content="nooydir"/> bermaksud agar robot (bot) tidak mengambil deskripsi dari yahoo direktori.
Kesimpulan dengan menggunakan mengedit robots.txt dan juga meta tag robot dapat memaksialkan SEO pada situs atau blog kita dan juga kita dapat mengatur cara kerja sebuah perayap dari mesin pencari dengan menggunakan robots.txt dan meta tag robot jadi gunakanlah robots.txt atau meta tag robot jika anda membutuhkannya, satu pesan dari saya jangan gunakan atau edit robots.txt atau meta tag robot jika anda tidak mengetahui fungsinya karena pengeditan yang salah dapat menyebabkan situs atau blog anda diabaikan oleh mesin pencari, semoga membantu
sekian artikel mengenai Bagaimana Cara Pengeditan dan Apa itu Robots.txt dan Tag Tajuk Pada Blogger
sekian artikel mengenai Bagaimana Cara Pengeditan dan Apa itu Robots.txt dan Tag Tajuk Pada Blogger
EmoticonEmoticon