SEARCH ENGINE

Dalam dunia website/weblog sekarang ini, khususnya bagi para publisher dan blogger diperlukan pengetahuan tentang Search Engine Optimization, website/weblog yang telah sobat buat tugas selanjutnya adalah mendaftarkan website/weblog sobat ke mesin pencari Google atau yang lainnya. Sebelum mendaftarkan website/weblog yang telah dibuat; sekarang yang menjadi pertanyaan apa itu search engine optimization, cara kerja dan fungsi suatu search engine
.
A. PENGERTIAN SEARCH ENGINE
Mesin pencari web atau yang lebih dikenal dengan istilah web search engine merupakan program komputer yang dirancang untuk mencari informasi yang tersedia didalam dunia maya. Berbeda halnya dengan direktori web (seperti dmoz.org) yang dikerjakan oleh manusia untuk mengelompokkan suatu halaman informasi berdasarkan kriteria yang ada, web search engine mengumpulkan informasi yang tersedia secara otomatis.

B. SEJARAH
Saat awal perkembangan internet, Tim Berners-Lee membuat sebuah situs web yang berisikan daftar situs web yang ada di internet melalui peladen web CERN. Sejarah yang mencatat sejak tahun 1992 masih ada hingga kini.[2] Dengan semakin banyaknya situs web yang aktif membuat daftar ini tidak lagi memungkinkan untuk dikelola oleh manusia. Utilitas pencari yang pertama kali digunakan untuk melakukan pencarian di internet adalah Archie yang berasal dari kata "archive" tanpa menggunakan huruf "v".[3] Archie dibuat tahun 1990 oleh Alan Emtage, Bill Heelan dan J. Peter Deutsch, saat itu adalah mahasiswa ilmu komputer Universitas McGill, Amerika Serikat. Cara kerja program tersebut adalah mengunduh daftar direktori serta berkas yang terdapat pada layanan ftp publik (anonim) kemudian memuatnya ke dalam basisdata yang memungkinkan pencarian.
Mesin pencari lainnya seperti Aliweb, muncul di 1993 dan masih berjalan hingga saat ini. Salah satu mesin pencari pertama yang sekarang berkembang menjadi usaha komersial yang cukup besar adalah Lycos, yang dimulai di Carnegie Mellon University sebagai proyek riset di tahun 1994.
Segera setelah itu, banyak mesin pencari yang bermunculan dan bersaing memperebutkan popularitas. Termasuk di antaranya adalah WebCrawler, Hotbot, Excite, Infoseek, Inktomi, dan AltaVista. Masing-masing bersaing dengan menambahkan layanan- layanan tambahan seperti yang dilakukan oleh Yahoo.
Tahun 2002 Yahoo! mengakuisisi Inktomi, setahun kemudian menagaktualisasi AlltheWeb dan Altavista kemudian meluncurkan mesin pencari sendiri yang didasarkan pada teknologi gabungan dari mesin-mesin pencari yang telah diakuisisinya serta memberikan layanan yang mengutamakan pencarian Web daripada layanan-layanan lainnya.
Di bulan desember 2003, Orase menerbitkan versi pertama dari teknologi pencari waktu-riilnya. Mesin ini memiliki banyak fungsi baru dan tingkat unjuk kerja yang jauh lebih baik. Mesin pencari juga dikenal sebagai target investasi internet yang terjadi pada akhir tahun 1990-an. Beberapa perusahaan mesin pencari yang masuk ke dalam pasar saham diketahui mencatat keuntungan besar. Sebagian lagi sama sekali menonaktifkan layanan mesin pencari, dan hanya memasarkannya pada edisi-edisi enterprise saja, contoh Northern Lightsebelumnya diketahui merupakan salah satu perintis layanan mesin pencari di internet.
Buku Osmar R. Zaïane From Resource Discovery to Knowledge Discovery on the Internet menjelaskan secara rinci sejarah teknologi mesin pencari sebelum munculnya Google. Mesin-mesin pencari lainnya mencakup a9.com, AlltheWeb, Ask Jeeves, Clusty, Gigablast, Teoma, Wisenut, GoHook, Kartoo, dan Vivisimo.

1. Google
Google muncul di akhir tahun 1997, dimana Google memasuki pasar yang telah diisi oleh para pesaing lain dalam penyediaan layanan mesin pencari, seperti Yahoo, Altavista, HotBot, Excite, InfoSeek dan Lycos, dimana perusahaan-perusahaan tersebut mengklaim sebagian perusahaan yang bergerak dalam bidang layanan pencarian di internet. Hingga akhirnya Google mampu menjadi sebagai penyedia mesin pencari yang cukup diperhitungkan di dunia.
Saat tingginya persaingan antar mesin pencari yang ada, namun mesin pencari lain tidak mampu menghentikan kesuksesan Google. Setelah Yahoo mampu pada posisi puncak di sekitar tahun 2000, Google mampu menerobos liga besar tersebut. sehingga Google dipandang sebagai mesin pencari yang utama seperti yang kita ketahui pada hari ini.

2. Yahoo
Yahoo raja directori di internet, di samping para pengguna internet melihat DMOZ serta LookSmart berusaha menurunkan nya dari posisi puncak tersebut. Akhir-akhir ini, telah tumbuh secara cepat dalam ukurannya, mereka pun sudah memiliki harga sehingga mudah untuk memasukinya, dengan demikian, mendapatkan sebuah daftar pada direktori Yahoo memang memiliki nilai yang tinggi.
pada tahun 2001, mesin pencari Google berkembang besar. Keberhasilan ini didasarkan pada bagian konsep dasar dari link popularity dan PageRank. Setiap halaman diurutkan berdasarkan seberapa banyak situs yang terkait, dari sebuah premis bahwa situs yang diinginkan pasti lebih banyak terhubung daripada yang lain. Rangking situs (The PageRank)dari sebuah link halaman dan jumlah link dari halaman-halaman tersebut merupakan masukan bagi Rangking situs yang bersangkutan. Hal ini memungkinkan bagi Google untuk mengurutkan hasilnya berdasarkan seberapa banyak halaman situs yang menuju ke halaman yang ditemukannya. User interface Google sangat disukai oleh pengguna, dan hal ini berkembang ke para pesaingnya.

C. MANFAAT
1. mesin pencari merupakan tempat kebanyakan orang mencari sesuatu via internet. Menurut survei hampir 90% pengguna internet memakai mesin pencari untuk mencari lokasi tertentu di internet. dan di antara mesin pencari yang ada, google merupakan mesin pencari yang paling banyak digunakan.
2. Sebagian besar pengguna mesin pencari tidak pernah melewatkan dua halaman pertama dari mesin pencari.
3. Sebagian besar (hampir 70%) pengguna mesin pencari tidak pernah klik pada hasil pencarian sponsor. Dengan demikian, hasil pencarian yang organik (secara alami) akan membuat suatu website memperoleh posisi strategis dalam dunia internet.
4. Di negara-negara maju, porsi penjualan yang dilakukan melalui internet sudah hampir mencapai 20% dari keseluruhan transaksi tahunan.
5. Sebuah informasi yang mudah di akses oleh semua orang baik dalam maupun luar negeri.

D. CARA KERJA SEARCH ENGINE
Mesin pencari web bekerja dengan cara menyimpan hampir semua informasi halaman web, yang diambil langsung dari www. Halaman-halaman ini diambil secara otomatis. Isi setiap halaman lalu dianalisis untuk menentukan cara mengindeksnya (misalnya, kata-kata diambil dari judul, subjudul, atau field khusus yang disebut meta tag). Data
tentang halaman web disimpan dalam sebuah database indeks untuk digunakan dalam pencarian selanjutnya. Sebagian mesin pencari, seperti Google, menyimpan seluruh atau sebagian halaman sumber (yang disebut cache) maupun informasi tentang halaman web itu sendiri.
Ketika seorang pengguna mengunjungi mesin pencari dan memasukkan query, biasanya dengan memasukkan kata kunci, mesin mencari indeks dan memberikan daftar halaman web yang paling sesuai dengan kriterianya, biasanya disertai ringkasan singkat mengenai judul dokumen dan terkadang sebagian teksnya.
Mesin pencari lain yang menggunakan proses real-time, seperti Orase, tidak menggunakan indeks dalam cara kerjanya. Informasi yang diperlukan mesin tersebut hanya dikumpulkan jika ada pencarian baru. Jika dibandingkan dengan sistem berbasis indeks yang digunakan mesin-mesin seperti Google, sistem real-time ini unggul dalam beberapa hal seperti informasi selalu mutakhir, (hampir) tak ada broken link, dan lebih sedikit sumberdaya sistem yang diperlukan (Google menggunakan hampir 100.000 komputer, Orase hanya satu.). Tetapi, ada juga kelemahannya yaitu pencarian lebih lama rampungnya.

E. KOMPONEN UTAMA DALAM SEARCH ENGINE
Sebuah search engine memiliki beberapa komponen agar dapat menyediakan layanan utamanya sebagai sebuah mesin pencari informasi. Komponen tersebut antara lain :

1. Web Crawler
Web crawler atau yang dikenal juga dengan istilah web spider bertugas untuk mengumpulkan semua informasi yang ada di dalam halaman web. Web crawler bekerja secara otomatis dengan cara memberikan sejumlah alamat website untuk dikunjungi serta menyimpan semua informasi yang terkandung didalamnya. Setiap kali web crawler mengunjungi sebuah website, maka dia akan mendata semua link yang ada dihalaman yang dikunjunginya itu untuk kemudian di kunjungi lagi satu persatu.
Proses web crawler dalam mengunjungi setiap dokumen web disebut dengan web crawling atau spidering. Beberapa websites, khususnya yang berhubungan dengan pencarian menggunakan proses spidering untuk memperbaharui data data mereka. Web crawler biasa digunakan untuk membuat salinan secara sebhagian atau keseluruhan halaman web yang telah dikunjunginya agar dapat dip roses lebih lanjut oleh system pengindexan. Crawler dapat juga digunakan untuk proses pemeliharaan sebuah website, seperti memvalidasi kode html sebuah web, dan crawler juga digunakan untuk memperoleh data yang khusus seperti mengumpulkan alamat e-mail.
Web crawler termasuk kedalam bagian software agent atau yang lebih dikenal dengan istilah program bot. Secara umum crawler memulai prosesnya dengan memberikan daftar sejumlah alamat website untuk dikunjungi, disebut sebagai seeds. Setiap kali sebuah halaman web dikunjungi, crawler akan mencari alamat yang lain yang terdapat didalamnya dan menambahkan kedalam daftar seeds sebelumnya.
Dalam melakukan prosesnya, web crawler juga mempunyai beberapa persoalan yang harus mampu di atasinya. Permasalahan tersebut mencakup :
 Halaman mana yang harus dikunjungi terlebih dahulu.
 Aturan dalam proses mengunjungi kembali sebuah halaman.
 Performansi, mencakup banyaknya halaman yang harus dikunjungi.
 Aturan dalam setiap kunjungan agar server yang dikunjungi tidak kelebihan beban.
 Kegagalan, mencakup tidak tersedianya halaman yang dikunjungi, server down, timeout, maupun jebakan yang sengaja dibuat oleh webmaster.
 Seberapa jauh kedalaman sebuah website yang akan dikunjungi.
 Hal yang tak kalah pentingnya adalah kemampuan web crawler untuk mengikuti
perkembangan teknologi web, dimana setiap kali teknologi baru muncul, web crawler harus dapat menyesuaikan diri agar dapat mengunjungi halaman web yang menggunakan teknologi baru tersebut.
Proses sebuah web crawler untuk mendata link – link yang terdapat didalam sebuah halaman web menggunakan pendekatan regular expression. Crawler akan menelurusi setiap karakter yang ada untuk menemukan hyperlink tag html (). Setiap hyperlink tag yang ditemukan diperiksa lebih lanjut apakah tag tersebut mengandung atribut nofollow rel, jika tidak ada maka diambil nilai yang terdapat didalam attribute href yang merupakan sebuah link baru.

2. Indexing system
Indexing system bertugas untuk menganalisa halaman web yang telah tersimpan sebelumnya dengan cara mengindeks setiap kemungkinan term yang terdapat di dalamnnya. Data term yang ditemukan disimpan dalam sebuah database indeks untuk digunakan dalam pencarian selanjutnya.
Indexing system mengumpulkan, memilah dan menyimpan data untuk memberikan kemudahan dalam pengaksesan informasi secara tepat dan akurat. Proses pengolahan halaman web agar dapat digunakan untuk proses pencarian berikutnya dinakamakan web indexing. Dalam implementasinya index system dirancang dari penggabungan beberapa cabang ilmu antara lain ilmu bahasa, psikologi, matematika, informatika, fisika, dan ilmu komputer.
Tujuan dari penyimpanan data berupa indeks adalah untuk performansi dan kecepatan dalam menemukan informasi yang relevan berdasarkan inputan user. Tanpa adanya indeks, search engine harus melakukan scan terhadap setiap dokumen yang ada didalam database. Hal ini tentu saja akan membutuhkan proses sumber daya yang sangat besar dalam proses komputasi. Sebagai contoh, indeks dari 10.000 dokumen dapat diproses dalam waktu beberapa detik saja, sedangkan penulusuran secara berurutan setiap kata yang terdapat di dalam 10.000 dokumen akan membutuhkan waktu yang berjam lamanya. Tempat tambahan mungkin akan dibutuhkan di dalam computer untuk penyimpanan indeks, tapi hal ini akan terbayar dengan penghematan waktu pada saat pemrosesan pencarian dokumen yang dibutuhkan.

3. Search system
Search system inilah yang berhubungan langsung dengan pengguna, meyediakan hasil pencarian informasi yang diinginkan. Ketika seorang pengguna mengunjungi mesin pencari dan memasukkan kata pencarian biasanya dengan beberapa kata kunci, search system akan mencari data dari indeks database, data yang cocok kemudian akan ditampilkan, biasanya disertai ringkasan singkat mengenai judul dokumen dan terkadang sebagian teksnya.

F. BEBERAPA JENIS SEARCH ENGINE
Semua Search engine diciptakan dengan tujuan yang sama yakni untuk memudahkan menemukan informasi dari milyaran halaman web yang ada di internet. Namun berdasarkan cara kerja nya, secara garis besar ada 4 jenis search engine:

1. Crawler-Based Search engine
Seperti yang terlihat dari namanya, search engine jenis ini menggunakan robot atau crawler untuk mengumpulkan informasi dari jagat internet. Google dan Yahoo! memiliki robot yang bekerja terus tanpa mengenal lelah untuk mengumpulkan data-data dari seluruh penjuru dunia. Sebagai gambaran, saat ini Google menggunakan 4 robot yang masing-masing dapat melakukan penjelajahan sebanyak 100 halaman web/detik atau setara dengan 600Kb/detik ~ 72,180.17 GigaByte penambahan data setiap tahun nya.

2. Human-Powerd Web Directories
Berbeda dengan search engine yang menggunakan crawler atau robot untuk melakukan pengumpulan data, web direktori mengandalkan ketelitian manusia dalam melakukan seleksi dan pengelompokan website. Pengelompokan hasil pencarian juga tidak berdasarkan keyword, namun berdasarkan kategorisasi yang telah ditentukan dan juga berdasarkan urutan alfatebis. Beberapa contoh yang cukup populer adalah Open Directory Project (DMOZ), Yahoo directory, Google directory, LookSmart dan EuroSeek.

3. Hybrid-Search Engine
Tipe ini adalah search engine yang mengombinasi kan Crawler dan juga web direktori untuk menghasilkan hail pencarian yang relevan. Sebagai contoh misalkan ada sebuah website yang dikategorikan dalam web direktori sebagai perusahaan lokal penjual garmen di kota kudus, maka algoritma search engine hybrid tidak akan menampilkan website ini sebagai hasil pencarian penjual garmen di kota Chicago. Beberapa contoh search engine tipe ini adalah Google, ExactSeek, Lycos, dan Altavista.

4. Meta Search Engines
Search engine tipe ini pada dasarnya pengembangan dari berbagai search engine yang ada, karena mereka tidak melakukan pencarian dengan algoritma kompleks seperti tipe crawler atau hybrid. Tipe ini melakukan ekstraksi hasil pencarian dari berbagai search engine dan web direktori, kemudian melakukan pengelompokan data dan menampilkannya. Semakin sering sebuah halaman web ditampilkan pada berbagai search engine, maka halaman tersebut akan memiliki ranking yang tinggi di meta search engine. Contoh meta search engine adalah DogPile, WebCrawler, Excite, MetaCrawler, dan Ixquick.

G. SEARCH ENGINE YANG POPULER
Terdapat ratusan bahkan ribuan mesin pencari yang ada di internet, dan kapasitas mesin tersebut akan selalu tumbuh dari waktu ke waktu. Dari sebanyak itu, hanya sebagian kecil yang berpengaruh besar dalam lalulintas untuk pengantar pengunjungnya ke situs tersebut. untuk itu, harus pintar dalam memilih mereka yang tepat terutama dalam efisiensi dan efektifitas waktu yang anda miliki dalam mencapai sasaran yang diinginkan, karena situs yang tidak terlalu populer belum tentu akan berpengaruh besar terhadap pertumbuhanke situs yang dikelola. Apalagi juka pendaftaran situs-situs penyedia layanan pencarian tersebut dilakukan satu persatu, akan membuang waktu. Cara mudahnya, lebih baik menggunakan softwarependaftar ke mesin pencari yang banyak beredar di internet, sehingga proses pendaftaran bisa dilakukan secara otomatis melalui software tersebut.
Berikut ini adalah beberapa mesin pencari:
1. Google ( http://www.google.com/ )
2. Yahoo ( http://www.yahoo.com/ )
3. Open Directory (http://www.dmoz.com/ )
4. MSN ( http://www.msn.com/ )
5. Live ( http://www.live.com )
6. Altavista ( http://www.altavista.com )
7. AOL ( http://www.aol.com )
8. Altheweb ( http://www.althweb.com )
9. Baidu ( http://www.baidu.com )
10. Looksmart ( http://www.looksmart.com )

H. SUMBER
http://realworldbusiness.com/indonesia/beberapa-jenis-search-engine/
http://realworldbusiness.com/indonesia/komponen-search-engine/
http://id.wikipedia.org/wiki/Mesin_pencari