Mesin pencari yang paling pertama adalah "Wandex", yang sekarang index yang tidak berfungsi dari World Wide Web Wanderer, suatu web crawler dibangun oleh Matthew Gray di MIT pada 1993. Mesin pencari lain yang lama, Aliweb, juga muncul di 1993 dan masih berjalan hingga saat ini. Salah satu mesin pencari pertama yang sekarang berkembang menjadi usaha komersial yang cukup besar adalah Lycos, yang dimulai di Carnegie Mellon University sebagai proyek riset di tahun 1994.
Segera sesudah itu, banyak mesin pencari yang bermunculan dan bersaing memperebutkan popularitas. Termasuk di antaranya adalah WebCrawler,Hotbot, Excite, Infoseek, Inktomi, dan AltaVista. Mereka bersaing dengan direktori-direktori populer seperti misalnya Yahoo. Belakangan direktori-direktori ini menggabungkan atau menambahkan teknologi mesin pencari agar fungsinya semakin meningkat.
