افراد و گروه های فعال در کسب و کارهای آنلاین ، بالا بردن شمار بینندگان یک سایت را برای موفقیت آن در دنیای وب و تجارت آنلاین ضروری می دانند. این که سایت چه می فروشد و چه خدماتی ارائه می دهد ، چندان مهم نیست بلکه اگر سایتی به دنبال فروش کالا یا خدمات و کسب درآمد یا محبوبیت است ، باید بیننده داشته باشد.

تعداد بازدیدکنندگان یک سایت برگ برنده ی آن در کسب موفقیت در دنیای وب می باشد. سایتی که بیننده ندارد ، بدون شک مرگی آنلاین را تجربه می کند و چه بسیارند سایت هایی که هر روزه از چرخه زندگی در وب خارج می شوند ! مردن سایت های حقیقت دارد ، چه بسیار ایده ها و سایت هایی که هر روزه در گورستان هاردها مدفون می شوند.
مدیران ، برنامه ریزان و طراحان خبره وب به خوبی می دانند که فقط طراحی یک وب سایت تضمینی برای آمدن بیننده به آن نیست ، بلکه باید بینندگان را به طریقی به سایت جذب کرد. کاربران وب تنها به دنبال رفع نیاز های خود می باشند و مجبور نیستند به هر قیمتی که شده سایت ما را بیابند.
برای بالا بردن شمار بینندگان وب سایت تان چه تدابیری اندیشیده اید؟

وقتی جستجویی در یک موتور جستجو انجام و نتایج جستجو ارایه می شود ، کاربران در واقع نتیجه ی همکاری بخش های متفاوتی از آن را می بینند. موتور جستجو قبلا پایگاه داده خود را آماده کرده است و این گونه نیست که درست در همان لحظه ی جستجو ، تمام وب را بگردد تا پاسخی برای پرسش کاربر بیابد .

بسیاری از خود می پرسند که چگونه امکان دارد گوگل در کمتر از یک ثانیه تمام سایت های وب را بگردد و میلیون ها صفحه در خروجی خود لیست کند؟ در حقیقت گوگل و هر موتور جستجوی دیگری توانایی انجام چنین کاری را ندارد . همه ی آن ها در زمان پاسخ گویی به کاربران ، تنها در پایگاه داده ای که در اختیار دارند به جستجو می پردازند و نه در همه وب!
موتور جستجو به کمک بخش های مختلف خود ، اطلاعات مورد نیاز را قبلا جمع آوری ، تجزیه و تحلیل می کند ، آن ها را در پایگاه داده اش ذخیره می کند و به هنگام جستجوی کاربر ، تنها در همین پایگاه داده می گردد.
موتور جستجو را می توان شامل سه بخش اصلی دانست که عبارتند از :
• جمع آوری کننده اطلاعات ، اسپایدر (Spider)
• بایگانی کننده داده ها ، ایندکسر (Indexer)
• تحلیل گر درخواست کاربر (Query Processor)
الف ) جمع آوری کننده اطلاعات ( اسپایدر ، روبوت یا کراولر Spider , Robot , Crawler )