نحوه جستجو روبات سایت گوگل

مدیر سایت

امروزه،تعداد بازدید و ترافیک دریافتی هر وب سایت تا مقدار زیادی محتاج موتور های جستجو می باشد. بنابراین برای جذب مشتریان جدید و کسب درامد از طریق وب سایت خود، باید تنظیمات لازمی را جهت معرفی سایت به موتورهای جستجو انجام دهید.

معرفی فایل Robot.txt

امروزه،تعداد بازدید و ترافیک دریافتی هر وب سایت تا مقدار زیادی محتاج موتور های جستجو می باشد. بنابراین برای جذب مشتریان جدید و کسب درامد از طریق وب سایت خود، باید تنظیمات لازمی را جهت معرفی سایت به موتورهای جستجو انجام دهید. این تنظیمات در صورتیکه به درستی انجام نپذیرند نیز می توانند در برخی از مواقع، برای سایت شما مشکل ساز شده و حتی باعث متحمل شدن ضرر مالی برای شما گردند. بنابراین تسلط به راهکار های کنترلی و اعمال محدودیت های لازم در این زمینه یکی از عوامل ضروری برای نگهداری وب سایت می باشد.

به غیر از تنظیمات هر موتور جستجو که با معرفی وب سایت به آن و معمولا از طریق ابزارهای Webmasterهمان موتور خاص انجام می پذیرد، پاره ای دیگر از تنظیمات کلی را نیز می تواند به صورت مرکزی در وب سایت خود اعمال نمود، تا با استفاده از آن، مواردی همچون ایندکس شدن وب سایت در یک موتور خاص، ایندکس شدن پوشه هایی خاص و ... را تنظیم نمود.

تمامی موارد فوق الذکر را می توان از طریق قرار دادن فایل متنی ساده ای به نام Robot.txtدر فضای وب سایت اعمال نمود. مدیران وب سایت با استفاده از این فایل توضیحات لازمی را برای روبات های موتورهای جستجو آماده می کنند که به این توضیخات Robots Exclusion Protocolگفته می شود.

برای مثال فرض کنید که روبات سایت گوگل قصد چک نمودن آدرس وب سایت شما را به آدرس (http://www.example.com/welcome.html) دارد. در صورتیکه شما از قبل فایل Robot.txtلازم را در فضای میزبانی خود قرار داده باشید، بنابراین روبات گوگل قبل از رفتن به URLاصلی وب سایت شما به URLفایل مذکور یعنی http://www.example.com/robot.txtرجوع نموده و با عبارت زیر مواجه می گردد :

User-agent: *

Disallow: /

 

عبارت User-agent*مشخص می کند که تنظیمات پیش رو در خط های بعدی باید بر روی تمامی روبات ها (ازجمله روبات های گوگل، یاهو و بینگ(اعمال شوند. و عبارت Disallow/اجازه دسترسی هیچ روباتی را به هیچ یک ازپوشه ها یا فایلهای مربوطه نمی دهد. بنابراین زمانیکه روبات گوگل نیز با این عبارات مواجه می شود، دیگر آدرس دیگری از سایت را مشاهده و ایندکس نمی کند.

 

دونکته قابل ملاخضه در زمان کار با فایل Robot.txtوجود دارد :

-     برخی از روبات ها، مخصوصا روبات های مخرب (Malware) می توانند فایل Robot.txtشما را نادیده بگیرند. برخی از روبات های مخرب از اینکار استفاده کرده تا قادر باشند وب سرور را برای مشاهده ضعف های امنیتی اسکن نمایند و یا آدرس ایمیل های مفید را برای افراد اسپمر جمع آوری کنند.

-     فایل Robot.txtبرای نمایش به عموم آزاد می باشد. بنابراین همه میتوانندتنظیمات اعمال شده توسط شما را در این فایل مشاهده نمایند.

بنابراین بهتر است از این فایل برای مخفی نمودن اطلاعات خود استفاده نکنید.

 

چگونگی ساخت فایل Robot.txt

 به سادگی می توانید فایلی با فرمت txtدر داخل پوشه روت فضای وب سایت خود ساخته و کدهای مربوطه را داخل آن تایپ نمایید. در ساخت این فایل دقت نمایید که نام آن را تماما با حروف کوچک یعنی robot.txtبنویسید.

محتویات فایل

فایل Robotیک فایل متنی بوده که شامل یک تا چند رکورد می باشد. نمونه کد زیر مثالی از محتویات فایل Robot.txtمی باشد :

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~joe/

در نمونه کد فوق، دایرکتوری های cgi-bin، tmpو همچنین ~joeاز لیست فولدرهای قابل ایندکس شدن حذف گردیده و روبات موتور جستجو از پوشه های مذکور صرف نظر می کند.       

دقت نمایید که برای خارج نمودن چند فولدر از لیست ایندکسینگ باید هریک را همانند مثال فوق در سطری جداگانه تعریف نمایید و امکان درج آن ها به صورت یکجا یعنی Disallow: /cgi-bin/ /tmp/" وجود ندارد.

علامت ستاره "*" به معنای تمامی روبات های جستجو گر می باشد.

خارج کردن فولدرهای خاص از لیست ایندکسینگ وب سایت بسته به نوع سرور و وب سایت شما متفاوت می باشد و باید با درنظر گرفتن نکات مختلفی انجام پذیرد. در هر حال در دسترس خارج کردن تمامی پوشه ها از تمامی روبات ها چندان توصیه نمی شود، زیرا با این کار سایت شما دیگر توسط روبات ها ایندکس نشده و در نتایج موتورهای جستجو نیز نمایش داده نمی شود. در ادامه برخی از نمونه کدهای مورد استفاده در فایل Robot.txtشرح داده می شود.

برای ممنوع نمودن تمامی روبات ها از کل وب سایت (یا سرور) مورد استفاده قرار می گیرد.

User-agent: *

Disallow: /

برای فراهم شدن دسترسی تمامی روبات ها به تمامی پوشه های وب سایت    

User-agent: *

Disallow:

(برای اینکار می توانید همچنین یک فایل Robot.txtخالی تهیه کرده و یا اصلا آن را ایجاد نکنید تا در این صورت به طور پیشفرض روبات ها به تمامی وب سایت شما دسترسی داشته باشند.)

جهت خارج نمودن سه فولدر از لیست ایندکسینگ روبات ها

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /junk/

برای ممنوع کردن یک روبات خاص از دسترسی به سایت

User-agent: BadBot

Disallow: /

برای اعطای دسترسی به یک روبات خاص

User-agent: Google

 

Disallow:

دیدگاه شما

دیدگاه های ارسال شده توسط شما، پس از تایید مدیر سایت در وب سایت منتشر خواهد شد.
پیام هایی که حاوی تهمت یا افترا باشد منتشر نخواهد شد.
پیام هایی که به غیر از زبان فارسی یا غیر مرتبط با خبر باشد منتشر نخواهد شد.