.

ربات خزنده گوگل

آشنایی با ربات خزنده گوگل و نحوه کار کردن آن

تهیه شده توسط رضا گلچین

محمدرضا گلچین | کارشناس سئو و دیجیتال مارکتینگ در شرکت تابان شهر
E

ربات خزنده گوگل

ربات خزنده گوگل | Crawler & Spider

Spiders

Spiders

crawler

Crawler

ربات خزنده گوگل چیست ؟

ربات خزنده گوگل چیست ؟ در این مقاله می خواهیم در مورد ربات خزنده گوگل ، Crawler و Spiders (Robots) صحبت کنیم. حتما همه شما اسم این دو نرم افزار رو شنیده اید. هر دو این برنامه ها اسکریپت های اتوماتی هستند که طبق الگوریتم های پیچیده ای کار می کنند. ممکن است این دو از نظر تکنیکالی یک تعریف داشته باشند اما از نظر کاری که انجام می دهند کمی با یکدیگر متفاوت هستند.

Crawler یا کراولر

ربات خزنده گوگل Crawler نیست، اسپایدرها را ربات های خزنده گوگل می گویند. پیشنهاد می کنم اول کاملا با کراولر و کار هایی که انجام می دهد بپردازیم و بعد از آن در ادامه به اسپایدر ها یا همان ربات خزنده گوگل می پردازیم. زمانی که سایتی را راه اندازی می کنیم، وظیفه Crawler است که به صورت کلی و کامل سایت ما را بررسی کند،تمامی فرآیند هایی که در سئو سایت نیز انجام می دهیم توسط آن قابل مشاهده است. جمع آوری اطلاعات و محتوای سایت، شناسایی حوزه و محیط جغرافیایی کاری سایت، تست سرعت هاستینگ و میزان تعامل وبسایت برخی از کارهایی است که Crawler انجام می دهد. در واقع این برنامه کمک بسیاری به موتور های جست و جو می کند. هر موتور جست و جو می تواند Crawler مخصوص خودش را داشته باشد و با نام های مختلف. به عملی که Crawlers انجام می دهند، Crawl یا خزش می گویند. و اما، کراولر ها در واقع فرمانده اسپایدر ها به حساب میان یعنی این کراولر است که تعیین می کند اسپایدر ها کدام صفحات را بررسی کنند، کدام لینک ها را پیگیری کنند و … . مسئولیت رتبه بندی هر صفحه نیز به عهده Crawler می باشد و اگر در صفحه شما اتفاقی بیوفتند Spider هایی که نیاز باشد را به صفحه شما میفرستد تا کاملا بررسی کنند. البته ناگفته نماند که شما می توانید دسترسی کراولر به بعضی از قسمت های سایت خود را محدود کنید و کراولر اگر قانونمند باشد به این قسمت ها ورود نمی کند. این اسکریپت اتومات طبق الگوریتم های بسیار پیچیده ای که دارد کار می کند و در واقع اصلی ترین کمک کننده به موتورهای جست و جو کراولر ها هستند.

Google Spiders

Spiders یا اسپایدرها

ربات خزنده گوگل یا همان اسپایدر ها انواع مختلفی دارند. در واقع وقتی می گوییم صفحه ما کرال شده است منظور این است که یکی از ربات ها و یا اسپایدر ها به دستور کراولر صفحه ما را کراول کرده اند. اگر به پنل Google Search Console دقت کنید خواهید دید که نوشته شده صفحه شما در این تاریخ توسط این ربات کراول شده است.

هرکدام از ربات های خزنده گوگل موضوع به خصوصی را در سئو On Page بررسی می کنند. به عنوان مثال یک نوع از اسپایدرها فقط عکس های صفحه را بررسی می کنند مانند Google Image و یا یک نوع از آن ها فقط فعالیت صفحه یا همان Activity را بررسی می کند؛ نوعی دیگر ربات خزنده گوگل وظیفه بررسی لینک های صفحه را دارد و … . علت اینکه به اسپایدر ها ربات نیز می گویند این است که اسپایدر ها کاملا شبیه به یک انسان و کاربر واقعی صفحه شما را بررسی می کنند. تمامی تصاویر  و محتوا را مشاهده می کنند و می خوانند و در تمامی لینک ها سرکشی می کنند. آن ها در واقع کد های HTML صفحه را می بینند و کاربران نتیجه حاصل شده از کنار هم قرار گرفتن این کد ها اما چون اسپایدر ها انسان نیستند به آن ها ربات می گویند.

به مشاوره سئو نیاز داری ؟ اینجا کلیک کن!

ربات خزنده گوگل چگونه کار می کند ؟

ربات خزنده گوگل همانطور که گفتیم به دستور کراولر و الگوریتم هایی که دارد فرآیند هایی را انجام می دهد. معمولا برای هر وبسایت سه مرحله انجام می شود:

1. شناسایی صفحات

ربات خزنده گوگل اول از همه سعی می کند تا صفحات وبسایت را شناسایی کند که به این عمل همان Crawling یا Spidering می گویند. اسپایدر ها بعد از این بررسی لیستی از کلمات و جملاتی آماده می کنند که از صفحات شما پیدا کرده اند. برای همین است که در سئو سایت ما یک فایل با پسوند XML آماده می کنیم که به آن Site Map نیز می گوییم تا توسط آن بتوانیم به اسپایدر ها کمک کنیم تا صفحات را راحت تر شناسایی کنند. اولین چیزی که اسپایدر ها به سراغ آن می روند و آن را بررسی می کنند، نقشه سایت ما می باشد.

2. ایندکسر (Indexer)

ربات خزنده گوگل در این مرحله با توجه به لیستی که آماده شده است، یک دیتابیس می سازد و دقیقا صفحاتی که آن ها باید با یک کلمه کلیدی مشخص بررسی شوند را پیدا می کند و آن ها را تشخیص می دهند. اسپایدر ها بر این اساس می توانند کلمات کلیدی هر صفحه را تشخیص دهند و صفحات مهم رو پیدا کنند و آن ها را در دیتابیس گوگل ذخیره سازی می کنند که به تمام این فرآیند ایندکس یا Indexing می گویند.

3. پردازش کلمات

در این مرحله زمان آن فرا رسیده که بعد از بررسی هایی که روی وبسایت شما انجام شده و تکمیل شدن لیست و ایندکس شدن صفحات، کلمات شما پردازش شوند و به آن رتبه ای داده شود. منظور از این پردازش همان فرآیندی است که باعث می شود صفحات ما با یکسری کلمات مشخص و مخصوص ۀن صفحه که هدف ما نیز هستند رتبه بگیرند.

انواع ربات های خزنده گوگل

Googlebot(desktop) :

این ربات از مرورگر های مختلف و در حالت دسکتاپ سایت شما را بررسی می کند تا ایرادی وجود نداشته باشد.

Googlebot(mobile) :

این ربات نیز از مرورگر های مختلف و ورژن های مختلفی مانند اندروید و IOS سایت شما را بررسی می کند.

Googlebot(video) :

همانطور که از نامش مشخص ااست این ربات مسئول چک کردن ویدیو های موجود در صفحه شما می باشد.

Googlebot(AdBots) :

این ربات مسئول چک کردن کیفیت تبلیغات است همچنین ربات دیگری به نام AdSence این کار را نیز انجام میدهد.

شاید دوست داشته باشید بدانید

نظرات شما عزیزان…

0 Comments

ارسال نظر

نشانی ایمیل شما منتشر نخواهد شد.