Googlebot با ربات گوگل چیست ؟
Googlebot یک ربات خزنده وب است که توسط گوگل استفاده می کند.
گوگل از این ربات برای بررسی و پیدا کردن صفحات وب استفاده می کند. اطلاعات جمع آوری شده توسط Googlebot برای بروزرسانی فهرست نمایش نتایج گوگل استفاده می شود.
گوگل بوت به میلیارد ها صفحه وب در سراسر دنیا سرکشی می کند و دائما در حال بررسی این صفحات است که اطلاعات جمع آوری شده توسط این ربات در دیتابیس های گوگل ذخیره می شوند.
خزنده وب یا Crawler چیست ؟
خزنده وب (همچنین به نام ربات یا عنکبوت هم شناخته می شود) یک نرم افزار است که از طریق URL اطلاعات وب سایت ها (صفحات وب ) را بررسی می کند و به دیتابیس مشخص ارسال می کند.
Google Bot چه کاری انجام می دهد؟
Google Bot محتوای صفحات وب (شامل کلمات, کد ها, محتوا و منابعی که صفحات وب را تشکیل داده اند) را بررسی می کند, که اگر محتوایی که بررسی می کنند دارای لینک به سایر صفحات داخل یا خارج از وب سایت در صورت FOLLOW بودن داشته باشد, آن هارا دنبال و بررسی می کند و این اطلاعات را برای گوگل ارسال می کند.
لینک nofollow و کاربردهای آن در سئو سایت
Google Bot و وب سایت شما
اطلاعاتی که این ربات برای گوگل ارسال می کند, اطلاعات نمایش نتایج گوگل را بروز می کند. Rank و یا شاخص گوگل امتیازی است که طبق آن صفحات وب سایت بررسی می شوند.
برای اینکه صفحات وب سایت شما در نتایج گوگل نمایش داده شوند , باید برای ربات گوگل قابل درک و مشاهده باشند.
موتور های جستجو چگونه کار میکندد؟
موتورهای جستجو (گوگل) برای بررسی و نمایش محتوا وب سایت شما ۳ اقدام اصلی را انجام می دهند.
- Crawling خزش در وب سایت توسط لینک ها
- Indexing تهیه یک نسخه کلی از محتوا بررسی آن
- Results نمایش نتایج مناسب در گوگل بر اساس محتوا ایندکس شده
Crawling چیست ؟
گوگل برای دسترسی به سایت و بررسی محتوا آن از ربات های نرم افزاری استفاده می کند که پیش تر در مورد آن توضیح دادیم که این ربات ها به وب سایت ها مراجعه کرده و روزانه میلیاردها صفحه وب را بررسی می کنند. این ربات ها از طریق لینک های وب سایت تمامی بخش هارا بررسی کرده ومحتوای بررسی شده را برای گوگل برای تعیین اعتبار ارسال میکنند.
Index گوگل چیست ؟
این فرآیند پس از بررسی صفحات وب توسط ربات گوگل صورت می گیرد که در این حالت گوگل یک فهرست کلی از وب سایت شما تهیه کرده و در دیتابیس خود ذخیره می کند.که در این اطلاعات با توجه به تغییرات وب سایت شما بروز رسانی می شود و هر بار که ربات گوگل به وب سایت شما سر می زند این تغییرات را ثبت می کند.
به این نکته دقت کنید تا زمانی که محتوا شما ایندکس شود به هیچ عنوان در گوگل نمایش داده نمی شود. اطلاعات جمع آوری شده از سطح وب با توجه به کوئری که کاربران
در گوگل به دنبال آن هستند نمایش داده خواهند شد که برای بررسی و ایندکس سریع تر محتوا باید به موتورهای جستجو کمک کنید.گوگل برای crawl و index محتوا از الگوریتم های ریاضی پیچیده ای استفاده میکند که تا الان کسی از این الگوریتم ها با خبر نیست .
اما طبق بررسی و تحقیق های متخصصان سئو گوگل برای بررسی و ایندکس یک محتوا از ۲۰۰ فاکتور استفاده می کند . بکار گیری این ۲۰۰ فاکتور همان پیاده سازی سئو داخلی است که می توان با رعایت استاندارد های سئو داخلی به این فاکتور ها نزدیکتر شد.
هر وبمستر چند سوال اساسی را باید از خود بپرسد
از آنجایی که فهرست نتایج گوگل درلحظه و با سرعت بالایی بروز می شوند لازم است که ربات های گوگل به محتوا شما همیشه دسترسی داشته باشند.
در این میان چند سوال مهم مطرح است که در ادامه بررسی می کنیم.
- آیا Googlebot می تواند صفحات وب سایت من را ببیند؟
- آیا Googlebot به صورت کامل به تمام محتوا و لینک های وب سایت من دسترسی دارد ؟
- آیا Googlebot می تواند به تمام منابع صفحات وب سایت من دسترسی داشته باشد؟
برای تسریع در روند ایندکس محتوا وب سایت در گوگل حتما از یک Sitemap استفاده کنید, فرقی نمیکند از چه روشی برای ساخت نقشه سایت استفاده می کنید , مهم فقط ایجاد نقشه سایت با پسوند یا نوع استاندارد XML و ثبت آن در Search Console است .
در حال حاضر گوگل با بیشترین جستجو در راس موتورهای جستجو جهان قرار دارد که طی سال های اخیر نزدیک به ۷۵ درصد جستجو هارا در دسکتاپ و ۹۵ درصد جستجو هارا در موبایل به خود اختصاص داده است .
همین امر باعث انحصار طلبی گوگل در بحث موتورهای جستجو شده است که چندی پیش ابعاد انحصار طلبی را در لرن دی ال مورد بررسی قرار دادیم.
بازاریابی محتوا یکی از روش های پر سود کسب و کارهای اینترنتی که این کسب در آمد بیشتر از طریق موتورهای جستجو صورت میگیرد و با توجه به روند انحصار طلبی گوگل این کسب و کارهای بیشتر در معرض خطر هستند.
گوگل عملا از یک موتور جستجو تبدیل به یک موتور پاسخگو شده است که این نشان از این دارد که کاربران جواب کوئری خود را در گوگل می گیرند و نیازی به سایت های تولید محتوا ندارند.
تا به اینجا تمام روی صحبت ما با گوگل بود از طرز کار این موتور جستجو تا انحصار طلب شدن , اما به این نکته هم دقت کنید که دیگر موتورهای جستجو هم در چرخه کاری ما تاثیر دارند , اما به دلیل اهمیت رفتار گوگل باید بیشتر با الگوریتم های گوگل آشنا باشیم.
موتور های جستجو همچون بینگ و یاهو و یاندکس در این چرخه قرار میگیرند که در ایران خیلی کاربرد ندارند و نمی توان روی این موتورهای جستجو تمرکز زیادی داشت و از طرفی هم ما در داخل ایران موتورهای جستجو همچون یوز و پارس جو را داریم که بنده طی ایمیلی که برای یکی از این دو موتور جستجو ارسال کردم و در خواست همکاری برای برند سازی موتورهای جستجو ایرانی را داشتم که متاسفانه پاسخی را دریافت نکردم و این موضوع باعث دلسرد شدن ما برای کمک به موتورهای جستجو بومی خواهد شد چرا که هر زمان ما اعتراض یا درخواستی را برای موتورهای جستجویی نظیر گوگل ارسال کردیم در کوتاه ترین زمان پاسخ مارا داده اند و همین موضوع یکی از عوامل مهم در شیب تند پیشرفت این غول فناوری بوده است .
برای آشنایی بیشتر با الگوریتم های گوگل از لینک های زیر مراجعه کنید :
- الگوریتم پاندا گوگل را بشناسید
- الگوریتم RankBrain گوگل را بشناسید
- الگوریتم پنگوئن گوگل را بهتر بشناسید
- الگوریتم Mobilegeddon گوگل را بشناسید
- الگوریتم مرغ مگس خوار گوگل را بشناسید
شاید می توان به این موضوع اطمینان داشت که اگر صاحب سایت های محتوا تولید کننده گوگل هم محتوایی برای نمایش و پاسخ به کاربران خود ندارد . این تنگنایی که گوگل برای کسب و کارهای اینترنتی درست کرده است مطمئنا وبمستران را دلسرد می کند.
هر کسب و کار بزرگ با شرکتی در دنیا روزی طعم شکست را چشیده است از اپل گرفته تا یاهو که هر کدام بنا به علتی محکوم به شکست شده اند و این موضوع برای گوگل هم صدق می کند.
ربط دو موضوع طرز کار موتورهای جستجو و انحصار طلبی گوگل در این مقاله هدف من بوده و فکر نکنید که غیر حرفه ای در نوشتن این مقاله عمل کرده ام , چرا که باید باور کنیم گوگل در حال پاسخگویی است و قرار داد نا نوشته ای میان موتورهای جستجو و سایت های اینترنتی را زیر پا گذاشته است .
تا اینجای مقاله پیرامون دو مبحث یکی شناحت طرز کار موتورهای جستجو که روی بیشتر صحبت ما با گوگل بود و دیگری بحث انحصار طلبی این موتور جستجو صحبت کردیم ولی شناخت عمیق تر استاندارد های گوگل به شما کمک زیادی می کند چرا که با توجه به تبدیل شدن گوگل از یک موتور جستجو به یک موتور پاسخگو کار ما برای نبرد صفحه اول نتایج سخت تر خواهد شد و ارزش لینک اول افزایش پیدا کرده است .
یکی از راه های شناخت و درک عمیق استانداردهای گوگل استفاده از ابزارهایی است که خود این شرکت در اختیار وبمستران قرار داده است .یکی از این ابزارها که رایگان هم است , ابزار Search Console است , که در رسانه آموزشی لرن دی ال این ابزار را به صورت کامل آموزش داده ایم.
در واقع این ابزار یک آنالیز از رفتار وب سایت شما در گوگل دارد و نتیجه این آنالیز رفتاری آمار و ارقامی است که در اختیار شما قرار می دهد و به راحتی می توانید با استخراج و جمع بندی این اطلاعات به همان ۲۰۰ فاکتور که در ابتدای مقاله به آن اشاره کردیم برسید.
