18 روش که رفتار وب سایت شما برای خزنده های موتورهای جستجو را دوستانه می کند

1. مسدود کردن  ایندکس یا  فهرست بندی صفحه برای ربات ها از طریق متا تگ
2. عدم رد گیری پیوند های صفحه
3. مسدود کردن دسترسی به صفحات برای ایندکس یا  نمایه سازی از طریق robots.txt
4. خطاهای URL
5. URL های قدیمی
6. صفحات با دسترسی ممنوع
7. خطاهای سرور
8. ظرفیت محدود سرور 
9. تنظیمات بد وب سرور
10. خطاهای قالب
11. صفحات اشتباه در نقشه سایت
12. پیوند داخلی بد
13. ریدایرکت یا تغییر مسیرهای اشتباه
14. سرعت بارگذاری کم
15. صفحه تکراری ناشی از معماری ضعیف وب سایت
16. کاربری های JS و CSS
17. محتوای فلش
18. فریم های HTML

مواردی که در پی می آید را به دو دسته تقسیم می کنیم: مواردی که شما می توانید توسط خودتان حل کنید و مواردی را که باید از یک توسعه دهنده یا یک وب مستر یا مدیر سیستم بهره مند شوید. اجازه دهید فرض کنیم شما  پیشینه این کار و مهارت های لازم برای آن را  دارید ، بنابراین تفکیک این دو  را به خودتان  وا میگذاریم.
اما همینقدر بگوییم که:
منظور ما از "حل کردن توسط خود شما" این است که: شما می توانید کد صفحات وب سایت و فایلهای روت را دستکاری کنید. همچنین شما باید دانش کافی در زمینه کد نویسی را داشته باشید (اینکه یک قطعه کد را در مکان مناسب و به روش صحیح تغییر یا جایگزین کنید).
و منظور ما از "کمک از یک متخصص: کلیه مهارت های لازم برای مدیریت سرور و یا مهارت های توسعه گر (=دولوپر)  وب مورد است.
ابتدا به مواردی بپردازیم که خزش یا کراون کردن خزشگر یا کراونر های موتورهای جستجو توسط فایل robot.txt یا متاتگ ها محدود یا ممنوع شده است
​ با بررسی تگ های متا و فایل robots.txt ، رفع مشکلاتی که  در پی میاید بسیار ساده است و می توان آنها را حل کرد ، به همین دلیل ابتدا باید به این موارد توجه کنید. کل وب سایت یا صفحات خاص به دلایلی ساده توسط گوگل ممکن است ناشناخته باقی بماند: یا کراوکرهای سایت آن مجاز به ورود به آنها نیستند، که چندین دستور bot وجود دارد که از خزیدن صفحه جلوگیری می کند. و خوب واضح است که  قرار دادن بدون دانش این پارامترها در robots.txt اشتباه است؛ با استفاده صحیح و دقیق از این پارامترها کمک می کند تا در زمان خزیدن صرفه جویی شود و به رباتها جهت دهی لازم برای یافتن مسیر دنبال کردن صفحات مورد نظر خود را بدهد.
1. مسدود کردن  ایندکس یا  فهرست بندی صفحه برای ربات ها از طریق متا تگ
اگر کد زیر را در صفحه ای داشته باشید، ربات جستجو حتی به محتوای صفحه شما نگاه هم نمی کند و مستقیماً به صفحه بعد تغییر مسیر می دهد. در ابتدا می توانید این مسئله را بررسی کنید که کد صفحه شما حاوی این دستور خط هست یا نه :​

2-  عدم رد گیری پیوند های صفحه
در اینجا برخلاف  بند قبلی صفحه فهرست برداری می شود اما ربات پیوندهای آورده شده را در نظر نمی گیرد در حالیکه باید تمام آن لینک ها را دنبال کند اما جرا این اتفاق می افتذ؟
در صفحه خود دنبال این کد بگردید

​​6. صفحات با دسترسی ممنوع
اگر صفحاتی از وب سایت شما ، به عنوان مثال کد وضعیت 403 را باز می گردند ، ممکن است که این صفحات فقط برای کاربران ثبت نام شده قابل دسترسی باشد. این پیوندها را به عنوان nofollow علامت گذاری کنید تا زمان ربات های موتورهای جستجگوگر صرف خزیدن پوچ هدر نرود.
7. خطاهای سرور
تعداد بیش از هد خطاهای 5xx (به عنوان مثال خطای 502) ممکن است علامتی از مشکلات سرور باشد. برای حل آنها ، لیست صفحات با خطا را در اختیار شخص مسئول توسعه و نگهداری وب سایت قرار دهید. این فرد باید از اشکالات یا مشکلات پیکربندی وب سایت که باعث خطاهای سرور می شوند ، مطلع شود تا بتواند برایرفع آنها اقدام کند.
8. ظرفیت محدود سرور 
در صورت ترافیک یا بارگیری بیش از حد سرور شما ، ممکن است پاسخ به درخواست های کاربران و ربات ها متوقف شود. هنگامی که این اتفاق می افتد ، بازدید کنندگان شما پیام "اتصال به پایان رسیده" را دریافت می کنند. این مشکل فقط می تواند توسط متخصص نگهداری وب سایت حل شود که تخمین بزند ظرفیت و ظرفیت سرور باید افزایش یابد یا خیر.
9. تنظیمات بد وب سرور
این یک مشکل بزرگ خواهد بود. با تنظیم بد سرور این سایت می تواند برای شما به عنوان یک انسان کاملاً قابل رویت باشد ، اما پیغام خطایی را برای خزندگان سایت به وجود آورد ، بنابراین تمام صفحات یا تعدادی از آنها برای خزیدن در دسترس نیستند. این می تواند به دلیل پیکربندی خاص سرور رخ دهد: برخی از فایروال های برنامه وب (به عنوان مثال Apache mod_security) به طور پیش فرض Google bot و سایر ربات های جستجو را مسدود می کنند. به طور خلاصه ، این مشکل با تمام جوانب مرتبط باید توسط یک متخصص حل شود.
رسیدیم به بخشی از داستان که به نقشه سایت مربوط میشود
نقشه سایت به همراه robots.txt اولین اشخاصی را که هدف قرار می دهند خزنده های جستجوگرها می باشد. یک نقشه سایت صحیح به آنها کمک می کند که سایت شما به روشی که می خواهید ایندکس شوند، فهرست برداری شود. بیایید ببینیم چه اتفاقی می افتد وقتی که ربات جستجو  به نقشه سایت (های) شما برخوردمی کند.
​10. خطاهای قالب
چندین نوع خطای قالب سایت وجود دارد ، به عنوان مثال URL نامعتبر یا متاتگ ها و برچسب های از دست رفته (لیست کامل ، به همراه راه حل برای هر کدام ازاین خطا ها را در اینجا ببینید ).
همچنین ممکن است شما در اولین گام متوجه شوید که به اشتباه مسیر نقشه سایت شما توسط robots.txt مسدود شده است. این بدان معنی است که ربات ها نمی توانند به محتوای نقشه سایت دسترسی پیدا کنند. و از آن استفاده کنند.
11. صفحات اشتباه در نقشه سایت
رسیدیم به محتوا. حتی اگر برنامه نویسی وب نباشید ، می توانید درستی ارتباط URL ها را در نقشه سایت تخمین بزنید. نگاهی دقیق به URL های موجود در نقشه سایت خود بیندازید و اطمینان حاصل کنید که هر یک از پیوندها: مرتبط ، به روز شده و صحیح (بدون خط مشی و اشتباه) است. چرا که زمان خزیدن محدود است و ربات ها نمی توانند در کل وب سایت حرکت کنند ، علائم نقشه سایت می تواند به آنها کمک کند که ابتدا صفحات با ارزش را فهرست کنند. و اگر اقرار باشد نقشه سایت ها اشتباه مسیر دهی کند کارها به هم می ریزد. چرا که موتوهای جستجو بر حسب اعتمادی که به نقشه سایت شما می کنند در هر بار  شروع به خزش به داشته های خود اعتماد نمی کنند و به آنچه که در سایت مپ آمده اعتماد می کنند. پس این هشدار را جدی بگیرید که سایت مپ نباید مسیر غلط به رباتها بدهند و رباتها را با دستورالعمل های بحث برانگیزدر نقشه سایت به اشتباه نیندازید
​اطمینان حاصل کنید که آدرس های موجود در نقشه سایت شما از فهرست بندی توسط فرامین متا یا robots.txt مسدود نمی شوند.
موضوعات بعدی نکاتی برای حل مشکلات است. به همین دلیل توصیه می کنیم قبل از اینکه به موارد زیر برسید مراحل قبلی را طی کنید.
این دسته از مشکلات که مربوط به معماری سایت است می تواند باعث خنثی کردن یا مسدود شدن خزندگان در وب سایت شما شود.
12. پیوند داخلی بد
در یک ساختار وب سایت به خوبی بهینه شده ، تمام صفحات یک زنجیره بی مشکل را تشکیل می دهند ، به گونه ای که خزنده سایت می تواند به راحتی به هر صفحه برسد.
و متقابلا در یک وب سایت غیرقابل استفاده صفحات خاصی از دید خزنده خارج می شوند. دلایل مختلفی برای آن وجود دارد که می توانید با استفاده از ابزار  Site Audit  توسط SEMrush به راحتی مشکلات زیر را تشخیص و طبقه بندی کنید:

• صفحه ای که می خواهید رتبه بندی کنید با هیچ صفحه دیگری در وب سایت مرتبط نیست. به این ترتیب دیگر فرصتی برای یافتن و فهرست بندی توسط ربات های جستجو وجود ندارد.
• بین صفحه اصلی و صفحه مورد نظر لینک های واسط زیادی قرار داده شده است. روش معمول اتصال صفحه اصلی با زیر صفحه ها حداکثر 4 پیوند یا کمتر است ، در غیر این صورت این احتمال وجود دارد که ربات به آن نرسد.
• پیوند های زیاد مثلا بیش از 3000 پیوند فعال در یک صفحه (کار بیش از حد برای خزنده).
• پیوندها در عناصر سایت غیرقابل توصیف پنهان شده اند: ارسال فرم ، فریم ، پلاگین های مورد نیاز (اول از همه جاوا و فلش).

در اکثر موارد ، مشکل اتصال داخلی چیزی نیست که بتوانید در یک گام حل کنید. بلکه به بررسی عمیق ساختار وب سایت با همکاری توسعه دهندگان نیاز دارید.
13. ریدایرکت یا تغییر مسیرهای اشتباه
تغییر مسیر جهت هدایت مجدد کاربران به صفحه مرتبط تر یا جدیدتر (یا بهتر ، صفحه ای که صاحب وب سایت دیدن آن را در این زمان مناسب تر می داند) لازم است. در اینجا کارهایی که ممکن است هنگام کار با تغییر مسیرها نادیده گرفته شود:
من اینجا یک بحث دقیق و موشکافانه را برای تغییر مسیر یا ریدایرکت بازکردم: همه چیز درباره ریدایرکت یا تغییر مسیر
باز با این حال یک توضیح اجمالی می دهم
تغییر مسیر موقت به جای دائم: یکی از کارهای ناپسند استفاده از 302 یا 307 برای تغییر مسیر است،  چرا که اگر لینک بالا را مطالعه کرده باشید آنجا گفتم که تغییر مسیر موقت سیگنالی است برای خزندگان که دوباره و دوباره به صفحه برگردند و زمان خزیدن را خرج کنید که مبادا لینک منقضی شده باشد. بنابراین ، اگر بدانید که صفحه ای که از آن ریدایرکت می شوید دیگر نیازی به ایندکس شدنندارد ، از تغییر مسیر 301 (دائمی) برای ریدایرکت آن استفاده کنید.
تغییر مسیر حلقه: ممکن است رخ دهد که دو صفحه به یکدیگر هدایت شوند. بنابراین ربات در یک حلقه گرفتار می شود و تمام زمان  خزیدن را هدر دهد. تغییر مسیرهای متقابل نهایی را دوبار بررسی و حذف کنید.
14. سرعت بارگذاری کم
هرچه سرعت بارگذاری صفحات شما سریعتر باشد ، خزنده سریعتر به سراغ پیوند بعدی می رود. هر ثانیه هم مهم است(هر ثانیه در یک سایت سریع معادل ایندکس شدند چندین پیوند است). و رنکیج شما یا موقعیت وب سایت در SERP با سرعت بارگذاری در ارتباط مستقیم است .

برای بررسی  سرعت وب سایت از Google Pagespeed Insights استفاده کنید. اگر سرعت بار بتواند کاربران را از بین ببرد ، می تواند چندین عامل مؤثر بر آن باشد.

عوامل سمت سرور: وب سایت شما به دلایلی ساده ممکن است کند شده باشد یا پهنای باند فعلی دیگر جوابگو نیست.که می توانید پهنای باند بیشتر را با قبول هزینه بیشتر از ارایه کننده سرور خود خریداری کنید

عوامل فرانت اند یا Front-end: یکی از مکررترین موارد کد غیرمجاز است. اگر حاوی اسکریپت های بزرگ و افزونه ها را درست استفاده نکنید ، سایت شما در معرض خطر است.
در موردی شخصا شاهد بودم که یک افزونه بد تا 10 ثانیه بارگذاری را کند کرده بود (درست است که داریم از ربات ها حرف می زنیم و به ظاهر کدهای جاوا اسکریپت تاثیری بر روی عملکرد رباتها ندارند اما همانطور که در فاکتور Speed Index گوگل دیده میشود کاملا تاثیر گذار است و در موردی که گفتم شاهدش بودم تا 5 ثانیه Speed Index رباتهای گوگل را پایین کشیده بود) همچنین فراموش نکنید که به طور مرتب بررسی کنید که تصاویر ، فیلم ها و سایر مطالب از این دست بهینه شده باشند و سرعت بارگذاری صفحه را کاهش نمی دهند.
15. صفحه تکراری ناشی از معماری ضعیف وب سایت
محتوای تکراری یا duplicate pages شایع ترین مشکل در SEO است که طبق مطالعه اخیر SEMrush  رایج ترین مشکل جستجوگرها ("11 Most Common On-site SEO Issues.") در 50٪ سایت ها دیده شده است . این یکی از دلایل اصلی عدم تأمین به زمان خزیدن است. Google زمان محدودی را به هر وب سایت اختصاص می دهد ، بنابراین با فهرست بندی همان مطالب ، از هدر رفتن نامناسب زمان اجتناب کنید. مشکل دیگر این است که خزندگان سایت نمی دانند کدام نسخه قابل اعتمادتر است و ممکن است در پیدا کردن اولویت صفحات اشتباه کنند ، مادامی که شما از موارد قانونی برای پاک کردن موارد کهنه شده استفاده نکنید. یا تگ ها خوب مسیر دهی نشده باشند یا....

برای رفع این مشکلات باید صفحات تکراری را شناسایی کرده و از خزیدن آنها به یکی از روش های زیر جلوگیری کنید:

• صفحات تکراری را حذف کنید
• پارامترهای لازم را در robots.txt تنظیم کنید
• پارامترهای لازم را در برچسب های متا تنظیم کنید
• تغییر مسیر 301 را تنظیم کنید
• از rel = canonical استفاده کنید

16. کاربری های JS و CSS
در سال 2015 گوگل رسما ادعا کرد: "تا زمانی که شما Googlebot را از خزیدن به پرونده های JavaScript یا CSS خود مسدود نکنید ، ما قادریم صفحات وب شما را مانند مرورگرهای مدرن ارائه دهیم و محتوای آن را بفهمیم ." که این مطلب اینجا گفته شده: render and understand your web pages like modern browsers این ادعا برای موتورهای جستجو دیگر نیست. (یاهو ، بینگ ، و غیره) هر چند. می توان این معنا را از آن استخراج کرد که با عدم دسترسی دادن به موتورهای جستجو به کدهای جاوئا اسکریپت و استایل شات ها (css) در بعضی موارد نمایه سازی صحیح تضمین نمی شود.
در پایان این داستان من رسیدم به مواردی که دیگر یا دیده نمی شود یا کمتر دیده می شود و به همین دلیل هم من این دو مورد را در پایان قرار دادم
منابع منسوخ شده:
​​ 17. محتوای فلش:
استفاده از Flash یک شیب رو به پایین دارد که هم برای  UX  یا تجربه کاربر (فایلهای فلش در برخی از دستگاه های تلفن همراه پشتیبانی نمی شوند) و هم برای SEO. توصیه نمی شود 
من ده سال پیش مطلبی را در وبلاگ قدیمی خودم منتشر کردم که اینجاست: گوگل و جستجوی محتوا در متن فایلهای فلش
که بطور ضمنی گفته شد که « در کل گوگل فلش را در حاشیه می بیند و توجه جدی به آن ندارد اما در بینگ توجه خاصی به سایتهای فلش و فیلم و عکس شده است» با این تفکر اعتقاد دارم که محتوای متنی یا پیوندی در داخل یک عنصر Flash بعید است که توسط خزندگان ایندکس شوند. بنابراین ما پیشنهاد می کنیم به سادگی از آن در وب سایت خود استفاده نکنید.
18. فریم های HTML:
اگر سایت شما حاوی فریم است، خبرهای خوب و بدی درباره آن وجود دارد که شما را با آن آشنا می کنیم.
​frame tag element ها فقط در HTML 4 معتبر بودند و در HTML 5.0، منسوخ شده اند. دلیل این منسوخ شدن رو میتونید اینجا بخوانید:Frames in HTML documents
بنابراین اگر کماکان سایت شما از فریم استفاده می کند باید آنها را با یک راه حل به روز تر در سریع ترین زمان ممکن جایگزین کنید. مثلا شما میتونید از iframe جای frame ها استفاده کنید.
خوب داستان را من به پایان رساندم
آنچه خواندید حاصل تجربیات 15 ساله من در سئو است و همه را جدی بگیرید
برای اینکه بفهمید چه عواملی خزنده های گوگل را در وب سایت شما مسدود کرده اند باید سایت خود را از صفر تا صد مرور کنید. این نیازمند به یک تلاش شدید  و دستی  است. و بعد از آن هم ب باید به صورت روزمره با ابزارهای مناسب و قابل اعتماد کار کنید. اکثر راه حل های SEMrush  برای شما مفید خواهد بود تا بتوانید مشکلات را طبقه بندی و اولویت بندی کنید ، بنابراین می توانید بلافاصله پس از تهیه گزارش از SEMrush  به اصلاحات خود مشغول شوید. علاوه بر این ، بسیاری از ابزارها دیگر هم هستند که می توانند داده های خوبی به شما بدهند ، که به شما امکان می دهد با گذشت زمان تصویر بزرگی از عملکرد فنی وب سایت خود بدست آورید.