چگونگی خزیدن موتور جستجوگر در سایت شما

چگونگی خزیدن موتور جستجوگر در سایت شما

چگونگی خزیدن موتور جستجوگر در سایت شما

علاوه بر این که می توانید مطمئن شوید موتور جستجوگر بتواند به مهم ترین صفحات شما دسترسی داشته باشد ، لازم است توجه داشته باشید که صفحاتی را در سایت خود دارید که نمی خواهید آن ها را پیدا کند. این موارد ممکن است شامل مواردی مانند URL های قدیمی که دارای محتوای بی ارزش ، URL  های تکراری مانند پارامترهای مرتب سازی و فیلتر برای تجارت الکترونیک ، صفحات کد ویژه تبلیغی ، صفحات استقراری یا تست و غیره باشد.

عملکرد موتور جستجوگر

مسدود کردن صفحات در مقابل موتور جستجوگر همچنین می تواند خزنده ها را به اولویت بندی مهم ترین صفحات خود و به حداکثر رساندن بودجه خزیدن خود از جمله میانگین تعداد صفحات ربات موتور جستجو در سایت شما ، وادار کند.

دستور العمل های خزنده به شما اجازه می  دهد آن چه را که با Googlebot  می خواهید ردیابی و فهرست کنید با استفاده از یک فایل  robots.txt ، متا تگ ، فایل sitemap.xml یا  Google Search Console کنترل کنید.

robots.txt

فایل های  Robots.txt در دایرکتوری ریشه وب سایت ها به عنوان مثال yourdomain.com/robots.txt  قرار می گیرند و پیشنهاد می دهند که کدام بخش های موتور جستجوگر سایت شما نباید از طریق دستورات robots.txt خاص رد شوند.

Pro tip

اگر Googlebot نتواند یک فایل robots.txt در یک سایت پیدا کند، پس به سمت خزیدن در سایت می رود.

دستورات متا

دو نوع دستورات متا که معمولا استفاده می شود عبارتند از ربات متا و ربات x-robot . هر یک از خزنده ها با دستورالعمل های قوی تر در مورد نحوه خزیدن و فهرست محتوای یک URL اجرا می شوند.

نقشه های سایت

یک نقشه سایت فقط چیزی است که شبیه یک لیست از URL ها در سایت شما است که crawlers می توانند برای کشف و فهرست مطالب خود استفاده کند. یکی از ساده ترین راه های اطمینان از این که گوگل در جستجوی صفحات پر بیننده تر است ، ایجاد فایلی است که مطابق با استانداردهای گوگل است و از طریق  Google Search Console می توان آن را ارسال کرد.

با تشکر از همراهی شما با وب سایت دیجیتال مارکتینگ

Share this post

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *