آموزش کامل و رایگان سئو سایت| بخش دوم (ساخت فایل robots.txt)
در بخش قبل اولین بخش از آموزش سئو یعنی سئو متا تگ که بطور اختصاصی توسط هایپر تمپ ایجاد شده بود را خواندید . در این پست گروه هایپر تمپ دومین بخش از آموزش کامل سئو سایت را برای شما آماده کرده است . این آموزش نیز کاملا اختصاصی میباشد و در صورتی که از آن جایی استفاده میکنید حتما نام و لینک هایپر تمپ را در پایین آن درج کنید . همانطور که میدانید بیشتر رتبه بندی سایت‌ها در گوگل و دیگر موتور‌های جستجو به مقدار رضایت روبات آن‌ها از سایت شماست . بستن لینک‌های اسپم و عدم دسترسی روبات به لینک‌های اسپم سایت شما یکی از مهمترین بخش‌های سئو سایت و بخشی است که در رتبه سایت شما تاثیر زیادی دارد . برای این کار باید ساخت فایل robots.txt فرا گرفته آن را بسازید و در روت‌هاست خود آپلود نمایید . در ادامه به تشریح نحوه ساخت و دستور ساخت فایل روبوت میپردازیم . در رزبلاگ این امکان فراهم شده است که بتوانید فایل ربات بسازید
مهمترین دستوری که در فایل robots.txt کاربرد زیادی دارد دستور Disallow که با استفاده از این دستور میتوان از بررسی و ایندکس شدن صفحه یا پوشه ای توسط روبات موتور جستجو جلوگیری کرد برای مثال دستور /Disallow: /wp-admin از بررسی و ایندکس پوشه wp-admin در‌هاست شما جلوگیری میکند . دقت کنید که برای هر پوشه دستور disallow جداگانه بنویسید و همچنین اگر جلوی دستور disallow را خالی بگذارید هیچکدام از صفحات سایت شما ایندکس نمیشوند .
برای مشخص کردن اینکه کدام روبات سایت شما را ایندکس کند از دستور user-agent در ابتدای فایل robots.txt استفاده میشود برای مثال user-agent: googlebot باعث میشود که ربات گوگل بتواند صفحاتی که disallow نیستند را ایندکس کند اگر در جلوی دستور user-agent علامت* قرار دهید باعث میشود تا همه روبات‌ها مجاز باشند سایت شما را بررسی و ایندکس کنند .
آموزش سئو – بخش دوم – ساخت فایل robots.txt
هر سایت باید یک فایل robots.txt داشته باشد که در روت‌هاست آن آپلود شود پس مجاز به ساخت چند فایل robots.txt نیستید . سعی کنید در فایل روبوت از حروف کوچک انگلیسی استفاده کنید . بهتر است در ساخت این فایل از دستور allow استفاده نکنید و فقط لینک‌های اسپم را disallow کنید . در پایان فایل robots.txt نیز آدرس سایت مپ پایگاه اینترنتی شما به صورت sitemap:address آورده میشود که آموزش ساخت سایت مپ را در بخش‌های بعدی خواهیم گفت.در آخر یک فایل robots.txt نمونه برای مدیریت محتوای وردپرس و رزبلاگ فایل روبات خود سایت هایپر تمپ هست که همه دستورات گفته شده در آن آمده است از روی آن نیز میتوانید متن بالا را به خوبی درک کنید .هر گونه مشکل را از طریق دیدگاه‌های همین پست یا بخش ارتباط با ما با هایپر تمپ در میان بگذارید
