📌 robots.txt چیه و چرا اینقدر مهمه؟
سایت ما دو مدل بازدیدکننده داره:
آدمها (کاربرها)
رباتهای گوگل (Googlebot)
رباتهای گوگل برای اینکه بفهمن کدوم صفحه از سایت باید ایندکس بشه و کدوم نه، باید از یه مسیر مشخص عبور کنن.
اینجاست که فایل robots.txt تبدیل میشه به دفترچه راهنمای گوگل!
این فایل تعیین میکنه:
چه صفحاتی اجازه خزش داشته باشن
چه صفحاتی نباید توسط گوگل دیده بشن
چه مسیرهایی به درد رتبه گرفتن نمیخورن
و لینک سایتمپ کجاست
برای اطلاعات عمیقتر حتماً ویدیوی آموزشی رو ببین؛ چون داخلش چند تا نکته خیلی ریز گفته شده که تأثیر مستقیم روی نتایج داره.
این آموزش خیلی به سئوی سایتت کمک میکنه!
اگه میخوای بدونی سئو چیه اینجا کلیک کن
📌 چه صفحاتی رو باید از گوگل مخفی کنیم؟
هر سایتی یه سری صفحات داره که ارزش سئویی ندارن، مثل:
صفحه سبد خرید
صفحه لاگین
مدیریت اکانت
پنلها
صفحههای تستی یا دستهبندیهای بدون محتوا
یا بخشهایی که فقط برای کاربران داخل سایت استفاده میشن
با استفاده از robots.txt میگیم:
«گوگل جان، لطفاً اینا رو نخز!»
این کار هم سرعت خزش (crawl budget) رو بهتر میکنه
هم تمرکز گوگل رو روی صفحات مهم سایتت میذاره.
📌 اگر سایتت با وردپرسه…
خیلی راحتتره!
کافیه افزونه Rank Math SEO رو نصب کنی.
بعدش:
برو به Rank Math → تنظیمات عمومی
وارد بخش Edit robots.txt / ویرایش robots.txt شو
متن خروجی هوش مصنوعی رو همونجا قرار بده
ذخیره کن و تمام!
ویدیو دقیقاً توضیح میده برای هر نوع سایت چه دستورات مهمی رو باید اضافه یا حذف کنی، حتماً ببین.
📌 ساخت robots.txt با هوش مصنوعی (پرامپت آماده)
و اما میرسیم به قسمت جذاب ماجرا!
تو ویدیو گفته میشه چطور با یه پرامپت استاندارد، بهترین robots.txt رو از هوش مصنوعی بگیریم.
این نسخهی سادهشدهی پرامپت هست (نسخه کاملتر داخل ویدیو توضیح داده شده 👇):
برای سایتم یک فایل robots.txt استاندارد بساز. نوع سایت من: [فروشگاهی / شرکتی / وبلاگی / شخصی / خبری / دانلودی] لطفاً براساس نوع سایت: بخشهایی که نباید گوگل بخزد را مشخص کن یک robots.txt اصولی و تمیز تولید کن لینک sitemap را هم برای من قرار بده (به صورت example.com) فقط خروجی robots.txt را بده.
بعد از اینکه خروجی رو گرفتی، فقط کافیست بری داخل تنظیمات Rank Math و همون متن رو قرار بدی.
🎬 جمعبندی
اگر میخوای:
گوگل فقط صفحات مهمت رو بخزه
بودجه خزش هدر نره
سایتت زودتر ایندکس بشه
و ساختار سئوی تکنیکالت حرفهایتر باشه
فایل robots.txt رو جدی بگیر.
و حتماً ویدیویی که براش گفته بودی رو ببین چون چند تا نکته مهم داخلش گفته میشه که نتیجه نهایی robots.txt رو خیلی بهتر میکنه.
برای ثبت نظر ابتدا وارد حساب کاربری خود شوید