ویرایش فایل htaccess و robots.txt در افزونه رنک مث

افزونه Rank Math SEO یکی از ابزارهای کاربردی وردپرس برای بهینه‌ سازی سایت و مدیریت تنظیمات سئو است. این افزونه علاوه بر امکاناتی مانند مدیریت عنوان و توضیحات متا، ساخت نقشه سایت و تنظیمات ایندکس صفحات، ابزارهایی برای ویرایش فایل‌های مهم robots.txt و .htaccess نیز در اختیار مدیران سایت قرار می‌دهد.

با استفاده از این دو بخش می‌توانید نحوه دسترسی ربات‌ های موتورهای جستجو به صفحات سایت را مدیریت کنید، قوانین خزش را تغییر دهید و برخی تنظیمات سرور و ریدایرکت‌ ها را بدون خروج از پیشخوان وردپرس انجام دهید.

در این آموزش، هر دو بخش را به‌صورت جداگانه بررسی می‌ کنیم و با کاربردها، روش استفاده و نکات مهم آنها آشنا می‌ شویم.

آموزش ویرایش فایل robots.txt در Rank Math

فایل robots.txt یک فایل متنی است که دستورالعمل‌ هایی را برای ربات‌ های موتورهای جستجو مشخص می‌ کند. این فایل به ربات‌ ها می‌ گوید که کدام مسیرهای سایت را می‌توانند بررسی کنند و کدام مسیرها را نباید بخزند.

برای مثال، می‌ توانید دسترسی ربات‌ های موتورهای جستجو به بخش مدیریت وردپرس را محدود کنید یا مسیرهای مشخصی را از فرایند خزش مستثنا کنید.

توجه داشته باشید که فایل robots.txt به‌تنهایی از ایندکس شدن یک صفحه جلوگیری نمی‌کند و ابزار امنیتی نیز محسوب نمی‌شود؛ بلکه دستورالعملی برای ربات‌ هایی است که از این استاندارد پیروی می‌کنند.

فایل robots.txt چه کاربردی دارد؟

مهم‌ ترین کاربردهای این فایل عبارت‌ اند از:

• مدیریت دسترسی ربات‌ های موتورهای جستجو به مسیرهای مختلف سایت
• جلوگیری از خزش برخی صفحات یا پوشه‌های غیرضروری
• معرفی آدرس نقشه سایت XML به موتورهای جستجو
• کمک به مدیریت بودجه خزش در سایت‌های بزرگ
• جلوگیری از صرف منابع خزش روی مسیرهایی که ارزش بررسی ندارند.

چگونه وارد بخش ویرایش robots.txt شویم؟

برای دسترسی به این بخش، مراحل زیر را انجام دهید:

۱. وارد پیشخوان وردپرس شوید.

۲. از منوی افزونه، وارد بخش Rank Math SEO شوید.

۳. به قسمت «تنظیمات عمومی» یا General Settings بروید.

۴. گزینه «ویرایش robots.txt» را انتخاب کنید.

۵. محتوای فایل را در ویرایشگر مشاهده و در صورت نیاز اصلاح کنید.

در برخی نسخه‌ها یا تنظیمات افزونه، لازم است ابتدا حالت پیشرفته یا Advanced Mode را فعال کنید تا این گزینه نمایش داده شود.

بررسی محیط ویرایش robots.txt

در تصویر این آموزش، محیط ویرایش فایل شامل قسمت‌های زیر است:

• Editor: برای مشاهده و ویرایش قوانین فایل
• Robots.txt Tester: برای بررسی نحوه اعمال قوانین روی مسیرهای مختلف
• Validate Code: برای اعتبارسنجی و بررسی کدهای واردشده
• Revert Changes: برای بازگرداندن تغییرات ذخیره‌نشده در ویرایشگر
• ذخیره تغییرات: برای ثبت تنظیمات در افزونه

امکانات و نحوه عملکرد این ابزارها ممکن است بسته به نسخه رایگان یا پرو افزونه متفاوت باشد.

محتوای پیشفرض robots.txt در وردپرس

Rank Math معمولاً قوانین پایه‌ای مشابه نمونه زیر را در اختیار شما قرار می‌دهد:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xml

در این نمونه، به تمام ربات‌ ها اعلام شده است که مسیر مدیریت وردپرس را نخزند؛ اما دسترسی به فایل admin-ajax.php مجاز است. همچنین آدرس نقشه سایت معرفی شده است.

نکته: آدرس example.com را با دامنه واقعی سایت خود جایگزین کنید. آدرس نقشه سایت را نیز با آدرسی که واقعاً در سایت شما وجود دارد مطابقت دهید.

مفهوم دستورات مهم robots.txt

۱. User-agent

مشخص می‌کند قوانین برای کدام ربات اعمال شوند.

User-agent: *

علامت ستاره به معنای تمام ربات‌ هاست.

۲. Disallow

برای درخواست خزش نکردن یک مسیر استفاده می‌شود.

Disallow: /wp-admin/

این دستور به ربات‌ های مطیع استاندارد اعلام می‌کند مسیر مشخص‌شده را نخزند.

۳. Allow

برای مجاز کردن یک مسیر مشخص در شرایطی که مسیر بالادستی محدود شده است، استفاده می‌شود.

Allow: /wp-admin/admin-ajax.php

۴. Sitemap

آدرس نقشه سایت را به ربات‌ ها معرفی می‌کند.

Sitemap: https://example.com/sitemap_index.xml

معرفی نقشه سایت در این فایل الزامی نیست، اما می‌تواند به کشف بهتر نقشه سایت کمک کند.

چگونه یک مسیر را از خزش مستثنا کنیم؟

فرض کنید سایت شما دارای یک مسیر اختصاصی به نام temporary است که نمی‌خواهید ربات‌ ها آن را بخزند. می‌توانید از دستور زیر استفاده کنید:

User-agent: *
Disallow: /temporary/

با این حال، پیش از اعمال چنین قانونی باید مطمئن شوید که مسیر موردنظر شامل صفحات مهم، فایل‌های ضروری یا منابع موردنیاز موتور جستجو نیست.

همچنین اگر هدف شما جلوگیری از نمایش یک صفحه در نتایج جستجو است، صرفاً استفاده از Disallow کافی نیست. برای این منظور، در شرایط مناسب باید از روش‌هایی مانند متای noindex استفاده کنید و اجازه خزش لازم را نیز در اختیار موتور جستجو قرار دهید تا بتواند این دستور را مشاهده کند.

ابزارهای وبمستر در افزونه رنک مث

بخش «ابزارهای وبمستر» یا Webmaster Tools در افزونه Rank Math یکی از بخش‌ های کاربردی تنظیمات سئو است که به شما اجازه ...

مشاهده

نکته مهم درباره فایل robots.txt

یکی از نکات مهمی که هنگام استفاده از Rank Math باید بدانید، تفاوت میان فایل واقعی و فایل مجازی robots.txt است.

اگر فایل robots.txt در ریشه سایت وجود داشته باشد، ممکن است تغییراتی که در ویرایشگر Rank Math ذخیره می‌کنید روی محتوای قابل مشاهده سایت اعمال نشوند. در این شرایط، باید فایل واقعی را از طریق مدیریت فایل هاست یا FTP بررسی و ویرایش کنید.

برای مشاهده فایل فعال، آدرس زیر را در مرورگر باز کنید:

https://example.com/robots.txt

این آدرس باید با دامنه سایت شما جایگزین شود.

اگر سایت تازه راه‌اندازی شده است، بررسی کنید که گزینه جلوگیری از نمایش سایت در موتورهای جستجو در تنظیمات وردپرس فعال نباشد. فعال بودن این گزینه می‌تواند روی عملکرد مورد انتظار فایل robots.txt تأثیر بگذارد.

آموزش ویرایش فایل .htaccess در Rank Math

فایل .htaccess یک فایل پیکربندی است که در سرورهای سازگار با Apache برای مدیریت برخی رفتارهای سرور استفاده می‌شود. این فایل می‌تواند در تنظیم ریدایرکت‌ها، قوانین بازنویسی آدرس‌ها، برخی هدرهای HTTP و قابلیت‌های دیگر نقش داشته باشد.

در وردپرس، این فایل معمولاً برای اجرای صحیح پیوندهای یکتا و هدایت درخواست‌های صفحات به سیستم وردپرس استفاده می‌شود.

Rank Math امکان ویرایش این فایل را از طریق پیشخوان وردپرس فراهم می‌کند تا برای انجام برخی تغییرات، نیازی به ورود مستقیم به هاست نداشته باشید.

کاربردهای فایل htaccess

مهم‌ترین کاربردهای این فایل عبارت‌اند از:

• تنظیم ریدایرکت ۳۰۱ و انتقال دائمی آدرس‌ ها
• مدیریت برخی قوانین بازنویسی URL
• تنظیم هدایت دامنه از www به نسخه بدون www یا برعکس
• اعمال برخی هدرهای HTTP
• تنظیم کش مرورگر در شرایط سازگار با سرور
• محدود کردن دسترسی به برخی منابع در سناریوهای مشخص
• پشتیبانی از عملکرد صحیح پیوندهای یکتای وردپرس

توجه داشته باشید که پشتیبانی از این قوانین به وب‌سرور و تنظیمات میزبانی بستگی دارد. برای مثال، فایل .htaccess معمولاً در سرور Apache کاربرد دارد و ممکن است در سرور Nginx مستقیماً قابل استفاده نباشد.

چگونه وارد بخش ویرایش htaccess شویم؟

برای ویرایش این فایل از طریق Rank Math، مراحل زیر را دنبال کنید:

۱. وارد پیشخوان وردپرس شوید.

۲. به مسیر Rank Math SEO بروید.

۳. وارد بخش «تنظیمات عمومی» شوید.

۴. گزینه «ویرایش htaccess» را انتخاب کنید.

۵. پیش از تغییر کدها، از فایل فعلی نسخه پشتیبان تهیه کنید.

۶. تیک تأیید هشدار امنیتی نمایش‌داده‌شده در صفحه را فعال کنید تا ویرایشگر قابل استفاده شود.

۷. تغییرات موردنظر را با دقت اعمال کنید.

۸. روی دکمه «ذخیره تغییرات» کلیک کنید.

۹. صفحات سایت، پیوندهای یکتا و ریدایرکت‌های مرتبط را بررسی کنید.

در صورتی که گزینه ویرایش فایل را مشاهده نمی‌کنید، حالت پیشرفته Rank Math و سطح دسترسی کاربر را بررسی کنید.

بررسی کد پیشفرض htaccess در وردپرس

در تصویر ارسالی، بخشی از قوانین پیش‌فرض وردپرس در فایل .htaccess نمایش داده شده است. نمونه متداول این قوانین برای یک نصب معمولی وردپرس در ریشه دامنه به شکل زیر است:

# BEGIN WordPress

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization}]
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

این کد برای هدایت درخواست‌هایی که مستقیماً به فایل یا پوشه موجود اشاره نمی‌کنند، به وردپرس استفاده می‌شود. به این ترتیب، وردپرس می‌تواند درخواست مربوط به نوشته‌ها، برگه‌ها و سایر آدرس‌های پیوند یکتا را پردازش کند.

هشدار: کد بالا صرفاً یک نمونه متداول برای نصب معمولی وردپرس در ریشه دامنه است. اگر وردپرس در زیرپوشه نصب شده، از وردپرس شبکه استفاده می‌کنید یا هاست شما تنظیمات اختصاصی دارد، ممکن است به قوانین متفاوتی نیاز داشته باشید.

همچنین، بخش‌های بین # BEGIN WordPress و # END WordPress ممکن است توسط وردپرس بازنویسی شوند؛ بنابراین قوانین سفارشی را بدون بررسی در این محدوده قرار ندهید.

چگونه با htaccess ریدایرکت ۳۰۱ ایجاد کنیم؟

یکی از کاربردهای مهم این فایل، انتقال دائمی کاربران و موتورهای جستجو از یک آدرس قدیمی به آدرس جدید است.

برای مثال، فرض کنید آدرس یک صفحه تغییر کرده و می‌خواهید بازدیدکنندگان از آدرس قبلی به آدرس جدید هدایت شوند.

نمونه کد:

Redirect 301 /old-page/ https://example.com/new-page/

در این مثال، درخواست مربوط به مسیر /old-page/ به آدرس جدید منتقل می‌شود.

قبل از استفاده، مطمئن شوید دستور Redirect در محیط میزبانی شما پشتیبانی می‌شود و با سایر قوانین ریدایرکت تداخل ندارد. اگر سایت از قبل با افزونه مدیریت ریدایرکت یا تنظیمات هاست این انتقال را انجام می‌دهد، قانون تکراری ایجاد نکنید.

پس از ذخیره، آدرس قدیمی را در مرورگر بررسی کنید و مطمئن شوید انتقال به مقصد صحیح انجام می‌شود.

نکات امنیتی مهم هنگام ویرایش htaccess

از آنجا که یک اشتباه کوچک در این فایل می‌تواند دسترسی به سایت را مختل کند، رعایت نکات زیر ضروری است:

• پیش از هر تغییری نسخه پشتیبان تهیه کنید.
• قوانین ناشناخته را بدون بررسی در فایل قرار ندهید.
• از درج چند قانون متناقض برای یک آدرس خودداری کنید.
• پس از ذخیره، صفحه اصلی، صفحات داخلی و بخش ورود وردپرس را بررسی کنید.
• اگر سایت با خطای ۵۰۰ مواجه شد، آخرین تغییرات را از طریق هاست برگردانید.
• اگر سایت از Nginx استفاده می‌کند، قوانین مناسب همان وب‌سرور را از مدیر سرور دریافت کنید.
• از قرار دادن اطلاعات محرمانه، رمز عبور یا کلیدهای خصوصی در این فایل خودداری کنید.

تفاوت robots.txt و htaccess چیست؟

با وجود اینکه هر دو فایل می‌توانند در مدیریت رفتار سایت نقش داشته باشند، کاربرد آن‌ها کاملاً متفاوت است.

در نتیجه، اگر قصد دارید دسترسی ربات‌ های موتورهای جستجو به مسیرهای سایت را مدیریت کنید، سراغ robots.txt بروید. اگر می‌خواهید قوانین بازنویسی آدرس‌ها یا ریدایرکت‌ها را تنظیم کنید، فایل .htaccess گزینه مرتبط‌تری است.

خطاهای رایج هنگام ویرایش این فایل‌ها در Rank Math

گزینه ویرایش فایل نمایش داده نمی‌ شود

ابتدا فعال بودن حالت پیشرفته Rank Math را بررسی کنید. سپس دسترسی کاربر و محدودیت‌های اعمال‌شده در تنظیمات امنیتی وردپرس را بررسی کنید.

فایل robots.txt تغییر نمی‌ کند

ممکن است یک فایل فیزیکی در ریشه سایت وجود داشته باشد و نسخه مجازی Rank Math نتواند جایگزین آن شود. فایل واقعی، کش سایت و پاسخ آدرس /robots.txt را بررسی کنید.

فایل htaccess قابل ویرایش نیست

این مشکل می‌تواند به سطح دسترسی فایل، تنظیمات امنیتی وردپرس، محدودیت‌های هاست یا مجوزهای افزونه مربوط باشد. به‌جای فعال کردن بی‌قیدوشرط دسترسی ویرایش فایل‌ها، ابتدا علت محدودیت را مشخص کنید.

بعد از تغییر htaccess سایت باز نمی‌ شود

از طریق مدیریت فایل هاست یا FTP به فایل دسترسی پیدا کنید و آخرین تغییرات را برگردانید. اگر نسخه پشتیبان تهیه کرده‌اید، آن را بازیابی کنید. سپس قوانین را به‌صورت مرحله‌ای آزمایش کنید.

تغییرات robots.txt باعث افت خزش سایت شده است

قوانین Disallow را بررسی کنید تا مسیرهای مهم، فایل‌های موردنیاز صفحات یا بخش‌های ضروری سایت به‌اشتباه مسدود نشده باشند. همچنین توجه کنید که رفتار موتورهای جستجو ممکن است با توجه به نوع ربات متفاوت باشد.

جمع‌ بندی

بخش‌ های «ویرایش robots.txt» و «ویرایش htaccess» در افزونه Rank Math SEO به مدیران وردپرس کمک می‌کنند تا بعضی از تنظیمات مهم سایت را مستقیماً از پیشخوان مدیریت کنند.

فایل robots.txt بیشتر برای هدایت ربات‌ های موتورهای جستجو و مدیریت خزش کاربرد دارد؛ در حالی که فایل .htaccess برای تنظیم رفتارهای پشتیبانی‌شده سرور، از جمله ریدایرکت و بازنویسی آدرس‌ها، استفاده می‌شود.

اگرچه این ابزارها می‌توانند در مدیریت فنی سایت و سئو مفید باشند، تغییرات نادرست در آن‌ها ممکن است باعث اختلال در خزش صفحات یا حتی از دسترس خارج شدن سایت شود. بنابراین، پیش از ویرایش هر فایل نسخه پشتیبان تهیه کنید و پس از ذخیره تغییرات، عملکرد سایت را به‌دقت بررسی کنید.