أداة مجانية لتحليل ملف Robots.txt

فحص وتحليل ملف Robots.txt
لأي موقع فورياً

تحقق من ملف robots.txt لأي موقع بشكل فوري وحقيقي. احصل على تحليل شامل يشمل قواعد الزحف، User-agents، Sitemaps، وإمكانية اختبار أي رابط.

يرجى إدخال دومين صحيح مثال: example.com
بيانات حقيقية
تحليل User-agents
كشف Sitemaps
اختبار عناوين URL
مجاني 100%

جارِ تحليل ملف Robots.txt

فحص: —
الاتصال بالخادم وجلب الملف...
تحليل قواعد الزحف والـ User-agents...
استخراج Sitemaps والتوجيهات...
إعداد تقرير التحليل الكامل...
عن الأداة

ما هي أداة فحص ملف Robots.txt؟

أداة فحص Robots.txt من Seovix تقرأ ملف robots.txt مباشرة من خادم أي موقع وتحلل محتواه بالكامل. الملف هو أول ما يقرأه روبوت جوجل وبقية محركات البحث عند زيارة موقعك.

إذا كانت إعدادات هذا الملف خاطئة، قد تمنع جوجل من فهرسة صفحاتك المهمة أو تسمح لها بالزحف على صفحات لا تريد إظهارها. هذه الأداة تساعدك على اكتشاف هذه المشاكل فورياً.

قراءة حقيقية مباشرة من خادم الموقع
تحليل جميع User-agents وقواعدهم
اختبار إذا كان رابط محدد مسموح أو محظور
كشف جميع ملفات Sitemap المُعلنة
توصيات لتحسين إعدادات الملف
مجانية 100% بلا تسجيل ولا حدود
ما الذي تفحصه الأداة؟

تقرير Robots.txt الكامل

User-agents
جميع الروبوتات المذكورة في الملف
قواعد Disallow
المسارات المحظورة من الزحف
قواعد Allow
المسارات المسموح بها صراحةً
Sitemaps
روابط ملفات خرائط الموقع
Crawl-delay
تأخير الزحف المُحدد للروبوتات
اختبار URL
تحقق إذا كان رابط مسموح أو محظور

كيف تفحص ملف Robots.txt لموقعك؟

أربع خطوات بسيطة للحصول على تحليل شامل لإعدادات الزحف

1

أدخل الدومين

اكتب اسم الموقع أو الرابط في مربع البحث. الأداة تقبل الدومين مع أو بدون https.

2

اضغط "فحص"

تجلب الأداة ملف robots.txt مباشرة من الخادم الحقيقي للموقع المُدخَل.

3

التحليل التلقائي

يتم تحليل جميع القواعد وتصنيفها حسب User-agent مع استخراج Sitemaps وCrawl-delay.

4

اختبر أي رابط

استخدم أداة اختبار URL المدمجة لمعرفة إذا كان أي مسار مسموحاً أو محظوراً.

توجيهات ملف Robots.txt

كل توجيه في الملف له دور محدد في التحكم بسلوك روبوتات محركات البحث

User-agent

يحدد الروبوت المستهدف. النجمة (*) تعني جميع الروبوتات. يمكنك تحديد Googlebot أو Bingbot بشكل منفصل.

User-agent: *
User-agent: Googlebot
Disallow

يمنع الروبوت من الزحف على المسار المحدد. الفراغ بعد Disallow: يعني أن كل شيء مسموح.

Disallow: /admin/
Disallow: /private/
Allow

يسمح للروبوت بالزحف على مسار محدد حتى لو كان المجلد الرئيسي ممنوعاً بـ Disallow.

Allow: /admin/public/
Allow: /api/docs/
Sitemap

يُعلن محركات البحث بموقع ملف خريطة الموقع. يساعد على ضمان فهرسة جميع الصفحات.

Sitemap: https://example.com/
sitemap.xml
Crawl-delay

يحدد عدد الثواني التي يجب على الروبوت الانتظار بينها عند الزحف. يُقلل من الضغط على الخادم.

Crawl-delay: 10
Host

يُستخدم من قِبل Yandex لتحديد النسخة الرئيسية المفضلة من الموقع عند وجود نسخ متعددة.

Host: example.com

كل ما تريد معرفته عن ملف Robots.txt

إجابات شاملة على الأسئلة الأكثر شيوعاً حول ملف robots.txt وتأثيره على السيو

لماذا ملف robots.txt مهم للسيو؟
ملف robots.txt هو أول ما يقرأه روبوت جوجل عند زيارة موقعك. يتحكم في أي الصفحات يمكن لمحركات البحث الزحف عليها وفهرستها. خطأ واحد في هذا الملف قد يمنع جوجل من فهرسة موقعك بالكامل، مما يؤثر سلباً على ترتيبك في نتائج البحث.
هل "Disallow: /" يمنع فهرسة الموقع؟
نعم! إذا كان الملف يحتوي على "User-agent: * + Disallow: /" فهذا يمنع جميع الروبوتات من الزحف على أي صفحة في الموقع. هذا من أشيع الأخطاء التي تحدث عند نقل الموقع أو تطويره ونسيان إزالة هذا السطر. أداتنا تكشف هذه المشكلة فوراً.
ما الفرق بين Disallow و noindex؟
Disallow في robots.txt يمنع الزحف (الروبوت لا يزور الصفحة أصلاً)، بينما noindex في meta tag يسمح بالزحف لكن يمنع الفهرسة. الفارق المهم: إذا حظرت صفحة بـ Disallow، قد تظل مفهرسة إذا كانت مرتبطة بروابط خارجية — لأن جوجل لم تقرأ الـ noindex بداخلها!
هل يجب إضافة Sitemap في robots.txt؟
يُنصح بذلك بشدة. إضافة سطر "Sitemap: https://yoursite.com/sitemap.xml" في robots.txt يساعد جميع محركات البحث على إيجاد خريطة موقعك تلقائياً دون الحاجة لرفعها يدوياً في كل أداة للمشرفين.
هل robots.txt يحمي الصفحات الخاصة؟
لا على الإطلاق! robots.txt ليس أداة أمان. الروبوتات الخبيثة لا تلتزم بهذا الملف. إذا أردت حماية صفحة ما، يجب استخدام كلمة مرور أو حماية على مستوى الخادم. robots.txt فقط للتوجيه والإرشاد للروبوتات الموثوقة.
كيف أمنع Googlebot فقط دون بقية الروبوتات؟
يمكنك تحديد User-agent: Googlebot ثم كتابة Disallow لمساره المحدد. مثال: "User-agent: Googlebot / Disallow: /images/" سيمنع Googlebot فقط من الزحف على مجلد الصور، بينما بقية الروبوتات يمكنها الوصول إليه بحرية.

أدوات تكمّل فحص Robots.txt

استخدم هذه الأدوات مع فحص robots.txt للحصول على تحليل سيو شامل لموقعك