Seovixحراس البوابة: ما هي "ميزانية الزحف" (Crawl Budget)؟
محركات البحث مثل جوجل لا تملك موارد لا نهائية. عندما يزور "Googlebot" موقعك، فإنه يخصص لك وقتاً وموارداً محددة بناءً على حجم موقعك وسلطته (Domain Authority). هذا الوقت يُسمى ميزانية الزحف (Crawl Budget).
إذا كان موقعك يحتوي على آلاف الصفحات المتكررة، أو صفحات تسجيل الدخول، أو نتائج بحث داخلية، فإن جوجل سيهدر ميزانية الزحف في قراءة هذه الصفحات عديمة الفائدة، وقد يغادر موقعك قبل أن يكتشف مقالك الجديد والمهم! هنا يأتي دور Robots.txt و Sitemap لتوجيه هذا الزحف بذكاء.
ما هو ملف Robots.txt؟ وكيف يعمل؟
ملف robots.txt هو ملف نصي بسيط يُوضع في المجلد الجذري (Root Directory) لموقعك (مثال: seovix.com/robots.txt). وهو أول ملف يبحث عنه أي عنكبوت بحث قبل أن يبدأ في تصفح موقعك.
يتكون الملف من تعليمات بسيطة (Directives) تعتمد على ثلاثة عناصر رئيسية:
* يعني أن الأمر موجه لجميع عناكب البحث (جوجل، بينج، ياهو.. الخ). يمكنك أيضاً توجيه أمر مخصص لعنكبوت معين مثل Googlebot.كيف تكتب Robots.txt بشكل صحيح؟ (أمثلة)
كتابة ملف الروبوتس بشكل خاطئ قد يؤدي إلى حذف موقعك بالكامل من محركات البحث! إليك الأمثلة الأكثر استخداماً وأماناً:
1. السماح للجميع بالزحف لكل شيء (الوضع الافتراضي الجيد):
Disallow: # تركها فارغة يعني السماح بالكل
2. ملف مثالي لمواقع الووردبريس (WordPress):
في ووردبريس، لا نريد أن يزحف جوجل إلى لوحة التحكم (wp-admin)، ولكننا نريده أن يقرأ ملفات التصميم (admin-ajax.php).
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
# توجيه لمحرك البحث لمكان خريطة الموقع
Sitemap: https://seovix.com/sitemap.xml
User-agent: *Disallow: /هذا يعني أنك تقول لجميع محركات البحث: "ممنوع الدخول لموقعي نهائياً!". تأكد دائماً أنك لا تضع الـ (/) بجانب كلمة Disallow إلا إذا كنت تبني الموقع ولم تطلقه بعد.
ما هي خريطة الموقع (Sitemap)؟
بينما يقوم Robots.txt بالطرد، تقوم الـ Sitemap بالترحيب. خريطة الموقع هي ملف (عادة بصيغة XML) يحتوي على قائمة بجميع الروابط (URLs) المهمة في موقعك والتي ترغب في ظهورها على جوجل.
جوجل يكتشف الصفحات عادةً من خلال تتبع الروابط (من صفحة لأخرى). ولكن، إذا كان موقعك جديداً ولا يمتلك روابط خلفية (Backlinks)، أو كان كبيراً جداً وفيه صفحات معزولة (Orphan Pages)، فإن خريطة الموقع هي الطريقة الوحيدة لضمان فهرسة هذه الصفحات.
كيف يبدو كود Sitemap (XML)؟
<url>
<loc>https://seovix.com/blog/sitemap-robots-guide</loc>
<lastmod>2025-04-15</lastmod> <!-- تاريخ آخر تعديل -->
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>
</urlset>
أنواع الـ Sitemaps (ليس ملفاً واحداً!)
للمواقع الاحترافية، لا نكتفي بخريطة موقع واحدة، بل نقوم بتقسيمها لمساعدة جوجل على فهم نوع المحتوى. إليك أبرز الأنواع:
كيف تنشئ وترفع خريطة موقعك لجوجل؟
بناء خريطة الموقع ورفعها هو أسهل خطوة في السيو التقني، ولكنها الأهم. اتبع هذه الخطوات الثلاث:
sitemap_index.xml) واضغط إرسال (Submit).robots.txt الخاص بك وأضف في نهايته السطر التالي: Sitemap: https://yourdomain.com/sitemap.xmlأخطاء شائعة تقتل الفهرسة (تجنبها!)
وجود إشارات متعارضة بين ملف الروبوتس وخريطة الموقع يسبب ارتباكاً لجوجل (Mixed Signals)، مما يؤدي إلى توقف فهرسة صفحاتك تماماً:
noindex داخل الصفحة تقول: "لا تؤرشفني". هذا التعارض يهدر ميزانية الزحف ويغضب محرك البحث. تأكد أن خريطتك تحتوي فقط على روابط استجابتها 200 وقابلة للفهرسة./category/) في ملف الروبوتس، ولكنك تركته داخل خريطة الموقع، سيرى جوجل الرابط في الخريطة، ولكنه لن يستطيع زحفه بسبب الروبوتس. سيظهر لك خطأ شهير في الكونسول: "مفهرسة، على الرغم من حظرها بواسطة robots.txt".أدوات فحص الفهرسة والزحف
تأكد من أن ملفاتك تعمل بكفاءة وخالية من الأخطاء البرمجية باستخدام هذه الأدوات الموثوقة:
هل موقعك جاهز لفهرسة جوجل؟
لا تترك أرشفة مقالاتك للصدفة. قم بتوليد خريطة موقع (Sitemap) احترافية وخالية من الأخطاء الآن باستخدام أداتنا المجانية لضمان ظهور كل صفحاتك في نتائج البحث.
أنشئ خريطة موقعك الآن