شرح عملي حول ملف robots.txt في بلوجر مع أفضل إعداد آمن + أخطاء قاتلة لازم تتجنبها

إذا عندك مدونة بلوجر وسمعت عن ملف robots.txt، غالبًا حسّيت إنه “زر أحمر” ممنوع تلمسه. ومعك حق تخاف شوي… لأن سطر واحد غلط ممكن يخلي جوجل ما يزحف مدونتك أساسًا.

بس خلّها سهلة: أنا هنا بشرح لك robots.txt “كصديق”، بدون تخويف وبدون فلسفة. وش يسوي؟ متى تعدله؟ متى تتركه؟ وش أفضل إعداد آمن لبلوجر؟ وكيف تتعامل مع زواحف الذكاء الاصطناعي الجديدة مثل Google-Extended وGPTBot.

robots.txt في سطر واحد: وش وظيفته بالضبط؟

robots.txt هو ملف نصي موجود على رابط ثابت في موقعك: /robots.txt.
أي زاحف محترم (Googlebot، Bingbot… إلخ) يمر عليه أول شيء ليعرف: “وش المسموح أزحف له؟ وش الممنوع؟”

المرجع الرسمي من Google لشرح الصيغة والدعم: How Google interprets robots.txt

نقطة محورية كثير ناس تغلط فيها: robots.txt يمنع الزحف… وليس الفهرسة

هذه أهم معلومة في المقال كله. ركّز معي:
Disallow يعني “لا تزحف هذه الصفحة”. لكنه لا يضمن 100% أن الرابط لن يظهر في جوجل لو تم اكتشافه من مكان آخر.
Google نفسه يوضح أن حظر الزحف قد يؤدي لظهور الرابط في النتائج بدون مقتطف (snippet)، ولمنع الفهرسة تحتاج أدوات أخرى. Robots.txt في توثيق Google

طيب إذا تبي تمنع الفهرسة “صح”؟ هنا تستخدم meta robots أو X-Robots-Tag، وليس robots.txt. Robots meta tag (Google)

متى أحتاج أعدل robots.txt في بلوجر؟ ومتى الأفضل ما ألمسه؟

غالبًا لا تحتاج تعدله إذا مدونتك بسيطة وما عندك مشاكل فهرسة غريبة. كثير ناس تخرب مدوناتهم بس لأنهم نسخوا “كود روبوتس” من مقال قديم.

لكن تحتاج تفكر بالتعديل لو عندك واحد من هذه السيناريوهات:

• مدونتك فيها صفحات مكررة كثيرة (مثل صفحات بحث/تصنيفات/أرشيف) وتبي تقلل الزحف عليها.
• عندك AdSense وتأكدت أنك ما تحظر زاحف الإعلانات بالغلط.
• تبغى تحدد موقفك من زواحف الذكاء الاصطناعي (تدريب/استشهاد/بحث).
• عندك صفحات “تجريبية” أو مسارات معينة ما تبغى أي زاحف يضيع وقته فيها.

كيف تشوف robots.txt الحالي في مدونتك (بدون أي أدوات)

افتح متصفحك واكتب رابط مدونتك ثم /robots.txt مثل:
https://example.blogspot.com/robots.txt
أو لو عندك دومين خاص:
https://www.example.com/robots.txt

إذا فعّلت “robots.txt مخصص” في بلوجر وما كتبت شيء، ممكن تشوف ملف فاضي أو سلوك غريب. لا تتوتر. الأهم إنك ما تترك إعدادات “مخصصة” بدون فهم.

أوامر robots.txt الأساسية (بشرح بسيط جدًا)

User-agent
يعني “هذه القواعد لمن؟” مثال: Googlebot أو * (يعني الجميع).

Disallow
يعني “لا تزحف هذا المسار”.

Allow
يعني “مسموح تزحف هذا المسار” حتى لو فيه منع عام.

Sitemap
رابط خريطة الموقع. Google يدعمها، ويشترط أن تكون رابط كامل (absolute URL). Build and submit a sitemap (Google)

معلومة سريعة مفيدة: Google يدعم فقط حقول محددة في robots.txt (مثل user-agent وallow وdisallow وsitemap)، وأي حقول ثانية غالبًا يتم تجاهلها. الحقول المدعومة في robots.txt حسب Google

أهم إضافة “مو منتشرة عربيًا” لمدونات AdSense: لا تحظر Mediapartners-Google

إذا مدونتك عليها AdSense، انتبه: فيه زاحف خاص بالإعلانات اسمه Mediapartners-Google، وتفضيلات الزحف الموجهة له تؤثر على AdSense. Google يذكره ضمن “special-case crawlers”، ويشرح أنه قد يتجاهل قواعد المجموعة العامة (*). Google special-case crawlers

عشان تكون في السليم، كثير ناشرين يحطون له مجموعة خاصة تسمح له بالزحف:

مثال آمن (جزء AdSense):
User-agent: Mediapartners-Google
Disallow:

أفضل robots.txt “آمن” لبلوجر (ينفع لمعظم المدونات)

خلّني أعطيك نموذج عملي. هذا عادة يكون مناسب إذا هدفك: تمنع صفحات البحث والـ labels من الزحف لأنها غالبًا صفحات “قوائم” وليست محتوى أصلي.

نموذج مقترح:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://example.com/sitemap.xml

ملاحظتين مهمتين قبل ما تنسخ:

• بدّل https://example.com/sitemap.xml برابط مدونتك الحقيقي. الأفضل تستخدم https وليس http.
• إذا مدونتك على Blogspot، غالبًا عندك sitemap.xml جاهز. وإذا تستخدم RSS/Atom كخريطة، Google يقبل RSS/Atom أيضًا لكنه قد يركز على الروابط الحديثة فقط، وهذه نقطة كثير يتجاهلها. Google: RSS/Atom كسيت ماب

هل فعلًا لازم أحجب تصنيفات بلوجر (Labels)؟ خلّها بميزان

في بلوجر، صفحات التصنيفات تكون غالبًا تحت مسار /search/label/… يعني إذا أنت حظرت /search أنت فعليًا حظرت التصنيفات.

هل هذا صح أو غلط؟ يعتمد:

• إذا التصنيفات عندك مجرد تجميع تلقائي (قائمة مقالات فقط بدون قيمة إضافية): غالبًا حظرها يساعدك تقلل تكرار وفوضى.
• إذا تبغى صفحات “أقسام” ترتب وتشرح وتوجّه القارئ: لا تعتمد على label page الافتراضية. سوِّ صفحة ثابتة (Page) لكل قسم، واكتب فيها مقدمة وروابط لأهم المقالات، وخليها هي اللي تتصدر.

رابط داخلي مقترح: سيو بلوجر: تحسين الأرشفة والربط الداخلي بدون إضافات

تسريع الأرشفة بطريقة آمنة: السيت ماب + Search Console

الروبوتس يساعد، لكن ما هو “زر أرشفة”. اللي يخدمك فعليًا:

• تأكد أن عندك sitemap صالح.
• أرسله من داخل Google Search Console.
• راقب الأخطاء (Blocked by robots.txt، Indexed though blocked… إلخ) وخذها بهدوء.

معلومة على السريع: أداة Robots.txt Tester القديمة في Search Console تم إيقافها، وصار الاعتماد أكثر على التقارير والاختبار بطرق أخرى. هذا يفسر ليش كثير ناس “تدوّر الأداة” وما تلقاها. تغييرات أدوات Search Console (Women in Tech SEO)

إضافة جديدة مهمة في 2026: التحكم بزواحف الذكاء الاصطناعي من robots.txt

هذا القسم غالبًا ما تلقاه مرتب وواضح في المحتوى العربي، مع أنه صار مهم جدًا: هل تسمح باستخدام محتواك لتدريب نماذج؟ هل تسمح بالزحف لأجل “الاستشهاد”؟

Google-Extended هو توكن في robots.txt للتحكم في استخدام محتواك لتدريب نماذج Gemini والـ grounding، وهو لا يؤثر على ظهورك في Google Search. Google-Extended (Google)

مثال: منع Google-Extended فقط (بدون التأثير على البحث):
User-agent: Google-Extended
Disallow: /

ومن جهة OpenAI، Google عنده بحثه، وOpenAI عندها زواحف معروفة مثل GPTBot للتدريب وOAI-SearchBot للبحث. وتقدر تتحكم بها من robots.txt. Overview of OpenAI Crawlers

مثال: منع التدريب (GPTBot) والسماح بالظهور في البحث (OAI-SearchBot):
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /

تنبيه لطيف: robots.txt “إشارة تفضيل” للروبوتات الملتزمة. بعض الزواحف قد تتجاهله أو تلتف عليه. إذا هذا يهمك جدًا، الحل الحقيقي يكون عبر طبقات حماية إضافية (وهذا خارج حدود بلوجر غالبًا إلا لو عندك دومين وتستخدم خدمات مثل Cloudflare).

أخطاء قاتلة لازم تتجنبها في robots.txt على بلوجر

• Disallow: / تحت User-agent: * بدون ما تقصد: هذا يعني “اقفل المدونة بالكامل” أمام الزحف.
• حظر ملفات السيت ماب أو الخلاصات بالغلط: أنت كذا تمنع محرك البحث من رؤية إشارات تساعده يكتشف المحتوى.
• حظر الصفحات المهمة للثقة مثل سياسة الخصوصية ومن نحن بدون سبب: أحيانًا وجودها مفيد للمستخدم وللثقة.
• تعديل الملف ثم التوقع أن النتائج تتغير خلال ساعة: الروبوتات تحتاج وقت لتعيد جلب robots.txt وتطبّق القواعد.

الخاتمة

خلّها بسيطة:

• robots.txt ينظم الزحف، لكنه ليس زر “إخفاء من جوجل”.
• في بلوجر، أفضل إعداد هو اللي يقلل صفحات /search المكررة ويحافظ على زواحف AdSense شغالة.
• في 2026، صار مهم تحدد موقفك من زواحف الذكاء الاصطناعي مثل Google-Extended وGPTBot بطريقة واضحة.

تاريخ التحديث: 12 مارس 2026

مواضيع قد تهمك ايضا :