يُطرح سؤال حجب زواحف الذكاء الاصطناعي وكأنه سؤال تقني، وهو ليس كذلك. الحجب نفسه بضعة أسطر من الإعداد تنتهي في عشر دقائق، سواء كتبتها في ملف robots.txt أو في قاعدة على مستوى الشبكة. الجزء الصعب هو أن تقرر إن كنت تريد ذلك أصلاً، وهذا القرار تجاري بحت: أنت تختار بين حماية المحتوى من أن يُستخدم في تدريب النماذج وبين الحضور داخل الإجابات التي صار الناس يحصلون عليها بدلاً من قائمة نتائج البحث.

معظم النصائح المنشورة على الإنترنت تنحاز إلى جانب ثم تدافع عنه فقط. الموقف الأمين مختلف: الإجابة الصحيحة تختلف باختلاف نموذج العمل، وناشر يعيش على مشاهدات الصفحات ووكالة تعيش على طلبات العروض لا بد أن يصلا إلى نتيجتين متعاكستين تماماً.

المقايضة في جملة واحدة: حجب زواحف الذكاء الاصطناعي يمنع ابتلاع محتواك، ويمنع في الوقت نفسه أن يُستشهد بك. إذا كان دخلك يعتمد على وصول الناس إلى صفحتك، فالحجب يحميك. وإذا كان دخلك يعتمد على أن يعرف الناس بوجودك ثم يتواصلوا معك، فالحجب يخرجك من السطح ذاته الذي صار هذا الاكتشاف يحدث عليه أكثر فأكثر.

ما الذي غيّرته Cloudflare فعلياً

الإعداد الافتراضي انقلب. في 1 يوليو 2025 أصبحت Cloudflare أول مزود بنية تحتية كبير يحجب زواحف الذكاء الاصطناعي افتراضياً ، منتقلة من نموذج الانسحاب إلى نموذج الإذن الصريح. النطاقات الجديدة تُسأل منذ لحظة إضافتها إن كان مسموحاً لزواحف الذكاء الاصطناعي بجمع محتواها، وصارت شركات الذكاء الاصطناعي تحتاج إذناً معلناً بدل الاكتفاء بغياب الرفض.

وهذا يهم إلى ما هو أبعد من عملاء Cloudflare أنفسهم، لأن حصة كبيرة من حركة الويب تمر عبر هذه الشبكة. الإعداد الافتراضي ليس قانوناً، لكن إعداداً افتراضياً يُطبق على هذا النطاق يعيد رسم ما يمكن لشركات الذكاء الاصطناعي أن تعتبره بديهياً.

الأداة اسمها AI Crawl Control ، وهي متاحة في كل الباقات بما فيها المجانية. تعرض لك أي خدمات ذكاء اصطناعي تصل إلى محتواك، وتتيح لك ضبط قواعد سماح أو حجب لكل زاحف على حدة، وتكشف إن كان زاحف بعينه يحترم ملف robots.txt أصلاً. الفائدة الحقيقية أن ترى هذه الحركة قبل أن تقرر أي شيء، ومعظم أصحاب المواقع لم ينظروا إليها قط.

كذلك دفعت Cloudflare الزواحف إلى الإفصاح عن غرضها. صار بإمكانك التمييز بين روبوت يدرّب نموذجاً، وروبوت يجلب الصفحة لبناء إجابة لحظية، وروبوت يفهرس للبحث. هذه ثلاث صفقات مختلفة جداً: الأولى تأخذ ولا تعطي شيئاً مقابلاً، والثانية قد تذكر اسمك أمام القارئ، والثالثة قد ترسل إليك زيارة فعلية. وحتى وقت قريب كانت تصل إليك بلا أي تمييز بينها.

نموذج المال تغيّر مجدداً في يوليو 2026

هنا تحديداً صارت كل نصيحة كُتبت العام الماضي خاطئة.

أُطلق Pay Per Crawl عام 2025 كسوق يفرض فيه الناشرون رسماً على شركات الذكاء الاصطناعي عن كل عملية جلب. وفي 1 يوليو 2026 أعلنت Cloudflare أن هذا النموذج غير كافٍ وانتقلت إلى Pay Per Use ، وهو نموذج يدفع لك حين يصنع محتواك قيمة داخل الإجابة، لا حين يُنزّل روبوت صفحة.

والمنطق يتضح فور رؤية الرقم: أكثر من 50% من حركة زواحف الذكاء الاصطناعي تعيد جلب صفحات لم تتغير. أي أن التسعير لكل عملية جلب يفوتر الهدر في معظمه. أما التسعير عند ظهور المحتوى داخل إجابة فيفوتر الشيء الذي حلّ فعلاً محل زيارة موقعك.

الوقت مبكر. شريكا الإطلاق هما Ceramic.ai و You.com، فهذا ليس بعد مصدر دخل واسعاً لشركة صغيرة في المملكة المتحدة. تعامل معه كاتجاه يسير إليه السوق، لا كبند في ميزانية العام المقبل.

وهناك أيضاً موعد يستحق التدوين في المفكرة. اعتباراً من 15 سبتمبر 2026 ستُحجب الزواحف مزدوجة الغرض افتراضياً عن الصفحات التي تحمل إعلانات، ما لم يغيّر صاحب الموقع الإعداد بنفسه. إن كنت تعرض إعلانات وتعتمد على الزيارات القادمة من الذكاء الاصطناعي، فسينطبق عليك هذا الإعداد دون أن تفعل شيئاً.

ما الذي يكلفك الحجب فعلياً

ثلاثة أشياء، والأول وحده هو الواضح منها.

تخسر الاستشهادات. إجابات الذكاء الاصطناعي تذكر مصادرها بالاسم. أن تكون أحد هذه الأسماء هو المعادل الحديث للظهور في الصفحة الأولى، والزاحف المحجوب لا يستطيع الاستشهاد بما لا يُسمح له بقراءته. دليلنا إلى تحسين المحركات التوليدية يشرح ما الذي يجعلك تستحق الاستشهاد بعد أن تقرر أن تكون مرئياً.

تخسر القياس. الحركة المحجوبة لا تظهر في تقاريرك على أنها خسارة، بل تظهر على أنها لا شيء، وهذا لا يمكن تمييزه عن ألا تكون قد حصلت عليها أصلاً. المواقع التي حجبت مبكراً كثيراً ما تعجز عن قول ما كلّفها ذلك، لأن حالة المقارنة لم تُسجَّل يوماً.

أنت لا توقف التدريب حقاً. حجب الزواحف حسنة السلوك، تلك التي تعرّف عن نفسها وتحترم ملف robots.txt، يستبعد بالضبط الفئة المستعدة لاتباع القواعد. المحتوى الذي ابتُلع من قبل يبقى مبتلعاً، وأدوات الكشط التي تتجاهل robots.txt لم تكن يوماً داخل النطاق. أنت تشكّل سلوك الفئة المهذبة وحدها.

في المقابل، الحجب يحمي فعلاً نشاطاً منتجه هو المحتوى نفسه. ناشر باشتراك، أو شركة أبحاث تبيع تقارير، أو مكتبة صور: بالنسبة إليهم تكون الإجابة التي تلخّص المحتوى بديلاً مباشراً عن عملية البيع، ويصبح ذكر المصدر تعويضاً هزيلاً.

كيف تقرر حجب زواحف الذكاء الاصطناعي من عدمه

اسأل نفسك كم يساوي الزائر الواحد، وبأي طريق يتحول إلى عميل.

احجب إذا كان المحتوى هو المنتج. صحافة خلف جدار الدفع، أبحاث تُباع، بيانات مرجعية ترخّصها. الإجابة المولّدة تنافس بيعتك مباشرة.

اسمح إذا كان المحتوى تسويقاً لشيء آخر. وكالة برمجيات، أو شركة استشارات، أو مكتب محاماة، أو عيادة. مقالاتك موجودة كي يدرك المشترون أنك قادر على حل مشكلتهم. أن يُذكر اسمك داخل إجابة هو بالضبط الوعي الذي كنت تدفع مقابله أصلاً، ويبقى على الطلب أن يصلك أنت.

اسمح بشكل انتقائي إذا كنت في منطقة وسطى. القواعد لكل زاحف على حدة تتيح لك قبول الفهرسة للبحث ورفض التدريب، وهو موقف وسط يمكن الدفاع عنه بعد أن صار الغرض معلناً.

بالنسبة إلى معظم الشركات التي تقرأ هذا، الجواب هو السماح. غريزة الحجب غريزة حماية ومفهومة، لكنها في الغالب تحمي محتوى بلا قيمة تجارية مستقلة، بينما تقطع قناة الاكتشاف التي كُتب ذلك المحتوى أصلاً لتغذيتها.

من أين تبدأ

انظر إلى الحركة قبل أن تغيّر أي شيء. تعرض لك AI Crawl Control في أي باقة أي الزواحف تصل إليك وكم مرة. شهر واحد من هذه البيانات يحوّل جدالاً عقائدياً إلى مسألة حسابية بسيطة.

ثم قرّر لكل زاحف على حدة بدل قرار شامل، ودوّن القرار بتاريخه، لأن هذا المجال تغيّر مرتين خلال 14 شهراً وسيتغير مرة أخرى.

تنفذ Mecanik تدقيقات سيو تقنية تغطي وصول زواحف الذكاء الاصطناعي والظهور في الاستشهادات إلى جانب الفحوص التقليدية، وتطبق الإعدادات عبر فريق تطوير الويب لدينا. إذا كنت تتصدر النتائج ولا تظهر أبداً في إجابات الذكاء الاصطناعي، فوصول الزواحف هو أول ما ينبغي استبعاده.

تدوينات ذات صلة: وكالة سيو الذكاء الاصطناعي: ما تقدمه وكم تكلف ، وضع الذكاء الاصطناعي من جوجل وزيارات موقعك ، ووردبريس مخترق: إزالة البرمجيات الخبيثة والتعافي وسرعة موقع Cloudflare: دليل التحسين 2026 .

الأسئلة الشائعة

هل يجب أن أحجب زواحف الذكاء الاصطناعي على موقعي؟ الأمر يعتمد كلياً على طريقة كسبك للمال. احجب إذا كان المحتوى هو المنتج، كما في الصحافة خلف جدار الدفع أو الأبحاث المدفوعة، لأن الملخص المولّد يحل محل عملية البيع. واسمح إذا كان المحتوى تسويقاً لخدمة، لأن الاستشهاد بك داخل إجابة هو بالضبط الوعي الذي كُتب المحتوى لصناعته، ويبقى الطلب واصلاً إليك أنت.

هل يمنع حجب زواحف الذكاء الاصطناعي استخدام محتواي في التدريب؟ جزئياً فقط. هو يوقف الزواحف حسنة السلوك التي تعرّف عن نفسها وتحترم ملف robots.txt، وهي بالضبط الفئة المستعدة لاتباع القواعد. المحتوى الذي ابتُلع من قبل يبقى مبتلعاً، وأدوات الكشط التي تتجاهل robots.txt لم تتأثر يوماً. أنت تشكّل سلوك الزواحف المهذبة، لا كل الزواحف.

ما هو Cloudflare AI Crawl Control؟ ميزة من Cloudflare متاحة في كل الباقات بما فيها المجانية، تتيح لك رؤية خدمات الذكاء الاصطناعي التي تصل إلى موقعك، وضبط قواعد سماح أو حجب لكل زاحف على حدة، وتتبع ما إذا كان كل واحد منها يحترم ملف robots.txt. كما تدعم التسعير لكل عملية زحف. وأنفع ما تفعله هو أن تريك الحركة قبل أن تقرر أي شيء.

ما الذي حل محل Cloudflare Pay Per Crawl؟ نموذج Pay Per Use المعلن في 1 يوليو 2026. فبدل تحصيل رسم من شركات الذكاء الاصطناعي عند كل جلب لصفحة، يُدفع للناشرين حين يصنع محتواهم قيمة داخل الإجابة. وكان تبرير Cloudflare أن أكثر من 50% من حركة زواحف الذكاء الاصطناعي تعيد جلب صفحات لم تتغير، أي أن التسعير لكل جلب كان يفوتر الهدر في معظمه. وشريكا الإطلاق هما Ceramic.ai و You.com.

ماذا يحدث في 15 سبتمبر 2026؟ تبدأ Cloudflare حجب زواحف الذكاء الاصطناعي مزدوجة الغرض افتراضياً على الصفحات التي تحمل إعلانات، ما لم يغيّر صاحب الموقع الإعداد. ومزدوجة الغرض تعني زاحفاً لا يفصل الفهرسة للبحث عن التدريب وعن حركة الوكلاء. إن كنت تعرض إعلانات وتعتمد على الإحالات من الذكاء الاصطناعي، فهذا الإعداد ينطبق عليك دون أي إجراء من جانبك.