Robots.txt يجب الا يتجاوز 500 كيلو بايت

أعتقد أن الكل يعرف لما يستعمل ملف robots.txt 

ملف Robots.txt هو ملف يوجد فى ملفات قائمة جذر الموقع ، يستخدم لتحديد إطار المحتوى الذى تسمح به لSpiders بالزحف عليه فى موقعك. تنبيه : يستخدم ملف Robots.txt فقط عندما يحتوى موقعك على محتوى لا تريد أن يتم إدراجه بواسطة محرك البحث ، فإذا كنت تريد أن يقوم محرك البحث بإدراج جميع محتويات موقعك فلا داعى لإنشاء ملف Robots.txt.

لكن بعض المرات في استعمالنا له نتجاوز بعض النقاط المهمة ومنها الحجم الأقصى له، والذي هو محدد في 500 كبلو بايت (kb) وعندما يتجاوز الحجم لا يبقى له فائدة كبيرة لأن الروبوت المكلف بقراءته لا يستطيع سوى قراءة الحجم الأقصى والباقي يتخلى عنه. لذالك لمن ينشئ موقع كبير عليه الاحتياط من هذه النقطة . لكن بغض النضر على الحجم الأقصى فالمواقع الكبيرة لا يتعدى حجم ملفها 2.5 كيلو بايت، فمثلا يمكن أن نجد موقع جوجل له ملف بحجم 1.7 KB ، وموقع ميكروسوفت حجمه 2.4 KB ، موقع فيسبوك 413 B .