robots.txt ماهي .. طريقة انشائها

[The DoN]

«®°·.¸.•°°·.¸.•°®»[ السلام عليكم ورحمة الله وبركاته ]«®°·.¸.•°°·.¸.•°®»

ما هو الـملف robots.txt ؟ وما وظيفته ؟

هو ملف يمنحك الصلاحيات لمنع / السماح لـ عناكب الارشفة للوصول الى ملفات موقعك. هو ليس جدار ناري ضد العناكب، ولكنه - بالاصح - قائمة الاقتراحات. من المستحيل ان تثق بالعناكب التي تزور موقعك بانها تتبع حتما محتوى هذا الملف، الكثير من العناكب تقوم باتباع اي رابط تجده في طريقها ... ولكن عناكب محركات البحث الشهيرة تقوم باتباع ما خصصت في هذا الملف


انشاء هذا الملف سيساعد العناكب لارشفة موقعك بشكل افضل، حيث يساعدك على ارشفة المواضيع المفضلة، ويقوم بتجاهل البقية، كما انه من الجيد تجاهل الصفحات التي تحتوي على اخطاء.. وهذا يساعدك على ترك سجل الاخطاء فارغا لموقعك

انشاء ملف robots.txt :

يمكنك انشاء الملف باستعمال اي محرر نصوص، قم بحفظ الملف باسم robots.txt، ثم قم برفع الملف الى المجلد الرئيسي لموقعك، اي انه سيكون رابطه مثل:
www.4algeria.com/robots.txt


يمكنك استعمال التعليمات التالية : User-agent، Allow، Disallow ...

User-Agent : تعني الموقع العنكبوت

التعليمة Allow لا تدعم من طرف كل العناكب، بالنسبة للعناكت اللي تدعم هذه التعليمة، تقوم هذه التعليمة بـ السماح للعنكبوت بارشفة المجلد المحدد فقط..
بما انها غير مدعومة من قبل كل العناكب، انصحك بعدم استعمال هذه التعليمة

التعليمة disallow تعني عدم ارشفة المجلد المحدد

أمثلة :
1- السماح لكل العناكب بالوصول الى الموقع :

User-agent: * 
Allow: /

وهذا هو الاختيار الافتراضي
* تعني كل العناكب
التعليمة Allow : /
تعني السماح للعناكب بالوصول الى كل الملفات في الموقع


2- منع كل العناكب من الوصول الى موقعك :

User-agent: *
 Disallow: /

3- منع عنكبوت معين من الوصول الى موقعك :

User-agent: Googlebot-Image
 Disallow: /

لمنع عنكبوت من الوصول الى موقعكـ ، نذكر اسم العنكبوت المحدد، ونضيف التعليمة
disallow : /

المثال السابق يستعمل في المواقع التي لا تريد من جوجل للصور الوصول الى الموقع


4- منع العناكب من ارشفة ملف او مجلد معين :

User-agent: *
 Disallow: /cgi-bin/ 
Disallow: /private_dir/
 Disallow: /secret/large_page.html
 Allow: /

في المثال السابق قمنا بمنع كل العناكب من الوصول الى المجلدات
cgi-bin - private_dir

والملف:
secret/large_page.html

ملاحظة: في حالة وجود ملف خاص في سرفرك لا تكتف بمنع العناكب من الوصول اليه، من الافضل حمايته بـ جدار نـاري

الحقوق محفوظـة لمنتديات اللمة الجزائرية

وشكرا [ لكم ]

و... [ لكم ] تحياتــي

أخوكـم في الله

The DoN

«®°·.¸.•°°·.¸.•°®»[ في حفظ الرحمن ]«®°·.¸.•°°·.¸.•°®»
​

 

[sql]

بارك الله فيكـ

متابع لك
​

 

[® สβĐ40₩ ®]

مشكوووووووووووووور