robots.txt و أستخدامه كأداة لكشف المجلدات المخفية في الموقع

عام 0 geek4arab
Spread the love
بسم الله الرحمن الرحيم
  • ما هو ملف “robots.txt” ؟
هو ملف يحتوي على تعليمات لبرامج محركات البحث لتحكم في المجلدات و الملفات التي يكمن أو يمنع تضمينها في نتائج البحث .
  • أين يوجد هذا الملف ؟
يوجد هذا الملف في المجلد الأساسي للموقع أو ما يسمى بالمجلد الجذر.
  • هل يمكن الحصول على هذا الملف ؟
نعم , من متصفحك قم بكتابة عنوان الموقع يلي به أسم ملف robots.txt كالتالي :
  • ما هي أوامر هذا الملف ؟
هذه قائمة بأوامر الملف :
الأمر الشرح
User-agent أسم البرنامج المتصفح المسموح له بالبحث في الموقع
Disallow يتحكم هذا الأمر في المجلدات و الملفات التي يمنع على محرك البحث الدخول لها
Allow السماح لمحرك البحث بأرشفة الملف أو المجلد الموجود في الأمر

و الآن إلى الأمثلة العملية :

User-Agent:*
Disallow:
  • هذا الملف سيسمح لك مواقع البحث بالحصول على كل الملفات (لاحظ أننا أستخدمنا * لسماح لك محركات البحث). 
User-Agent:*
Disallow:/
Allow:/user/pages/

  •  السماح لجميع محركات البحث مع منعها من البحث في جميع المجلدات ما عدا المجلد user/pages/
 User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/ 
 

  • منع البحث في المجلدات cgi-bin,images,tmp,private. 
  • عيوب أستخدام ملف robots.txt للحماية 

قد يبدو لك أن هذا الملف يستطيع حماية الموقع من عرض الصفحات الخاصة في محركات البحث و لكن لهذه الطريقة بعض العيوب:

  1. ليس أتباع أوامر ملف robots.txt ألزاميا لمحرك البحث (تستطيع أستخدام الأمر wget لتنزيل الموقع مع تجاهل التعليمات).
  2. يوفر ملف robots معلومات عن المجلدات التي لا يريد مدير الموقع عرضها على محرك البحث (هذه المعلومة مهمة للهاكر!).

الكاتب geek4arab

geek4arab

مواضيع متعلقة

التعليقات مغلقة