00:20 الزحف يختلف عن الفهرسة
الزحف طلب الصفحة وقراءتها، بينما تتعلق الفهرسة بإدراجها في البحث. يختلف noindex داخل المستند عن منع الزحف. يستخدم الدرس تغير توفر المنتجات لتوضيح القرار ضمن تحليل robots.txt والفهرسة.
03:27 مكان الملف وحدوده
يوجد robots.txt عند جذر الموقع. تقرؤه الزواحف التي تحترمه قبل متابعة الطلبات، لكن بعض الروبوتات لا تلتزم به. يربط الدرس الطلبات بحمل الخادم والموارد؛ لذا افهم المسارات المتاحة والعمل الناتج عنها. الملف ليس وسيلة لحماية البيانات الخاصة.
05:36 المجموعات وقواعد المسار
تستهدف مجموعة User-agent ذات النجمة الزواحف عموماً، بينما تستهدف المجموعة المسماة زاحفاً محدداً. تصف Allow وDisallow المسارات بدءاً من الجذر، لا نسخ URL كاملاً في كل قاعدة. اقرأ المجموعة والمسار معاً لتحديد التطبيق.
07:37 الأنماط والاستثناءات
تستخدم الأمثلة مسارات العملات والملفات الشخصية لحظر مجموعة والسماح بعملة محددة. اختبر القاعدة وفق بنية الموقع الحقيقية؛ فقد تطابق قاعدة منسوخة مجموعة خاطئة أو لا تطابق المطلوب.
09:09 تنظيم القواعد ومرجع الخريطة
اجمع القواعد المرتبطة وأضف تعليقات تبدأ بـ# لشرح الغرض. يستخدم مرجع Sitemap العنوان الكامل للخريطة، ويختلف عن قيود المسارات. يطبق الدرس اللاحق اختبار القواعد على عناوين منفردة.