00:10 اختيار هوية الزاحف
افتح Configuration ثم User-Agent، وقارن ملفات الحاسوب والهاتف والروبوتات والخيار المخصص. يختبر الإعداد استجابة الموقع للنص المختار؛ ولا يحول الطلب إلى Googlebot الحقيقي أو يكشف نظامه كاملاً.
01:28 استجابات الأجهزة وقواعد الزواحف
تساعد الهويات في مقارنة الهاتف والحاسوب وربط الطلب بمجموعته في robots.txt. سجلها ضمن شروط تحليل إمكانية الزحف حتى لا تخلط اختلاف الإعداد بتغير الموقع.
02:45 جلب الملف لاختبار محلي
افتح إعداد robots المخصص وأضف الموقع واجلب الملف الحي. أدخل مساراً في أداة الاختبار وراجع النتيجة، ثم عدل القاعدة داخل إعداد الاختبار وأعد فحصه وافحص مساراً آخر. يتيح ذلك تقييم المقترح قبل نشره، ولا يغير الملف الحي بحد ذاته.
03:33 الحظر والاستثناء المسموح
تحظر التجربة مجموعة عملات وتسمح بعملة محددة، بينما تبقى أخرى محظورة. تابع القاعدة المسؤولة عن النتيجة وافحص أمثلة متعددة؛ نجاح الاستثناء لا يثبت صحة النطاق كله.
04:44 ربط الإعدادات بخطة الزحف
تجمع الخاتمة الهوية والقواعد ومجموعات الصفحات والمسارات وقرارات الفهرسة، وتقدم مفهوم ميزانية الزحف. حدد أولاً هل يغير الإعداد الوصول أم الفهرسة، ثم استخدمه ضمن الخطة المناسبة.