يستخدم Voxys Connect Firecrawl داخليًّا لجلب محتوى موقعك الإلكتروني وفهرسته. وهذا يتيح لمساعد Voxys Connect الإجابة عن الأسئلة باستخدام المعلومات الموجودة في موقعك.
ومع ذلك، إذا كان ملف robots.txt الخاص بموقعك الإلكتروني يحتوي على قواعد Disallow، فسوف يلتزم Firecrawl بها ويتخطى الزحف إلى تلك الصفحات.
عند حدوث ذلك:
- لن تتم إضافة أي مستندات من موقعك الإلكتروني إلى Voxys Connect
- لن يتلقى المساعد أي سياق إضافي
- قد تصبح الإجابات غير مكتملة أو عامة
لضمان عمل المساعد بشكل صحيح، تحتاج إلى السماح لـ Firecrawl بالزحف إلى موقعك الإلكتروني.
الخطوة 1: تحقق من ملف robots.txt الخاص بك
قم بزيارة:
https://yourdomain.com/robots.txt
ابحث عن أي إدخالات Disallow: قد تحظر وكلاء المستخدمين.
الخطوة 2: أضف قاعدة Allow لـ Firecrawl
اطلب من مسؤول موقعك الإلكتروني أو مطوره إضافة الأسطر التالية إلى ملف robots.txt:
User-agent: FirecrawlAgent
Allow: /
يخبر هذا Firecrawl أنه مسموح له بالزحف إلى موقعك بالكامل، حتى إذا تم تقييد الروبوتات الأخرى.
الخطوة 3: الحفظ والنشر
بعد تحديث ملف robots.txt، تأكد من نشر الملف وإتاحته للجمهور.
يمكنك التحقق من ذلك بزيارة:
https://yourdomain.com/robots.txt
والتحقق من ظهور القواعد الجديدة.