دربارهٔ TorabiCareBot
چرا ربات به سایتها سر میزند؟
TorabiCareBot بررسیهای سایتهایی را انجام میدهد که کاربران برای پایش اضافه کردهاند. بررسیهای امنیتی غیرفعال هستند.
بررسی پیوندهای خارجی ممکن است به سایتهای دیگری که از سایت مشتری پیوند شدهاند نیز درخواست بفرستد.
پیمایش و محدودیتها
ممیزی از robots.txt پیروی میکند و Crawl-delay را رعایت میکند. اگر robots.txt پاسخ ندهد یا خطای سرور بدهد، فقط صفحهٔ اصلی بررسی میشود. جاوااسکریپت اجرا، فرم ارسال یا ورود انجام نمیشود.
حداکثر دو درخواست همزمان به سایت و حداقل ۲۵۰ میلیثانیه فاصله در هر اتصال وجود دارد. تعداد صفحهها و زمان ممیزی به پلن وابسته است. در برابر چالش CDN، ممیزی متوقف میشود و تلاشی برای حل چالش نمیکند.
کنترل دسترسی ربات
برای جلوگیری از پیمایش ممیزی، دستورهای زیر را در robots.txt قرار دهید. پایش دسترسی و گواهی، robots.txt را نمیخوانند.
User-agent: TorabiCareBot Disallow: /
برای بررسی پیوند خارجی ممکن است HEAD و در صورت نیاز GET ارسال شود؛ پاسخ محدودکننده بهعنوان «قابل بررسی نبود» ثبت میشود.
چه اطلاعاتی نگهداری میشود؟
برای سه ممیزی اخیر، دادههای لازم مانند نشانی، وضعیت، زمان پاسخ و متادیتای صفحه نگهداری میشوند؛ نسخهٔ صفحهها و تصویرها و مقدار کوکیها ذخیره نمیشود.