أدوات لالتقاط وتحويل الويب

هل تحترم GrabzIt's Web Scraper ملفات robots.txt؟

يتوجب على Web Scraper احترام القواعد الموجودة في ملف robots.txt للمواقع الإلكترونية. أحد الأسباب الرئيسية لهذا الأمر ، بخلاف كونه لطيفًا ، هو أن مكّبرات الويب التي لا تتبع ملف robots.txt يمكن أن تجد نفسها مدرجة في القائمة السوداء بواسطة خدمة مصيدة مخترقي الشبكات.

تستخدم هذه الخدمات ملف robots.txt لإخبار مكشطة الويب بعدم زيارة ملف معين مرتبط من موقع الويب. إذا كانت مكشطة الويب لا تزال تزور الملف ، فسيتم إدراج عنوان IP الخاص بكاشطات الويب في القائمة السوداء ، مما يمنع مكشطة الويب من زيارة موقع الويب في المستقبل.