أدوات لالتقاط وتحويل الويب

GrabzIt's Web Scraper API ، البيانات كخدمة!

من خلال GrabzIt's Web Scraper API ، يمكننا تزويد التطبيق الخاص بك ببيانات مجردة كخدمة ويب تمكنك من ذلك integrate كشط المعلومات مرة أخرى intيا التطبيق الخاص بك. ال integration من البيانات intيتم تحقيق التطبيق الخاص بك من خلال معالج رد الاتصال ، وهو برنامج نصي أو تطبيق على عنوان URL يمكن الوصول إليه بشكل عام ويعالج البيانات المرسلة من مكشطة الويب GrabzIt. يتم نشر الملفات الكاملة إلى معالج رد الاتصال هذا بالتتابع ، على سبيل المثال ، يمكن أن تبدأ بسلسلة من الصور قبل أن تنتهي بـ JSON ملف ، يمكن بعد ذلك تحليل البيانات الموجودة في ملف JSON بسهولة باستخدام أساليب المساعد في مكتبة العميل. تسمح واجهة برمجة التطبيقات هذه أيضًا للتحكم في التطبيق تلقائيًا عند بدء ووقف الخردة ، وكذلك طلب إعادة إرسال النتائج.

لتبدأ أولا إنشاء كشط ثم اختر خيار إعادة الاتصال URL من علامة التبويب "خيارات التصدير" وأدخل عنوان URL لمعالج رد الاتصال على سبيل المثال http://www.example.com/handler/

إذا كنت تواجه أي مشكلات مع معالج رد الاتصال ، فاختر وضع التصحيح من علامة التبويب خيارات الكشط. سيؤدي ذلك إلى إخراج الاستجابة التي تم إرجاعها بواسطة معالج رد الاتصال intيا سجلات.

رد الاتصال معالج

لمعالجة البيانات المحشورة داخل معالج رد الاتصال الخاص بك ، اختر خيارات JSON أو XML في علامة التبويب "تصدير" حيث يؤدي ذلك إلى إرجاع البيانات بتنسيق يمكن قراءته بسهولة بواسطة أي لغة موجهة للكائنات.

بالنسبة للبيانات التي ليست بيانات JSON أو XML ، فإن خيارات المعالجة الخاصة بك محدودة لأن البيانات ليست قابلة للقراءة آليًا ، لذلك قد يكون الخيار الأفضل هو save الملف إلى القرص أو في قاعدة البيانات.

لمساعدة intعملية egration توفر GrabzIt واجهة برمجة التطبيقات للمكشطة التالية للغات التالية. ومع ذلك ، لدينا رمز مفتوح المصدر ومتاح على GitHub جيثب: لا يوجد سبب لعدم تمكنك من إنشاء لغة برمجة غير مدرجة هنا أو يمكنك أن تطلب منا ذلك إنشاء مكتبة لك. إذا كنت تفعل لماذا لا تشاركه مع العالم؟

ASP.NET Scraper API PHP مكشطة API Python Scraper API

في حين أن معالج رد الاتصال هو أفضل وسيلة عن كثب intإنطلاق مكشطة GrabzIt على الويب باستخدام التطبيق الخاص بك ، يمكنك أيضًا integrate عبر Amazon S3 ، Dropbox ، FTP و WebDav.