 | pyparallelcurl.واجهة بسيطة لجلب موارد عنوان URL بالتوازي بدون مؤشرات الترابط |
| التحميل الان | |
pyparallelcurl. الترتيب والملخص
الإعلانات
pyparallelcurl. العلامات
pyparallelcurl. وصف
واجهة بسيطة لجلب موارد URL بالتوازي دون المواضيع PyparAllelcurl هي وحدة بيثون توفر واجهة سهلة الاستخدام للسماح لك بتشغيل عنوان URL لعدة حليقة متعددة بالتوازي في Python، بدون Threadss.To لاختباره، انتقل إلى سطر الأوامر، CD إلى هذا المجلد وتشغيله. .pythis يجب تشغيل 100 عمليات بحث من خلال API من Google، وطباعة النتائج. لمعرفة نوع فرق الأداء الذي يتم تشغيل الطلبات الموازية، حاول تغيير الافتراضي من 10 طلبات قيد التشغيل بالتوازي باستخدام وسيطة البرنامج النصي الاختياري، وتوقيت كم من الوقت يأخذ كل منها: الوقت ./test.py 1 مرة ./test.py 20 يسمح أولا فقط بطلب واحد لتشغيله مرة واحدة، تسلسل المكالمات. أرى هذا يستغرق حوالي 100 ثانية. المدى الثاني لديه 20 في الرحلة في وقت واحد، ويستغرق 11 ثانية! يتم تحذيرها، من الممكن تطغى على هدفك إذا أطلقت النار على العديد من الطلبات في وقت واحد. قد ينتهي بك الأمر مع IP الخاص بك محظورا من الوصول إلى هذا الخادم، أو ضرب حدود API الأخرى. تم تصميم الفئة لتسهيل تشغيل طلبات حليقة متعددة بالتوازي، بدلا من الانتظار لكل واحد لإنهاء قبل بدء التشغيل التالي. تحت غطاء محرك السيارة يستخدم curl_multi_exec ولكن نظرا لأنني أجد هذه الواجهة مربكة مؤلمة، أردت واحدة تتوافق مع المهام التي أردت أن استخدمها، easy_Install pycurl، استيراد pyparallelcurl، ثم قم بإنشاء كائن parallelcurl: parallelcurl = parallelcurl = parallelcurl (10 ) الحجة الأولى للمشنز هو الحد الأقصى لعدد الجوع المعلقة للسماح قبل الحظر لانتظار واحد لإنهاء. يمكنك تغيير هذا في وقت لاحق باستخدام SetMaxRequests () الحجة الاختيارية الثانية هي صفيف من خيارات حليقة في التنسيق المستخدم بواسطة Curl_SetOpt_array () التالي، بدء تشغيل عنوان URL: Parallelcurl.startraquest ('http://example.com'، on_request_done، {"قضم": "Somevalue"}) الحجة الأولى هي العنوان الذي يجب جلبه الثاني هو وظيفة رد الاتصال التي سيتم تشغيلها بمجرد الانتهاء من الطلب الثالث هو "ملف تعريف الارتباط"، يمكن أن يحتوي على بيانات تعسفية مرت دعوة CallBackthis StarTrequest، ستعود على الفور، طالما أقل من الحد الأقصى لعدد الطلبات المعلقة. بمجرد الانتهاء من الطلب، سيتم استدعاء وظيفة رد الاتصال، على سبيل المثال: on_request_done (المحتوى، 'http://example.com، الأول هو سلسلة تحتوي على المحتوى الموجود في عنوان URL. والثاني هو عنوان URL الأصلي المطلوب، والثالث هو مقبض حليقة للطلب الذي يمكن الاستفسار عنه للحصول على النتائج، والرابع هو قيمة "ملفات تعريف الارتباط التعسفية المرتبطة بهذا الكائن. تحتوي ملف تعريف الارتباط هذا على بيانات محددة من قبل المستخدم. ربما يكون لديك طلبات رائعة في نهاية البرنامج النصي الخاص بك، يجب عليك الاتصال بالفصل CarparallCurl.FinishallRequests () قبل الخروج. إذا لم تقم بذلك، فقد تترك الطلبات النهائية غير المجهزة! هذا بالفعل يسمى أيضا في Destructor للفئة، ولكن بالتأكيد أفضل الممارسات للاتصال بهذا متطلبات: بيثون
pyparallelcurl. برامج ذات صلة
