مهام قائمة انتظار بسيطة موزعة مصممة للتعامل مع أعداد كبيرة من المهام لمرة واحدة
التحميل الان

مهام الترتيب والملخص

مهام العلامات

طابور مهمة وزعت

مهام وصف

TaskMaster هو قائمة انتظار موزعة بسيطة مصممة للتعامل مع أعداد كبيرة من المهام لمرة واحدة. لقد بنيت هذا في DisQus للتعامل مع المهام المتكررة ولكن غير المألوفة مثل "ترحيل هذه البيانات إلى مخطط جديد". لماذا لا تسأل، "لماذا لا تستخدم كرفس؟". حسنا، الجواب هو ببساطة أن الانتظار العادي يتطلب (ليس حرفيا، ولكن سيكون مؤلما بدون) لك لمعرفة جميع المهام في موقع مركزي. يصبح هذا مشكلة عندما يكون لديك كمية كبيرة من المهام، خاصة عندما تحتوي على كمية كبيرة من البيانات. ماجين لديك 1 مليار مهام، كل منها يزن في 5K. هذا، غير مضغوط، على الحد الأدنى 4 Terabytes من التخزين مطلوب فقط للحفاظ على ذلك، وتستغرقك Little.TAskmaster من ناحية أخرى مصممة لاتخاذ مقاومة للاستئناف، والسحب فقط في عدد أقصى عدد من الوظائف في وقت واحد (باستخدام قائمة انتظار Python القياسية). هذا يضمن نمط ذاكرة ثابتة يمكن أن يطاق الخط Linearly.usagecreate للمقتطف، واستبدال: "استيراد مأخذ" يجب علينا ضمان مهلة افتراضية ** لم يتم تعيين ** أو ستضرب القرف العشوائي fan.seteDefaultTimeout (بلا) # examper.pydef get_jobs (last = 0): # آخر سيتم إرسالها إذا استأنفت الحالة # من المدى السابق ل I في Xrange (آخر، 100000000): # الوظائف التي تسفر عنها يجب أن تكون متسلسلة مع المخلل العائد idef handle_job (i): # يجب أن يكون هذا ** ** idempotent، حيث قد يؤدي استئناف العملية إلى تنفيذ مهمة # التي تم تشغيلها بالفعل طباعة "حصلت على R!" ispawn master: tm-master taskmaster.examplespawn a slave: TM-slave taskmaster.exampleor تفرخ 8 عبيد (كل تحتوي على دريفات): taskmaster taskmaster.example 8dont مثل الوظيفة السحرية اكتشف للماجستير / العبد؟ حدد أهدافك الخاصة: TM-Master Taskmaster.example: Get_Jobs $ TM-slave taskmaster.example: handle_jobnote: جميع الوسائط اختيارية، وسوف ستقسم الافتراضي إلى LocalHost مع عدم وجود مفتاح Auth.Product

مهام برامج ذات صلة