123
Luigi

Luigi

الغرض من Luigi هو معالجة جميع أعمال السباكة المرتبطة عادةً بعمليات الدفعات طويلة الأجل.إنك ترغب في ربط العديد من المهام بأتمتة ، وسيحدث الفشل.يمكن أن تكون هذه المهام أي شيء ، ولكنها عادة ما تكون أشياء طويلة المدى مثل وظائف Hadoop ، أو تفريغ البيانات من / إلى قواعد البيانات ، أو تشغيل خوارزميات تعلم الآلة ، أو أي شيء آخر.هناك حزم برامج أخرى تركز على الجوانب ذات المستوى الأدنى من معالجة البيانات ، مثل Hive أو Pig أو Cascading.لويجي ليست إطارًا لتحل محلها.بدلاً من ذلك ، يساعدك على تجميع العديد من المهام معًا ، حيث يمكن أن تكون كل مهمة استعلامًا من خلايا Hive ، أو وظيفة Hadoop في Java ، أو وظيفة Spark في Scala أو Python مقتطف Python ، أو التخلص من جدول من قاعدة بيانات ، أو أي شيء آخر.من السهل إنشاء خطوط أنابيب طويلة الأمد تضم آلاف المهام وتستغرق أيامًا أو أسابيع حتى تكتمل.تهتم Luigi بالكثير من إدارة سير العمل بحيث يمكنك التركيز على المهام بأنفسهم وتوابعهم .... يمكنك بناء أي مهمة تريدها إلى حد كبير ، ولكن Luigi يأتي أيضًا مع صندوق أدوات يضم العديد من قوالب المهام الشائعة التياستعمال.يتضمن دعمًا لتشغيل وظائف Python mapreduce في Hadoop ، بالإضافة إلى وظائف Hive و Pig.كما أنه يأتي مع تجريدات نظام الملفات لـ HDFS ، والملفات المحلية التي تضمن أن جميع عمليات نظام الملفات ذرية.هذا مهم لأنه يعني أن خط أنابيب البيانات الخاص بك لن يتعطل في حالة تحتوي على بيانات جزئية.

موقع الكتروني:

التصنيفات

بدائل Luigi لجميع المنصات مع أي ترخيص

Zenaton

Zenaton

منشئ سير العمل للمطورين.بناء عمليات يحركها الحدث في أيام بدلا من أشهر.
StackStorm

StackStorm

StackStorm عبارة عن نظام أساسي قوي للأتمتة مفتوحة المصدر يجمع جميع التطبيقات والخدمات وسير العمل معًا.إنه قابل للتمديد ومرن ومصمم بحب لـ DevOps و ChatOps.
  • تطبيق مجاني
  • Linux
ProActive Workflows & Scheduling

ProActive Workflows & Scheduling

يتيح لك ProActive Workflows & Schedule (جدولة سير العمل والجدولة) بسهولة تنفيذ جميع وظائف شركتك وتطبيقات الأعمال ومراقبة النشاط والوصول بسرعة إلى نتائج الوظيفة.
Apache Airflow

Apache Airflow

Airflow هي عبارة عن منصة لصياغة وتخطيط ومراقبة خطوط أنابيب البيانات.
  • تطبيق مجاني
  • Linux