ما هي مزايا إطار Hadoop 2.0 (YARN)؟

المحتوى

• ما هو إطار YARN؟
• حدود Hadoop 1.0 الإطار
• No Bugs، No Stress - دليلك خطوة بخطوة لإنشاء برامج لتغيير الحياة دون تدمير حياتك
• إطار غزل ومزاياه
• خاتمة

المصدر: جيم هيوز / Dreamstime.com

يبعد:

YARN هو تحسن كبير على إطار Hadoop 1.0. هنا ندرس بعض المزايا التي يتمتع بها على سابقتها.

منذ أن تم تقديم مفهوم البيانات الضخمة ، كان يمر بمراحل متعددة من التطور. تم تقديم Hadoop في عام 2005 مع بعض الميزات الأولية مثل محرك معالجة MapReduce الذي سمح لأعباء العمل على نطاق واسع بمعالجة البيانات الموزعة في مجموعات. شهدت Hadoop نفسها الكثير من التغييرات وطورت الأطر والأساليب المتقدمة.

YARN هو مكون أساسي في Hadoop 2.0. إنه يدير الموارد في بيئة مجمعة بشكل أساسي. يتفاعل وسيط YARN مع موارد حساب (نيابة عن التطبيقات) ويعين الموارد لكل تطبيق على أساس معايير تصفية مختلفة.

في هذه المقالة ، سوف نلقي نظرة على أفضل مزايا YARN على Hadoop 1.0.

ما هو إطار YARN؟

Yوآخرون أليست هي Resource Negotiator هو مكون أساسي في Hadoop 2.0 ، الذي يدير الموارد في بيئة مجمعة. إطار عمل Hadoop YARN هو إصدار متقدم من Hadoop 1.0 يوفر أداءً محسنًا ، وهو مفيد لنظام Hadoop البيئي ومجموعة كاملة من التقنيات المرتبطة به. الآن وقد أصبحنا أكثر دراية ب YARN ، دعنا نلقي نظرة فاحصة على Hadoop 1.0 و YARN.

حدود Hadoop 1.0 الإطار

لفهم مزايا إطار عمل YARN ، من المهم للغاية فهم كيفية عمل Hadoop 1.0 وما هي قيود هذا الإطار.

هذا هو المكان الذي يأتي فيه دور JobTracker. إنه يدير موارد نظام المجموعة ويحدد تنفيذ مهمة MapReduce. باختصار ، يقوم JobTracker بجدولة وتخزين فتحات المهام ، وتكوين ومراقبة كل مهمة جارية. إذا فشلت المهمة ، فإنها تعيد تخصيص فتحة جديدة للمهمة للبدء من جديد. بمجرد انتهاء المهمة ، يقوم JobTracker بإصدار الفتحة للمهام الأخرى وينظف الموارد المؤقتة.

العيوب الرئيسية للنهج أعلاه:

• التوفر - JobTracker هي النقطة الوحيدة للتوافر في Hadoop 1.0. هذا يعني أنه في حالة فشل JobTracker ، سيتم إعادة تشغيل جميع المهام بشكل افتراضي.
• قابلية محدودة للتطوير - نظرًا لأن JobTracker يؤدي مهام متعددة ويعمل على جهاز واحد ، فلا يتم استخدام الأجهزة الأخرى المتاحة ؛ وبالتالي ، مما أدى إلى قابلية التوسع.
• استخدام الموارد - في النهج الموضح أعلاه ، يتم تحديد فتحات الخريطة وتقليل فتحاتها مسبقًا. قد يحدث أن تكون إحدى الفتحات ممتلئة لكن فتحات الماكينات الأخرى فارغة. نظرًا لأن الفتحات الفارغة محجوزة ، فسيظلون في وضع الخمول بدلاً من التنازل عن الفتحات الكاملة. قد يتسبب هذا في مشكلة استخدام الموارد.
• تشغيل تطبيقات غير MapReduce - JobTracker هو تطبيق تم تصميمه لإطار عمل MapReduce. تنشأ المشكلة عندما يحاول تطبيق غير MapReduce تشغيله في هذا الإطار. يجب أن يتوافق التطبيق مع برمجة إطار MapReduce حتى يعمل بنجاح. تتضمن بعض المشكلات الشائعة التي تواجهها هذه المشكلات مع:
  • استعلام مخصص
  • تحليل في الوقت الحقيقي
  • نهج عابرة
• فشل في المتتالية - تحدث إحدى المشكلات الرئيسية في هذا الإطار عندما يكون عدد العقد أكبر من 4000. في مثل هذا السيناريو ، يحدث فشل متتالي ، مما يؤدي إلى تدهور نظام المجموعة بالكامل.

هذه هي بعض القيود الرئيسية التي تواجهها أثناء العمل مع هذا الإطار. هناك بعض القيود الطفيفة الأخرى كذلك ، والتي لم يتم ذكرها. تم تقديم إطار عمل YARN للتغلب على هذه القيود.

No Bugs، No Stress - دليلك خطوة بخطوة لإنشاء برامج لتغيير الحياة دون تدمير حياتك

لا يمكنك تحسين مهارات البرمجة لديك عندما لا يهتم أحد بجودة البرنامج.

إطار غزل ومزاياه

يهدف إطار YARN ، الذي تم تقديمه في Hadoop 2.0 ، إلى مشاركة مسؤوليات MapReduce والعناية بمهمة إدارة الكتلة. هذا يسمح لـ MapReduce بتنفيذ معالجة البيانات فقط ، وبالتالي تبسيط العملية.

يجلب YARN مفهوم الإدارة المركزية للموارد. هذا يسمح بتشغيل تطبيقات متعددة على Hadoop ، ومشاركة إدارة الموارد المشتركة.

بعض المكونات الرئيسية لإطار YARN هي:

• ResourceManager - مكون ResourceManager هو المفاوض في كتلة لكافة الموارد الموجودة في هذه الكتلة. علاوة على ذلك ، يتم تصنيف هذا المكون إلى مدير تطبيق مسؤول عن إدارة وظائف المستخدم. من Hadoop 2.0 سيتم اعتبار أي وظيفة MapReduce كتطبيق.
• ApplicationMaster - هذا المكون هو المكان الذي توجد فيه وظيفة أو تطبيق. كما يدير جميع وظائف MapReduce وينتهي بعد اكتمال معالجة الوظيفة.
• يعمل NodeManager - مكون مدير العقدة كخادم لمهمة التاريخ. وهي مسؤولة عن تأمين معلومات الوظائف المكتملة. كما أنه يتابع مهام المستخدمين إلى جانب سير العمل الخاص بهم لعقدة معينة.

مع الأخذ في الاعتبار أن إطار عمل YARN يحتوي على مكونات مختلفة لإدارة المهام المختلفة ، دعنا نرى كيف أنه يحد من قيود Hadoop 1.0.

• استخدام أفضل للموارد - لا يحتوي إطار YARN على أي فتحات ثابتة للمهام. يوفر مدير موارد مركزي يتيح لك مشاركة تطبيقات متعددة من خلال مورد مشترك.
• تشغيل التطبيقات التي لا تستخدم MapReduce - في YARN ، يتم فصل إمكانيات الجدولة وإدارة الموارد عن مكون معالجة البيانات. يتيح ذلك لـ Hadoop تشغيل أنواع مختلفة من التطبيقات التي لا تتوافق مع برمجة إطار Hadoop. تستطيع مجموعات Hadoop الآن تشغيل استعلامات تفاعلية مستقلة وإجراء تحليل أفضل في الوقت الفعلي.
• التوافق العكسي - يأتي YARN كإطار عمل متوافق مع الإصدارات السابقة ، مما يعني أنه يمكن تنفيذ أي وظيفة موجودة في MapReduce في Hadoop 2.0.
• لم يعد JobTracker موجودًا - كان الدوران الرئيسيان لـ JobTracker هما إدارة الموارد وجدولة الوظائف. مع إدخال إطار YARN ، يتم فصل هذه العناصر الآن إلى عنصرين منفصلين ، هما:
  • NodeManager
  • مدير موارد

خاتمة

سهّل إدخال إطار YARN إنشاء تطبيقات لمطوري Hadoop. الآن ، لم تعد التطبيقات مطلوبة للتنفيذ باستخدام أدوات الجهات الخارجية. يعد YARN تغييرًا كبيرًا يتيح للمستخدمين التفكير في Hadoop 2.0 لإنشاء تطبيقات ومعالجة البيانات بشكل أكثر فعالية. مع مرور الوقت ، سيكون هناك المزيد من التطورات لتعزيز قابلية استخدام Hadoop. في الوقت الحالي ، سوف يلعب إطار YARN دورًا حاسمًا في التعامل مع المشكلات الحالية وخلق بيئة خالية من المتاعب التي تعد أكثر تنوعًا ثم الإصدار السابق من نموذج MapReduce.