Hadoop التشغيلية في هندسة بيانات الجيل التالي

المحتوى

• ما هي بنية بيانات الجيل التالي؟
• توقعات من Hadoop في يخدع العمارة من الجيل القادم
• ما هي القيم التي يمكن أن تضيفها Hadoop إلى بنية بيانات الجيل التالي؟
• تحسين الأداء باعتباره بنية بيانات المؤسسة
• الفرق بين Hadoop وغيرها من التقنيات
• خاتمة

المصدر: Romeo1232 / Dreamstime.com

يبعد:

سيكون Hadoop لاعباً رئيسياً في بنية بيانات الجيل التالي نظرًا لقدرته على التعامل مع كميات هائلة من البيانات.

بدأت فائدة Hadoop في تجاوز عمليات معالجة البيانات والتحليلات الضخمة حيث أصبحت الصناعة تتطلب المزيد منها. تلبي Hadoop بشكل ثابت المتطلبات المختلفة المتعلقة بهيكل بيانات المؤسسة مع الحفاظ على نقاط قوتها الأصلية. قائمة ما يمكن أن تفعله Hadoop وما تقوم به حاليًا طويلة جدًا. أصبحت Hadoop الآن قادرة على معالجة أحجام ضخمة من أعباء العمل المتعلقة بالمعاملات ، وهي مهمة كان متوقعًا في السابق من التقنيات التقليدية. للمضي قدما ، هناك الكثير من الاحتمالات ل Hadoop في المستقبل. على سبيل المثال ، يمكن أن تستخدم أنظمة المعاملات القائمة على SQL محرك Hadoop SQL وسيضيف Hadoop أيضًا الكثير من إمكانيات RDBMS. يمكنك القول أن Hadoop أصبحت مزيجًا من إمكانات معالجة البيانات والتحليل مع إمكانيات بنية المؤسسة.

ما هي بنية بيانات الجيل التالي؟

وببساطة ، فإن بنية البيانات من الجيل التالي هي شكل متطور من بنية البيانات. كل شيء ، بما في ذلك نماذج البيانات وسياسات البيانات والقواعد والمعايير التي تحكم كيفية جمع البيانات وتخزينها وترتيبها وتحليلها ومعالجتها ، وتكاملها واستخدامها وتوزيعها ، تطورت في ظل بنية بيانات الجيل التالي.

يتمثل الاختلاف الرئيسي بين بنية البيانات السابقة وهندسة البيانات من الجيل التالي في قدرة الأخير على جمع وتخزين ومعالجة كميات هائلة من البيانات ، والمعروفة أيضًا باسم البيانات الضخمة ، في الوقت الفعلي. ينفذ الهيكل كل هذه المهام المعقدة دون المساس بمعايير الخصوصية والأمن وإدارة البيانات.

تواجه بنية البيانات من الجيل التالي العديد من التحديات. ليس من السهل التعامل مع حجم البيانات الكبيرة وسرعتها وتنوعها. أضف إلى ذلك متطلبات تحسين عبء العمل على النظام وتحسين الأداء والسرعة والدقة وخفض التكلفة. وغني عن القول أن بنية البيانات السابقة لم تكن مضطرة لإدارة مثل هذه المطالب.

لذلك ، يريد مديرو المعلومات ومهندسو المعلومات إيجاد حل يساعدهم على تحقيق أهدافهم. تم التركيز على Hadoop التشغيلي لبعض الوقت في هذا con.The سوف يناقش الأقسام التالية كيف يمكن Hadoop التشغيلية حل المشاكل.

توقعات من Hadoop في يخدع العمارة من الجيل القادم

تتعرض الشركات لضغوط متزايدة لتحقيق نتائج أفضل وتتدفق التأثيرات وفقًا للتوقعات الموضوعة على التقنيات. لذلك ، لم يعد من المتوقع Hadoop لمعالجة البيانات فقط. مدراء تقنية المعلومات والمديرين التنفيذيين يريدون أكثر من Hadoop. فيما يلي قائمة بالتوقعات من Hadoop. في الواقع ، Hadoop تم بالفعل الوفاء على عدد قليل من هذه التوقعات.

من المتوقع أن تعمل Hadoop مع أنظمة المعاملات التي تستند إلى SQL ولديها إمكانيات إنشاء وقراءة وتحديث وحذف. سوف تستفيد أنظمة المعاملات من مشغل SQL. سيكون للأنظمة أيضًا امتثال كامل لواجهة نظام التشغيل المحمولة (POSIX) وقدرة على معالجة أحجام المعاملات الكبيرة.

من المتوقع أن تدعم Hadoop ميزات مثل النسخ الاحتياطي والتسامح مع الأخطاء والاسترداد والتعافي من الكوارث. لكي يتطور Hadoop إلى نظام به إمكانيات RDBMS ، يجب أن يكون متوافقًا مع أدوات تكنولوجيا المعلومات الحالية.

Hadoop تعمل بالفعل على تحقيق التوقعات ، كما يتضح من بعض التطورات. يمكن Hadoop تقديم تحليل في الوقت الحقيقي واستجابات سريعة على أساس دعم إدارة الموارد التي تقدمها YARN. YARN هو نظام تشغيل واسع النطاق وموزع لتطبيقات البيانات الضخمة بالإضافة إلى كونه مدير موارد. من المعروف أن هناك تطورات أخرى كتطورات Apache Storm ، والمعمارية الموزعة في الذاكرة مثل Apache Spark و Apache Hive و Drill و MapR-FS (بديل HDFS عالي الأداء) ، من أجل تقديم إمكانيات قاعدة بيانات كاملة مختلفة ، مثل النسخ الاحتياطي واسترداد البيانات بعد الكوارث والتسامح مع الأخطاء ، وما إلى ذلك (لمعرفة المزيد حول YARN ، راجع ما هي مزايا Hadoop 2.0 (YARN) Framework؟)

ما هي القيم التي يمكن أن تضيفها Hadoop إلى بنية بيانات الجيل التالي؟

يمكن عرض القيم التشغيلية التي يمكن لـ Hadoop إضافتها إلى بنية بيانات الجيل التالي من منظورين: الأول ، ما إذا كان يحقق التوقعات الموضحة أعلاه ، والآخران ، ما إذا كان يقوم بأي شيء إضافي. فيما يلي القيم البارزة التي يمكن أن تجلبها Hadoop التشغيلية.

أصبحت Hadoop الآن قادرة على توفير المزيد من قابلية التوسع وإمكانية إدارة البيانات داخل نظامها الأساسي عبر HDFS. وتم تمكين نظام تشغيل البيانات عبر تطبيقات Hadoop's YARN. تمثل هذه الاستراتيجية تحولًا في بنية البيانات على مستوى أساسي. الآن ، يمكن لـ Hadoop تخزين أنواع مختلفة من البيانات مثل قواعد البيانات الموجهة للمعاملات وقواعد بيانات الرسم البياني وقواعد بيانات المستندات ويمكن الوصول إلى هذه البيانات عبر تطبيقات YARN. ليست هناك حاجة لتكرار أو نقل البيانات إلى مواقع أخرى.

تحسين الأداء باعتباره بنية بيانات المؤسسة

Hadoop التشغيلية في طريقها لتصبح النظام الأساسي لهيكل بيانات المؤسسة. كما يحصل Hadoop أكثر في بنية بيانات المؤسسة ، سيتم القضاء على صوامع البيانات كما يتم القضاء على الخطوط بينهما. سيكون هناك تحسن سريع في جميع الجوانب تقريبًا. ستحدث التحسينات في شكل تنسيقات ملفات أكثر كفاءة وأداء أفضل لمحركات SQL وأنظمة ملفات محسنة ومتانة تلبي احتياجات تطبيقات المؤسسات.

الفرق بين Hadoop وغيرها من التقنيات

في الماضي ، كان الفرق الرئيسي بين تقنيات Hadoop وتقنيات مؤسسة البيانات هو قدرات معالجة البيانات وإعداد التقارير والتحليلات الضخمة لدى Hadoop. الآن ، مع تحول Hadoop التشغيلية إلى جزء متزايد من بنية بيانات المؤسسة ، أصبح الفرق بين الكيانات غير واضح بشكل متزايد. لذلك ، Hadoop التشغيلية الناشئة كبديل متفوقة لهيكل بيانات المؤسسة الحالية.

خاتمة

بالنظر إلى التوقعات والتقدم ، ستركز Hadoop على هذه الصناعة لبعض الوقت. لكن من المنطقي عدم التركيز أكثر من اللازم على Hadoop وتجاهل التقنيات الأخرى ببساطة. وذلك لأن التقنيات الأخرى ستحرز تقدماً على نفس المعايير وقد تتفوق على Hadoop. ليس من الجيد أبدًا احتكار السوق. من الجيد أن يتم تحفيز صناع التقنيات الأخرى غير Hadoop لتقديم منتجات أفضل وحتى المكونات الإضافية التي تساعد Hadoop على تحسين أدائها.