تطور البيانات الكبيرة

المحتوى

• البحث عن إجابات لأسئلة البيانات الكبيرة
• أدخل Hadoop
• بيانات كبيرة ، مشاكل كبيرة
• ما يحمله المستقبل للبيانات الكبيرة
• الحدود البيانات الكبيرة

يبعد:

إن حقيقة أن الكثير من الصناعات ستستفيد من حل مشكلات البيانات توضح الكثير عن مستقبل البيانات الكبيرة - وربما مستقبلنا أيضًا.

في أوائل العقد الأول من القرن العشرين ، كان من الواضح أن هناك حاجة كبيرة للابتكار فيما يتعلق بالبيانات. أدت القيود المفروضة على ما يمكن أن تفعله الشركات ببياناتها إلى إحباط المسؤولين التنفيذيين وانخفاض الكفاءة بشكل كبير. قامت العديد من الشركات بتخزين كميات هائلة من المعلومات ، لكنها ببساطة لم تتمكن من إدارة أو تحليلها أو معالجتها لصالحها. هذا الضغط المتزايد هو الذي أفسح المجال لحدود البيانات الكبيرة.

في عام 2003 ، أنشأت Google MapReduce ، وهو تطبيق بيانات سمح للشركة بمعالجة وتحليل معلومات استعلامات البحث الخاصة بها عبر آلاف الخوادم في فترة زمنية قصيرة. سمح البرنامج ، القابل للتطوير والقابل للتكيف ، لـ Google بتنفيذ آلاف مهام البيانات في دقائق معدودة ، مما أدى إلى تحسين الإنتاجية وإعادة تحديد الحدود المتصورة حول ما يمكن القيام به مع البيانات. بعد مرور ما يقرب من 10 سنوات ، أصبحت البيانات الضخمة من المبادئ الأساسية لتكنولوجيا المعلومات. لقد غير نطاقها وقدرتها البعيدة المدى إدارة البيانات بشكل أساسي في مكان العمل. لكن ما الذي دفع هذا التطور وكيف ستؤثر البيانات الضخمة على المستقبل بالضبط؟ كنا نظن أنك لن تسأل أبدًا. (للاطلاع على بعض المعلومات الأساسية حول قراءة البيانات الضخمة ، تحقق من البيانات الضخمة: كيف تم الاستيلاء عليها وهزمها واستخدامها لاتخاذ القرارات التجارية).

البحث عن إجابات لأسئلة البيانات الكبيرة

كان جمال MapReduce هو الطريقة التي سهّلت بها المهام المعقدة للغاية. يمكن إدارة الاتصالات عبر الأجهزة ، ويمكن معالجة فشل النظام ويمكن تنظيم بيانات الإدخال تلقائيًا ، وهي عملية يمكن أن يشرف عليها أفراد لم يعودوا بحاجة إلى مهارات تقنية عالية. من خلال جعل معالجة البيانات غير ممكنة فحسب بل ودودًا للغاية ، ألهمت Google حدوث تحول ثقافي في إدارة البيانات. لم يمض وقت طويل قبل أن تستخدم الآلاف من الشركات الكبرى MapReduce لبياناتها.

ولكن كانت هناك مشكلة واحدة: كان MapReduce مجرد نموذج برمجة. على الرغم من أنها سهّلت أساسيات معالجة البيانات ، فإنها لم تكن هي نفسها الإجابة عن أوجه القصور في البيانات الحالية ؛ كانت مجرد خطوة تمس الحاجة إليها في الاتجاه الصحيح. كانت الشركات لا تزال بحاجة إلى نظام يمكنه تلبية احتياجات البيانات الفريدة الخاصة به وتجاوز الأساسيات العارية لإدارة البيانات. باختصار ، التكنولوجيا اللازمة للتطور.

أدخل Hadoop

أدخل Hadoop ، وهو برنامج إطاري مفتوح المصدر أنشأه العديد من المبرمجين ، بما في ذلك Doug Cutting. حيث كان MapReduce أساسيًا وواسع النطاق ، قدمت Hadoop خصوصية منعشة. يمكن للشركات تصميم تطبيقاتها المصممة خصيصًا والتي تلبي احتياجات البيانات بطرق لا يستطيع أي برنامج آخر ، وكان متوافقًا بشكل عام مع أنظمة الملفات الأخرى. يمكن للشركة ذات المبرمجين الموهوبين تصميم نظام ملفات يحقق المهام الفريدة ببيانات تبدو غير قابلة للوصول من قبل. ربما كان أفضل ما في الأمر هو أن المطورين سيشاركون التطبيقات والبرامج بين بعضهم البعض والتي يمكن شرحها والكمال.

من خلال دمقرطة مثل هذا المورد المهم ، أصبح Hadoop الاتجاه. بعد كل هذا ، شعرت العديد من الشركات الكبيرة ، وخاصة شركات محركات البحث ، أنها احتاجت إليها لعقود! لم يمض وقت طويل قبل أن يعلن عمالقة محرك البحث مثل Yahoo عن تطبيق تطبيقات Hadoop الكبيرة التي تولد البيانات المستخدمة في استعلامات بحث الويب. في ما بدا وكأنه موجة ، أعلنت العديد من الشركات البارزة عن اعتماد هذه التكنولوجيا لقواعد بياناتها الضخمة ، بما في ذلك Amazon و Fox و Apple و eBay و FourSquare. وضع Hadoop المعيار الجديد لمعالجة البيانات.

بيانات كبيرة ، مشاكل كبيرة

في حين أن التطورات في تكنولوجيا البيانات أعادت تشكيل طريقة تعامل الشركات مع البيانات ، لا يزال العديد من المديرين التنفيذيين يجدونها غير مجهزة للمجموعة الكاملة من المهام المطلوبة. في يوليو 2012 ، أصدرت Oracle دراسة استقصائية لأكثر من 300 من المديرين التنفيذيين على مستوى C ، الذين كشفوا أن 36 في المائة من الشركات تعتمد على تقنية المعلومات لإدارة وتحليل البيانات ، 29 في المائة منهم يشعرون أن أنظمتها تفتقر إلى القدرات الكافية لتلبية احتياجات شركاتها . من المحتمل أن أكثر ما توصلت إليه الدراسة هو أن 93 في المائة من المشاركين يعتقدون أن شركتهم تخسر ما يصل إلى 14 في المائة من إيراداتها بسبب عدم تمكنها من استخدام البيانات التي تم جمعها. أن الإيرادات التي يمكن أن تنفق على صنع منتجات أفضل وتوظيف المزيد من العمال. في وقت تكافح فيه الشركات للبقاء مربحًا ، يعد تحسين البيانات بحيث تصبح الشركات أكثر ربحية أمرًا ضروريًا. يشير الاستطلاع إلى أنه على الرغم من أولئك الذين يعتقدون أن تأثير البيانات الضخمة على التجارة قد انتهى بالفعل ، فإن فرص النمو والتقدم التي تحظى بها لم تتحقق بالكامل.

ما يحمله المستقبل للبيانات الكبيرة

والخبر السار هو أن Hadoop و MapReduce قد ألهمت العديد من أدوات إدارة البيانات الأخرى. تقوم العديد من الشركات الجديدة بإنشاء منصات بيانات شاملة تعمل على Hadoop ، ولكنها تقدم مجموعة واسعة من الوظائف التحليلية وتكامل أسهل للنظام. يبدو أن الشركات قد استثمرت الكثير من الموارد في معالجة المخاوف المتعلقة بالبيانات وكان النجاح المالي لشركات البيانات دليلًا على ذلك. في عام 2010 ، حققت شركات البيانات ما يقدر بنحو 3.2 مليار دولار في مبيعات التجزئة. قدّر العديد من الخبراء أن هذا العدد سيرتفع إلى 17 مليار دولار بحلول عام 2015 وحده. هذه حقيقة لم تضيع على بعض أكبر شركات التكنولوجيا. أنفقت كل من IBM و Oracle مليارات الدولارات خلال الأشهر القليلة الماضية لشراء شركات بيانات. ستقوم العديد من الشركات الأخرى باتخاذ خطوات مماثلة في السنوات المقبلة حيث تستمر في التنافس للحصول على حصة سوقية تنافسية.

الحدود البيانات الكبيرة

تستمر كمية البيانات التي يتم جمعها في النمو بشكل كبير ، مما يثير بعض القلق والبعض الآخر متحمس. الجانب العلوي هو أن البشر سوف يستمرون في أن يصبحوا أكثر إنتاجية وقدرة على التكيف عندما نتعلم أشياء جديدة عن عالمنا من خلال تحليل البيانات. الجانب السلبي هو أن هناك كم هائل من البيانات يخشى الكثيرون من أننا غير قادرين على تخزينها بشكل صحيح ، وأقل إدارتها بشكل صحيح بحيث يمكن استخدامها من قبل جميع الذين يحتاجون إليها.

ومع ذلك ، يمكن للتطورات في البيانات الكبيرة أن توفر فرصًا غير مسبوقة للحلول للقضايا الملحة المتعلقة بالبيانات. على سبيل المثال ، اقترح الخبراء أنه إذا تم تنفيذ البيانات الضخمة بشكل صحيح مع التركيز على الكفاءة والجودة ، فسيكون من المحتمل توفير حوالي 300 مليار دولار سنويًا في نفقات الرعاية الصحية وحدها ؛ سيكون بوسع تجار التجزئة تحسين هوامش التشغيل الخاصة بهم ، ويمكن للقطاع العام أن يقدم خدمات أفضل وأن الشركات الكبيرة ستوفر مليارات الدولارات. وهكذا ، يبدو أن حل مشكلات بياناتنا ليس ضروريًا في مجالس إدارة الشركة فحسب ، بل في كل مكان. الذي يقول أشياء جيدة حول مستقبل دتس كبيرة - وربما لنا أيضا.