المحتوى
المصدر: Nmedia /Dreamstime.com
يبعد:
تمثل البيانات الضخمة نشاطًا تجاريًا كبيرًا في كل مكان ، ولكن هناك بعض المجالات المحددة التي تستخدم هذه التكنولوجيا أكثر من غيرها.
عندما بدأت هذه المقالة ، كنت أخطط لسرد أنواع مختلفة من منصات البيانات الكبيرة. ولكن بعد ثلاثة أيام من محاولة تجميع جميع عروض البيانات الكبيرة المختلفة - العلائقية مقابل غير العلائقية ، و SQL مقابل NoSQL ، وقاعدة البيانات مقابل الإطار - في شكل من أشكال النظام ، قررت تجنب تلك الفوضى.
لإضافة إهانة للإصابة ، كنت آمل أن أقدم للشخص الذي صاغ مصطلح "البيانات الضخمة" كجزء من المقالة. لكن لا يمكنني حتى القيام بذلك. لا توجد إجابة متفق عليها. في الواقع ، هناك مشروع بحثي كامل يبحث في من توصل إلى بيانات كبيرة في الأصل. بدلاً من ذلك ، سألقي نظرة على بعض الطرق الرئيسية التي يتم بها استخدام البيانات الضخمة. هذا أكثر أهمية بكثير. ولها أكثر إثارة للاهتمام ومثيرة للدهشة مما قد يعتقد.
كيف حدث ذلك
يقوم المحللون الذين يستخدمون استخراج البيانات التقليدية بمعالجة البيانات لسنوات. ويجد هؤلاء المحللون أنفسهم الآن صعوبة في التعامل مع حجم وتنوع البيانات التي يتم حفظها بواسطة الشركات والمؤسسات الخاصة والهيئات الحكومية.
أدخل البيانات الكبيرة ، الخطوة التطورية التالية في استخراج البيانات. تم تصميم البيانات الضخمة للتعامل مع قواعد البيانات الضخمة وأنواع لا حصر لها من البيانات التي يتم إنشاؤها في عالم اليوم الرقمي. إذا فكرت "ضخمة" في Google وجميع البيانات التي تجمعها ، فستكون في الملعب. ما قد يفاجئك هو أن Google في المرتبة الرابعة فقط في قائمة العشرة الأوائل من أكبر قواعد البيانات في العالم. اعتبارًا من يناير 2014 ، تصدر مركز البيانات العالمي للمناخ القائمة بـ 220 تيرابايت من البيانات ، ويخمن أي شخص حجم قواعد البيانات التي تتحكم فيها بعض الوكالات الحكومية.
بالطبع ، انطلقت البيانات الضخمة لأنها تتيح معالجة كميات هائلة من البيانات المتباينة ، واكتشاف أشياء مذهلة - ومفصلة وشخصية - بأشياء شخصية. يقدم John Sumser ، محلل صناعة الموارد البشرية ، المثال التالي:
"نحن اليوم نصنع الفرضيات ونجمع البيانات. غدًا سنقوم بالعكس. وسيتيح لنا التراكم الثابت والمطرد للبيانات أن ننظر إلى البيانات قبل أن نشكل الأسئلة. وهذا يعني أننا سنحصل على إجابات للأسئلة التي لم نقم بها" تعرف أن نسأل. سنفكر في مجموعة كاملة من الأشياء التي نفترض أنها حقائق ".بالطبع ، لقد سمعنا جميعًا عن بعض الطرق الزاحفة التي استخدمت فيها هذه البيانات ، مثل القدرة على الأهداف في تمييز حمل المرأة الشابة قبل أن تكتشف أسرتها ذلك. لكن البيانات الكبيرة تستخدم أيضًا لأسباب أقل شبهة. فيما يلي بعض المنظمات التي تستفيد منها أكثر:
لا يمكنك تحسين مهارات البرمجة لديك عندما لا يهتم أحد بجودة البرنامج.
ومن بين البيانات الضخمة التي يمكن أن تساعدنا في مجالنا هو معالجة السجلات الصحية الإلكترونية بأمان ودقة عبر المؤسسات الطبية. وجود سجلات دقيقة سيوفر للمرضى خدمة أفضل ويقلل من الأخطاء. يقوم حقل الرعاية الصحية ، لأسباب واضحة ، بتكييف البيانات الضخمة بوتيرة أبطأ من أجل الامتثال للوائح الحكومية المتعلقة بسرية المريض.
كما ذكرنا سابقًا ، تُعرف البيانات الضخمة بتقديم إجابات للأسئلة غير المقنعة. في مجال الرعاية الصحية ، قد يعني هذا العثور على دواء أو علاج جديد لم يتم العثور عليه بطريقة أخرى. وفقًا لماكينزي وشركاه ، فإن البيانات الضخمة يمكن أن تجعل ما يلي ممكنًا في المستقبل غير البعيد:
- النمذجة التنبؤية للعمليات البيولوجية والعقاقير تصبح أكثر تطورا وانتشارا.
- يتم تحديد المرضى للالتحاق بالتجارب السريرية بناءً على المزيد من مصادر المعلومات ، مثل وسائل التواصل الاجتماعي.
- تتم مراقبة المحاكمات في الوقت الفعلي لتحديد مشكلات السلامة أو التشغيل بشكل سريع.
- بدلاً من صوامع البيانات الجامدة التي يصعب استغلالها ، يتم التقاط البيانات إلكترونيًا وتتدفق بسهولة بين الوحدات المختلفة.
بيانات كبيرة ، فرصة كبيرة
بينما يتم الاستفادة من البيانات الضخمة في بعض المجالات المحددة ، فإنها توفر الفرصة لجميع المنظمات في المجالات التالية:
فقط حول أي جهاز سجلات والشبكات الحوسبة البيانات. تصبح كمية البيانات التي يتم تسجيلها بسرعة غير عملية. يمكن للبيانات الضخمة بسهولة إدارة هذه الكمية من البيانات ، والسماح للمسؤولين بمراقبة نشاط الشبكة ، وتشخيص المشكلات ، أو في المثال الذي أعطاني روبن ، ابحث عن أنماط معينة لحركة مرور الشبكة قد تشير إلى نشاط ضار.
إذا كنت تقرأ هذه المقالة ، فمن رهان آمن إلى حد ما أنك على علم بمشكلة Heartbleed المحيطة بـ OpenSSL. إلى جانب المشكلة التقنية ، هناك مخاوف من وجود ثغرة أمنية لعدة سنوات. ذكر روبن أن البيانات الكبيرة تسمح لمسؤولي الشبكات ، الذين يعملون مع محللي البيانات ، بإنشاء برنامج يبحث في جميع سجلات الشبكة بحثًا عن نبضات ضارة. يذكر منشور EFF هذا:
"يمكن لأي مشغلي شبكات لديهم سجلات حزم شاملة التحقق من دقات القلب الضارة ، والتي تحتوي عادةً على حمولة TCP من 01 03 02 00 03 01 أو 18 03 01 00 03 01 (أو حتى 01 03 03 00 03 01)."المثال التالي هو إخراج عينة من الأمر show audit:
راوتر # عرض التدقيق
* 14 سبتمبر 18: 37: 31.535:٪ AUDIT-1-RUN_VERSION: تجزئة:
24D98B13B87D106E7E6A7E5D1B3CE0AD المستخدم:
* 14 سبتمبر 18: 37: 31.583:٪ AUDIT-1-RUN_CONFIG: هاش:
4AC2D776AA6FCA8FD7653CEB8969B695 المستخدم:
* 14 سبتمبر 18: 37: 31.595:٪ AUDIT-1-STARTUP_CONFIG: تجزئة:
95DD497B1BB61AB33A629124CBFEC0FC المستخدم:
* 14 سبتمبر 18: 37: 32.107:٪ AUDIT-1-FILESYSTEM: تجزئة:
330E7111F2B526F0B850C24ED5774EDE المستخدم:
* 14 سبتمبر 18: 37: 32.107:٪ AUDIT-1-HARDWARE_CONFIG: تجزئة:
32F66463DDA802CC9171AF6386663D20 المستخدم:
إذا كنت تتبع الطوابع الزمنية ، فإن الفاصل الزمني لجميع هذه الإدخالات كان أقل من ثانية واحدة. لا أريد حتى استنباط ذلك لمدة يوم ، ناهيك عن سنتين!
شيء لمشاهدة
إذا قمت بفحص إعلانات الوظائف ، فهناك حاجة ماسة لخبراء البيانات الكبار. سألت روبن عن هذا. وافق ، موضحا أن طلابه كانوا متحمسين لآفاقهم. بعد ذلك ، أدركت أن منصات البيانات الكبيرة ، خاصة تلك التي تعتبر مفتوحة المصدر ، تتبع جدولًا زمنيًا مشابهًا جدًا لكيفية تحول Linux إلى التيار الرئيسي.
تتبنى الجامعات إصدارات مفتوحة المصدر لمنصات البيانات الكبيرة ، خاصة Hadoop ، لأنها مجانية ، ويمكن للطلاب التلاعب بالكود المصدري. لذا فإن الخريجين الذين يشغلون جميع هذه الوظائف الشاغرة سيفضلون العمل مع منصات مفتوحة المصدر ، لأنها أفضل ما يعرفونه. سيكون من المثير للاهتمام مشاهدته.