رابطة التركة والابتكار: نقطة تحول للبيانات

المحتوى

• No Bugs، No Stress - دليلك خطوة بخطوة لإنشاء برامج لتغيير الحياة دون تدمير حياتك
• وصولا الى العمل
• كيف ستغير كافكا إدارة البيانات

يبعد:

سيفعل Kafka لأنظمة المعلومات ما يفعله LinkedIn بالنسبة لرجال الأعمال: ابقائهم على اتصال عبر نطاقات واسعة.

من خلال الاعتقاد بحماس في شيء لا يزال غير موجود ، نقوم بإنشائه. غير موجود هو ما لم نرغب فيه بما فيه الكفاية.

~ فرانز كافكا

تبقى الضرورة أم الاختراع. كما أخبرني أحد المستشارين الأذكياء ذات مرة: "إذا كان هناك شيء يجب أن يحدث في المنظمة ، فهذا يحدث". كانت وجهة نظره ذات شقين: 1) سيجد بعض الأشخاص دائمًا طريقة لإنجاز الأمور ؛ و 2) الإدارة العليا ، أو حتى الإدارة الوسطى ، قد لا تكون على دراية بالكيفية التي تتم بها الأمور داخل مؤسستهم.

إذا قمنا بتوسيع هذا الاستعارة ليشمل كامل إدارة البيانات ، يمكننا أن نرى تحولًا يحدث الآن. يخلق الضغط الخام للبيانات الضخمة ، بالإضافة إلى محور تدفق البيانات ، الكثير من الضغط بحيث تندثر الأنظمة القديمة عند الحواف ، إن لم تنهار تمامًا. ومع ذلك ، هناك عدد لا يحصى من المهنيين الذين يتولون وظائفهم في هذه اللحظة ، والذين لا يدركون إلى حد كبير هذه الحقيقة.

الشركات التي تنقلها البيانات والتي تعتمد على البيانات لها مقعد في الصف الأمامي ، وهي تقود هذا التغيير من نواح كثيرة. فكر في كيفية قيام شركات كبرى مثل Yahoo! و LinkedIn بتحويل صناعة برمجيات المؤسسات بشكل جانبي من خلال تبرعاتها الضخمة إلى المصادر المفتوحة: Hadoop ، و Cassandra ، والآن Kafka ، والتي تم رعايتها جميعًا بواسطة مؤسسة Apache ، وهي نفسها لاعب رئيسي في هذا التحول. .

ما هي نتيجة كل هذا التغيير؟ ما كان يشهده اليوم هو إعادة التصنيف القاطع وإعادة هيكلة إدارة البيانات نفسها. هذا لا يعني أن الأنظمة القديمة سيتم تمزيقها واستبدالها. سيخبرك أي خبير مخضرم في الصناعة أن حل النظم القديمة يحدث بالجملة بقدر ما تفوز شيكاغو شبلز بالسلسلة العالمية. إنه حدث نادر ، على أقل تقدير.

ما يحدث حقًا هو أن البنية الفائقة يتم بناؤها في جميع أنحاء أنظمة العالم القديم. النظر في تشبيه الطرق السريعة بين الولايات ، التي غالبا ما ترتفع فوق المدن والبلدات التي تخدمها ، تهدف إلى إيصال الناس والبضائع في هذه المراكز السكانية ، وتوفير الخروج لأي شخص وداخل أي شيء داخلها. إنهم لا يحلون محل الطرق الحالية بقدر ما يعززونهم بدائل عالية السرعة.

وهذا بالضبط ما يفعله Apache Kafka: فهو يوفر طرقًا فائقة السرعة لحركة البيانات بين أنظمة المعلومات وفيما بينها. لمتابعة تشبيه الطريق السريع ، لا يزال هناك العديد من الشركات التي تستخدم طوابير خطية ، أو المعيار القديم لـ ETL (استخراج تحويل- تحميل) ؛ ولكن هذه المسارات لها حدود سرعة منخفضة ، وهناك العديد من الحفر. علاوة على ذلك ، غالباً ما تكون تكاليف الصيانة باهظة ؛ لافتات سيئة.

تقدم شركة Kafka طريقة بديلة لتقديم البيانات ، وهي في الوقت الفعلي بلا شك ، قابلة للتطوير ودائم. هذا يعني أن Kafka ليس فقط وسيلة لحركة البيانات ، ولكن أيضًا أداة نسخ متماثل للبيانات ؛ وإلى حد ما ، تكنولوجيا قواعد البيانات الموزعة. يجب أن نتوخى الحذر في أخذ هذا التشبيه بعيدًا ، حيث توجد خصائص لقواعد البيانات المتوافقة مع ACID والتي لا يقوم كافكا بالرياضة بها بعد. ومع ذلك ، فإن التغيير حقيقي.

هذه أخبار رائعة لمشهد المعلومات ، لأن البيانات مجانية الآن للتنقل في جميع أنحاء البلاد - والعالم ، في هذا الشأن. ما كان يومًا ما قيدًا مؤلمًا ، ألا وهو ضرب نوافذ الدُفعات لعمليات ETL ، بدأ الآن يتلاشى كثيرًا حيث يفسح الضباب الطريق لتنظيف السماء تحت وهج الشمس الحارقة. عندما يصبح نقل البيانات من نظام إلى آخر سلسًا على الحدود ، فجر عصر من الفرص الجديدة.

No Bugs، No Stress - دليلك خطوة بخطوة لإنشاء برامج لتغيير الحياة دون تدمير حياتك

لا يمكنك تحسين مهارات البرمجة لديك عندما لا يهتم أحد بجودة البرنامج.

من المرجح أن يمثل البشر أشد الاحتكاكات على الطريق نحو مستقبل جديد للبيانات. العادات القديمة تموت بشدة. Nary a CIO متحمس جدًا لإجراء تغييرات بالجملة على أنظمة المؤسسة. قال أحد كبار المسؤولين التنفيذيين الأذكياء عن الدور: "كن مستعدًا للوحدة". في غضون عام من هذا التعليق ، كان مستشارًا. ليس طريقًا سهلاً ، في محاولة لإدارة عالم بيانات المؤسسة غير العملي بشكل ملحوظ.

والخبر السار هو أن كافكا توفر منحدرًا للمستقبل. لأنه يعمل كحافلة ذات طاقة عالية ومتعددة الأوجه ، فإنه يخلق جسوراً بين الأنظمة القديمة ونظيراتها المستقبلية. وبالتالي ، فإن المنظمات التي تتبنى هذه الفرصة الجديدة بعقول متفتحة وميزانية كافية ستكون قادرة على الدخول إلى العالم الجديد ، دون أن تترك وراءها القديم. هذا صفقة كبيرة على محمل الجد.

وصولا الى العمل

على الرغم من أن Apache Kafka عبارة عن تقنية مفتوحة المصدر ، يمكن لأي شخص تنزيلها واستخدامها ، إلا أن الأشخاص الذين قاموا بإنشاء هذا البرنامج لـ LinkedIn قد انطلقوا من كيان منفصل يسمى Confluent ، والذي يركز على تصلب العرض المخصص لاستخدام المؤسسات. مثل Cloudera ، قامت Hortonworks و MapR ببناء أعمالهم حول مشروع Apache Hadoop المفتوح المصدر ، لذلك تسعى Confluent إلى كسب الدخل من كافكا.

في مقابلة أجرتها مؤخراً مع InsideAnalysis ، أوضح جاي كريبس ، الرئيس التنفيذي لشركة Confluent والمؤسس المشارك لها ، أصلها على LinkedIn:

"كنا نحاول حل بعض المشاكل المختلفة هناك. الأولى كانت ، لدينا كل أنظمة البيانات المختلفة هذه مع أنواع مختلفة من البيانات. كانت لدينا قواعد بيانات ولدينا ملفات سجل ولدينا مقاييس حول الخوادم وكان علينا مستخدمون النقر على الأشياء. كان الحصول على كل هذه البيانات - كما أصبحت كبيرة - صعبًا للغاية ، وكانت قوة البيانات موجودة فقط إذا أمكنك إيصالها إلى التطبيقات أو المعالجة أو الأنظمة التي تحتاجها ، وكانت هذه مشكلة كبيرة.

"المشكلة الأخرى التي واجهناها هي أننا اعتمدنا Hadoop ، وكان ذلك شيئًا كنت مشتركًا فيه. كان لدينا منصة معالجة رائعة بدون اتصال بالإنترنت يمكننا توسيع نطاقها ويمكننا وضع جميع بياناتنا فيها. بالنسبة إلى LinkedIn ، حدثت جميع بياناتنا بشكل حقيقي كان هناك توليد مستمر للبيانات ، وكان هناك دائمًا عدم تطابق هذا ، حيث حاولنا في الواقع إنشاء أجزاء رئيسية من العمل خارج بياناتنا ؛ بين شيء تم تشغيله مرة واحدة يوميًا ، ربما في الليل ، وتمخض عن نتائج بحلول اليوم التالي ، وهذا النوع من البيانات المستمرة - أوقات التفاعل القصيرة - التي اضطررت إلى اللحاق بها ، أردنا أن نكون قادرين على القيام بشيء كان موجودا في الأوساط الأكاديمية لفترة من الوقت ، ولكن لم يكن في الحقيقة شيئًا سائدًا ، وهو أن تكون قادرًا على يمكنك الاستفادة من تدفقات البيانات ومعالجتها أثناء إنشائها ، بدلاً من جلسها ".

حسنا. وهذا بالضبط ما تسعى كونفلوينت الآن إلى القيام به مع بيانات المؤسسة من جميع الأشكال والأحجام. الفرصة في اللعب؟ غرينفيلد. بصراحة ، في التاريخ الكامل لبرامج المؤسسات ، يمكن للمرء أن يجادل بالقول إن السوق المعنونة لهذه التكنولوجيا هي الحل الأمثل. لا توجد مؤسسة كبيرة واحدة ، أو حتى شركات صغيرة كثيفة البيانات ، لا يمكنها الاستفادة بشكل كبير من هذه التكنولوجيا.

هذا صحيح بشكل خاص بسبب الجانب العصبي لهذه التكنولوجيا. ليس فقط العقول المعنية ، ولكن طبيعة ما يفعله كافكا لنظم المعلومات. نظرًا لأنه يمكن استخدام Kafka لإدارة حركة البيانات عبر المؤسسة ، يمكن اعتبارها أكثر من مجرد شرطي مرور ، ولكن أدمغة العملية نفسها. كانت في المراحل الأولى من تلك الرؤية ، لكن كن مطمئنًا ، حقيقتها.

كيف ستغير كافكا إدارة البيانات

لفهم كيف سيغير Kafka طبيعة إدارة البيانات ، فقط فكر في الطرق التي غير بها LinkedIn الشبكات. العثور على الزملاء أصبح أسهل بكثير ؛ البقاء على اتصال مع الناس هو الآن الخاطف. ستعمل Kafka لأنظمة المعلومات كما يفعل LinkedIn لرجال الأعمال: اجعلهم متصلين عبر أوسع نطاقات هذه الأرض.

إن تداعيات كونفلوينت هي رمز لشيء يمكن أن نسميه "الابتكار الجديد" ، وهي حركة مدفوعة بفصل تطوير البرمجيات وعقلية المصدر المفتوح ، مسترشدين بمبدعي التكنولوجيا مفتوحة المصدر ، والتي تغذيها كميات كبيرة من رأس المال الاستثماري ، يتم تسييلها بواسطة الشركات الهادفة للربح التي تسعى إلى إحداث ثورة في كيفية قيام المنظمات والأفراد بإنشاء البيانات وجمعها وتحليلها والاستفادة منها.

على حد تعبير فرانز كافكا ، "من نقطة معينة فصاعدًا ، لم يعد هناك أي عودة إلى الوراء. هذه هي النقطة التي يجب الوصول إليها".

لقد مرت علينا روبيكون. لا يوجد العودة الآن.