المحتوى
- ETL يخلق اختناقات للتحليلات
- تبسيط ETL مع التعلم الآلي و AI
- No Bugs، No Stress - دليلك خطوة بخطوة لإنشاء برامج لتغيير الحياة دون تدمير حياتك
المصدر: Pop Nukoonrat / Dreamstime.com
يبعد:
تعد البيانات مهمة للشركات ، ولكن لكي تكون مفيدة ، يجب ألا يكون هناك أي أخطاء في جمع هذه البيانات ومعالجتها وتقديمها. يمكن للذكاء الاصطناعي مراقبة عمليات ETL للتأكد من خلوها من الأخطاء.
ETL (الاستخراج والتحويل والتحميل) هي واحدة من أهم العمليات في تحليلات البيانات الضخمة - وفي الوقت نفسه ، يمكن أن تكون واحدة من أكبر الاختناقات. (لمزيد من المعلومات حول البيانات الضخمة ، راجع 5 دورات مفيدة للبيانات الضخمة يمكنك القيام بها عبر الإنترنت.)
السبب في أهمية ETL هو أن معظم البيانات التي تجمعها الشركة ليست جاهزة ، في شكلها الأولي ، لحل تحليلي لهضم. حتى يتسنى لحل التحليلات إنشاء رؤى ، يجب استخراج البيانات الأولية من التطبيق الذي يوجد به حاليًا ، وتحويله إلى تنسيق يمكن لبرنامج التحليلات قراءته ، ثم تحميله في برنامج التحليلات نفسه.
هذه العملية مماثلة للطهي. المكونات الخام الخاصة بك هي البيانات الخام الخاصة بك. يجب استخراجها (شراؤها من متجر) ، وتحويلها (طهيها) ، ثم تحميلها (مطلي) ، قبل أن يتم تحليلها (تذوقها). يمكن أن تتفاقم الصعوبة والتكاليف بشكل غير متوقع - من السهل أن تصنع الجبن من ماك عنك ، ولكن يصعب عليك إنشاء قائمة طعام ل 40 شخصًا في حفل العشاء. وغني عن القول ، إن الخطأ في أي وقت قد يجعل وجبتك غير قابلة للهضم.
ETL يخلق اختناقات للتحليلات
يمثل ETL في بعض النواحي الأساس لعملية التحليلات ، لكن له أيضًا بعض العيوب. أولاً وقبل كل شيء ، إنها بطيئة ومكلفة حسابياً. هذا يعني أن الشركات غالبًا ما تعطي الأولوية لبياناتها الأكثر أهمية فقط للتحليلات ، وببساطة تخزن الباقي. هذا يساهم في حقيقة أن ما يصل إلى 99 ٪ من جميع بيانات الأعمال لا تستخدم لأغراض التحليلات.
بالإضافة إلى ذلك ، فإن عملية ETL غير مؤكدة أبدًا. يمكن للأخطاء داخل عملية ETL تلف بياناتك. على سبيل المثال ، قد يمنع خطأ موجز في الشبكة من استخراج البيانات. إذا كانت البيانات المصدر تحتوي على أنواع ملفات متعددة ، فقد يتم تحويلها بشكل غير صحيح. القمامة في ، القمامة خارج ، كما يقولون - الأخطاء أثناء عملية ETL من المؤكد أن تعبر عن نفسها من حيث التحليلات غير الدقيقة.
يمكن أن يكون لعملية ETL تالفة عواقب سيئة. حتى في أفضل السيناريوهات ، ربما يتعين عليك إعادة تشغيل ETL ، مما يعني تأخيرًا لساعات - وفي الوقت نفسه ، فإن صانعي القرار لديك نفاد صبرهم. في أسوأ الحالات ، لا تلاحظ التحليلات غير الدقيقة حتى تبدأ في خسارة الأموال والعملاء.
تبسيط ETL مع التعلم الآلي و AI
يمكنك - وربما تقوم - تعيين شخص لمراقبة ETL ، لكن الأمر ليس بهذه البساطة. يمكن أن تنتج البيانات السيئة عن أخطاء العملية التي تحدث بسرعة بحيث لا يمكن ملاحظتها في الوقت الفعلي. غالبًا ما لا تبدو نتائج عملية ETL التالفة مختلفة عن البيانات التي تم تحميلها بشكل صحيح. حتى عندما تكون الأخطاء واضحة ، فإن المشكلة التي خلقت الخطأ قد لا يكون من السهل تتبعها. (لمعرفة المزيد حول تحليل البيانات ، راجع الدور الوظيفي: محلل البيانات.)
والخبر السار هو أن الآلات يمكنها التقاط ما لا يمكن للبشر. هذه فقط بعض الطرق التي يمكن من خلالها الذكاء الاصطناعى والتعلم الآلي اكتشاف أخطاء ETL قبل أن تتحول إلى تحليلات غير دقيقة.
No Bugs، No Stress - دليلك خطوة بخطوة لإنشاء برامج لتغيير الحياة دون تدمير حياتك
لا يمكنك تحسين مهارات البرمجة لديك عندما لا يهتم أحد بجودة البرنامج.
1. كشف وتنبيه عبر مقاييس ETL
على الرغم من أن البيانات الخاصة بك هي صورة تتحرك باستمرار ، يجب أن تستمر عملية ETL في إنتاج قيم متسقة بسرعة ثابتة. عندما تتغير هذه الأشياء ، فهذا سبب للقلق. يمكن للبشر رؤية تقلبات كبيرة في البيانات والتعرف على الأخطاء ، ولكن يمكن للتعلم الآلي التعرف على أخطاء أكثر دقة وأسرع. من الممكن أن يوفر نظام التعلم الآلي كشفًا شاذًا في الوقت الفعلي وتنبيه قسم تقنية المعلومات مباشرةً ، مما يتيح لهم إيقاف العملية مؤقتًا ومعالجة المشكلة دون الحاجة إلى تجاهل ساعات من الجهد الحسابي.
2. تحديد اختناقات محددة
حتى لو كانت نتائجك دقيقة ، فقد لا تزال تظهر ببطء شديد بحيث لا تكون مفيدة. غارتنر يقول ذلك 80 ٪ من الأفكار المستمدة من التحليلات لن يتم تسخيرها أبدًا لإنشاء قيمة نقدية ، وقد يرجع ذلك إلى أن قائد الأعمال لا يمكنه رؤية نظرة ثاقبة في الوقت المناسب للاستفادة منها. يمكن أن يخبرك التعليم الآلي بمكان تباطؤ نظامك ويزودك بإجابات - مما يتيح لك الحصول على بيانات أفضل وأسرع.
3. تحديد تأثير إدارة التغيير
الأنظمة التي تنتج بياناتك وتحليلاتك ليست ثابتة - فهي تتلقى باستمرار تصحيحات وترقيات. في بعض الأحيان ، تؤثر هذه على الطريقة التي ينتجون بها أو يفسرون البيانات - مما يؤدي إلى نتائج غير دقيقة. يمكن للتعلم الآلي وضع علامة على النتائج التي تغيرت وتتبعها إلى الجهاز أو التطبيق المحدد.
4. تقليل تكلفة العمليات
عمليات التحليل المتوقفة تساوي الأموال المفقودة. الوقت الذي تقضيه في معرفة ليس فقط كيفية حل المشكلة ولكن أيضا من المسؤول لحل المشكلة هو الوقت الذي يمكن أن تنفق قيمة البناء. يساعد التعلم الآلي في الوصول إلى جوهر المسألة من خلال تنبيه الفرق التي قد تكون مسؤولة عن الاستجابة لأنواع معينة من الحوادث ، مما يتيح لبقية قسم تكنولوجيا المعلومات حرية الاستمرار في أداء وظائف الوظيفة الأساسية. بالإضافة إلى ذلك ، سيساعد التعلم الآلي في القضاء على الإيجابيات الخاطئة ، مما يقلل من العدد الإجمالي للتنبيهات مع زيادة دقة المعلومات التي يمكن أن تقدمها. إن إرهاق الإنذار حقيقي للغاية ، لذلك سيكون لهذا التغيير تأثير ملموس على نوعية الحياة.
عندما يتعلق الأمر بالفوز في الأعمال التجارية ، التحليلات أمر بالغ الأهمية. أظهرت دراسة تاريخية من Bain Capital أن الشركات التي تستخدم التحليلات أكثر من ضعفها في الأداء المالي. يوفر ETL الأساس للنجاح في هذه الساحة ، لكن التأخير والأخطاء يمكن أن تمنع أيضًا نجاح برنامج التحليلات. وبالتالي ، يصبح التعلم الآلي أداة لا تقدر بثمن لنجاح أي برنامج تحليلي ، مما يساعد على ضمان بيانات نظيفة ونتائج دقيقة.