المحتوى
Q:
ما هي بعض الطرق الرئيسية لأتمتة عمليات علوم البيانات وتحسينها؟
أ:
يمكن تقسيم عمليات علوم البيانات في مجال التعلم الآلي ونظام الذكاء الاصطناعي إلى أربع مراحل مختلفة:
- الحصول على البيانات واستكشافها ،
- بناء نموذج،
- نشر النموذج و
- التقييم عبر الإنترنت والتنقيح.
من تجربتي ، فإن المراحل الأكثر إعاقة هي مراحل الحصول على البيانات ونشر النموذج في أي عملية لعلوم البيانات القائمة على التعلم الآلي ، وهنا طريقتان لتحسينها:
1. إنشاء مخزن بيانات يمكن الوصول إليها للغاية.
في معظم المؤسسات ، لا يتم تخزين البيانات في موقع مركزي واحد. لنأخذ فقط المعلومات المتعلقة بالعملاء. لديك معلومات اتصال العملاء ، دعم العملاء ، ملاحظات العملاء وسجل تصفح العملاء إذا كان عملك هو تطبيق ويب. جميع هذه البيانات مبعثرة بشكل طبيعي ، لأنها تخدم أغراض مختلفة. قد تكون موجودة في قواعد بيانات مختلفة وقد يكون بعضها منظمًا بالكامل وبعضها غير منظم ، وقد يتم تخزينه كملفات عادية.
لسوء الحظ ، فإن تشتت مجموعات البيانات هذه يقتصر إلى حد كبير على عمل علم البيانات كأساس لجميع مشاكل البرمجة اللغوية العصبية والتعلم الآلي وذكاء الأطفال. البيانات. لذلك ، فإن الحصول على كل هذه البيانات في مكان واحد - مخزن البيانات - أمر أساسي في تسريع تطوير النموذج ونشره. نظرًا لأن هذا جزء مهم لجميع عمليات علم البيانات ، يجب على المؤسسات توظيف مهندسي بيانات مؤهلين لمساعدتهم في بناء مراكز بياناتهم. يمكن أن يبدأ هذا بسهولة عندما تتدفق البيانات البسيطة إلى موقع واحد وتنمو ببطء إلى مستودع بيانات مدروس جيدًا وموثق تمامًا ويمكن الاستعلام عنه باستخدام أدوات مساعدة لتصدير مجموعات فرعية من البيانات إلى تنسيقات مختلفة لأغراض مختلفة.
2. كشف النماذج الخاصة بك كخدمة للتكامل السلس.
بالإضافة إلى تمكين الوصول إلى البيانات ، من المهم أيضًا أن تكون قادرًا على دمج النماذج التي طورها علماء البيانات في المنتج. قد يكون من الصعب للغاية دمج النماذج التي تم تطويرها في بيثون مع تطبيق ويب يعمل على روبي. بالإضافة إلى ذلك ، قد تحتوي النماذج على الكثير من تبعيات البيانات التي قد لا يتمكن منتجك من توفيرها.
تتمثل إحدى طرق التعامل مع ذلك في إنشاء بنية أساسية قوية حول طرازك والكشف عن الوظائف الكافية التي يحتاجها منتجك فقط من أجل استخدام النموذج ك "خدمة ويب". على سبيل المثال ، إذا كان التطبيق الخاص بك يحتاج إلى تصنيف المعنويات في مراجعات المنتج ، كل ما يجب القيام به هو استدعاء خدمة الويب ، وتوفير الخدمة ذات الصلة وستعيد الخدمة تصنيف المعنويات المناسب الذي يمكن للمنتج استخدامه مباشرة. بهذه الطريقة يكون التكامل ببساطة في شكل مكالمة API. إن فصل الطراز والمنتج الذي يستخدمه يجعل من السهل حقًا على المنتجات الجديدة التي توصلت إليها أن تستخدم هذه الطرز أيضًا دون أي مشاكل تذكر.
الآن ، يعد إنشاء البنية التحتية حول النموذج الخاص بك قصة أخرى كاملة ويتطلب استثمارًا أوليًا كبيرًا من فرق الهندسة الخاصة بك. بمجرد وجود البنية التحتية ، فإن الأمر يتعلق ببناء النماذج بطريقة تتناسب مع البنية التحتية.