المحتوى
- حاضر ومستقبل الجينوم
- احتياجات صناعة رسم الخرائط الجينومية
- ما هو المتوقع في الحل؟
- لماذا Hadoop هو الحل الأمثل لتسلسل الجينوم
- No Bugs، No Stress - دليلك خطوة بخطوة لإنشاء برامج لتغيير الحياة دون تدمير حياتك
- ماذا يمكن أن Hadoop تفعل؟
- الفرص المتاحة ل Hadoop
- القوس والنشاب: منصة إدارة بيانات الجيل التالي
- برامج الجينوم الأخرى المستندة إلى Hadoop
- خاتمة
المصدر: A3701027 / Dreamstime.com
يبعد:
يحتاج تسلسل الجينوم إلى أدوات تقنية قوية للتعامل مع جميع بياناته ، ويتحقق Hadoop من المهمة.
علم الجينوم السريري هو موضوع رائع ، حيث يعمل الناس على التقنيات الحديثة لمعالجة نتائج سريعة ودقيقة. هناك الكثير من متسلسلات الجينوم المتاحة في السوق ، وهم ينتجون بايتات من بيانات التسلسل ، وسيؤدي النمو في التسلسل إلى إنتاج إكسبايتات من البيانات في المستقبل القريب. هنا ، Hadoop هي المنصة المثالية لمعالجة تدفق عمل الجينوميات المعقدة. يمكن Hadoop تخزين وفرز كميات هائلة من المعلومات ويمكن أيضا تقديم تحليل هادف. (للحصول على فكرة حول مقدار البيانات التي يستلزمها هذا بالفعل ، اقرأ فهم البتات والبايت ومضاعفاتها.)
حاضر ومستقبل الجينوم
اليوم ، وصل رسم خرائط الجينوم ذروته في التنمية. كثير من الأشخاص المرتبطين بصناعة الجينوم يكتظون بالفضول ، وبما أن الفرص الجديدة تقدم أنفسهم ، فإن التكنولوجيا الأفضل هي حاجة الساعة. تسلسل الجينوم هو مهمة متكررة للغاية وكثيفة الموارد. في عام 2013 وحده ، تم إنتاج حوالي 15 بيتابايت من البيانات ، وفقط 2000 جهاز تسلسل. تضمن مقدار إسقاط الفك 300 كيلو بايت من بيانات الجينوم البشري المتسلسل. على هذا المعدل لإنتاج البيانات ، يمكن تقدير أنه بحلول عام 2018 ، سيتم إنتاج حوالي واحد بايت من البيانات. سيكون هذا بسبب نمو أجهزة التسلسل ، والتي ستنتج المزيد والمزيد من البيانات لكل تشغيل. سبب آخر هو ظهور آلات تسلسل الجينوم قوية للغاية ومنخفضة التكلفة. منذ عام 2008 ، انخفض سعر هذه الآلات بشكل مطرد. هذا بسبب آلات الجيل التالي القوية التي دخلت السوق.
احتياجات صناعة رسم الخرائط الجينومية
تستخدم الخوارزميات المعقدة لمعالجة البيانات التي يتم جمعها من الجينوم البشري. ثم ، يجب تخزين هذه المعلومات. قد تتم مراجعته في المستقبل للمقارنة مع البيانات الأصلية. مهمة معالجة وتخزين 100 غيغابايت من البيانات ليست صعبة للغاية ، لا سيما عندما تفعل ذلك مع الآلات القوية المستخدمة في مراكز التسلسل. تشير الدراسات إلى أن هذه الكمية من البيانات يمكن معالجتها في حوالي 1000 ساعة من وحدة المعالجة المركزية ، لذلك فهي سهلة للغاية. على هذا المعدل من التقدم التقني ، من الواضح أن صناعة الجينوم ستقوم قريباً بمعالجة آلاف الجيجابايت في ثوان معدودة.
ومع ذلك ، فإن تقنيات إدارة البيانات وتخزينها لا تتطور بالسرعة ، ومن المتوقع حدوث فقد كبير للبيانات الثمينة. هذا أمر غير مرغوب فيه حقًا ، لأنه سيعيق بشكل خطير التقدم المحرز في الجينوم البشري. لذلك ، فإن الحاجة إلى تقنية فعالة لإدارة البيانات ، والتي يمكن تحديثها بسهولة ، مرتفعة للغاية. يمكن أن يكون ذلك فعالًا خاصة في المستقبل القريب ، حيث سينتقل تعيين الجينوم من المختبرات الكبيرة ذات أجهزة الكمبيوتر القوية إلى المستشفيات والمختبرات الصغيرة.
ما هو المتوقع في الحل؟
إن سرعة اكتشاف تقنيات التسلسل الجيني الجديدة وتطويرها عالية للغاية. هذه الوتيرة يمكن أن تكون مفيدة للغاية للعلوم الطبية في شكل خطوة قوية نحو القضاء على الأمراض الرئيسية. ومع ذلك ، يمكن أن تكون هذه الوتيرة صعبة للغاية أيضًا.
يكمن التحدي في شكل إدارة كميات كبيرة من البيانات التي تنتجها المشاريع المتسلسلة. لذلك ، هناك حاجة إلى حل فعال يساعد في تخزين ومعالجة البيانات الضخمة. يجب أن يكون هذا الحل رخيصًا وسريعًا ، في حين أنه متكيف أيضًا. يجب أن يكون التحليل المقدم من هذا الحل دقيقًا وثابتًا. إذن ما هو الحل للمشكلة؟ مما لا شك فيه ، إنه Hadoop. (لمزيد من المعلومات حول استخدامات Hadoop ، راجع 5 إحصاءات حول البيانات الكبيرة (Hadoop) كخدمة.)
لماذا Hadoop هو الحل الأمثل لتسلسل الجينوم
ما تحتاجه صناعة الجينوم هو حل متميز يمكن أن يساعدهم في إدارة البيانات بفعالية ومعالجتها وتخزينها للاستخدام في المستقبل. يبدو أن هذا الحل يتطابق تمامًا مع برنامج Hadoop. لذلك ، يمكن اعتبار Hadoop البرنامج الأمثل لإدارة البيانات الكبيرة التي يمكن أن تحسن كثيرا من تقنيات تخزين البيانات الحالية لصناعة الجينوم.
تتيح إمكانات Hadoop في الوقت الفعلي لمسلسلات الجينوم تحليل وتخزين كميات كبيرة من البيانات مرة واحدة في الوقت الحقيقي. وهذا يتيح أيضًا استخدام البيانات في المستقبل. تستطيع Hadoop التغلب على العديد من الأنظمة القديمة ، لأنها أسرع بكثير وأكثر موثوقية منها.
No Bugs، No Stress - دليلك خطوة بخطوة لإنشاء برامج لتغيير الحياة دون تدمير حياتك
لا يمكنك تحسين مهارات البرمجة لديك عندما لا يهتم أحد بجودة البرنامج.
ماذا يمكن أن Hadoop تفعل؟
بسبب Hadoop ، تم فتح عدد كبير من الاحتمالات والفرص في مجال الجينوم وتسلسل الجينات. تقدم Hadoop خيارات حوسبة متوازية بسبب التسلسل الأسرع. أيضا ، باستخدام وظيفة MapReduce من Hadoop ، يمكن تعيين أعداد كبيرة من الجينات بسهولة بالغة. لهذا السبب ، فإن التسلسل مع Hadoop سيصبح حقًا "الجيل القادم" وسيكون أقل تعقيدًا.
الفرص المتاحة ل Hadoop
تتمتع Hadoop بالعديد من الفرص في صناعة الجينوم ، ولكن أفضلها تم استخلاصه من مقالة ليندا تشين "فهم البيانات الجينومية للسرطان" في مجلة Genes & Development. تناقش في هذا المقال كيف فتحت الجينوميات الحديثة أبوابًا جديدة ، وأدى ذلك إلى العديد من النتائج الإيجابية مثل اكتشاف المعلومات الجينومية عن السرطان. بسبب هذا ، نحن أقرب إلى اكتشاف علاج السرطان نفسه. ومع ذلك ، فإن هذا يحتاج إلى مزيد من الاهتمام وتطبيق قوي لإدارة البيانات لتحسين القدرة البحثية في هذا المجال. قد تكون هذه أفضل فرصة لـ Hadoop لإثبات سرعتها وقوتها ودقتها.
القوس والنشاب: منصة إدارة بيانات الجيل التالي
يعتبر Crossbow ، وهو عبارة عن خط أنابيب برمجي مخصص لتحليل إعادة تسلسل الجينوم ، أحد أفضل الحلول. لقد كان ذلك نتيجة للتكامل داخل Hadoop بين خوارزمية سريعة لمحاذاة البيانات المتسلسلة ، والتي تسمى Bowtie ، وخوارزمية قوية تقارن وتفحص البيانات المتسلسلة ، أي الوراثة المسمى SoapSNP. إنه مبني على Apache Hadoop ويستند إلى تنفيذ إطار عمل MapReduce. القوس والنشاب محمول وقابل للتطوير ومناسب أيضًا كأداة للحوسبة السحابية.
مع هذا التكامل القوي ، يمكن فحص الجينوم الكامل في يوم واحد فقط على كتلة محلية ذات 10 نقاط. من خلال مجموعة ذات 40 عقدة ، تكون العملية أسرع وتستكمل في ثلاث ساعات فقط بتكلفة إجمالية تقل عن 100 دولار! أظهرت دراسة أجريت لاختبار دقة Crossbow أنه يمكن مقارنة كل جينوم بدقة 99 بالمائة. ميزة أخرى مفيدة من Crossbow هو أنه يعمل على السحابة. وبالتالي ، ستمكن Crossbow الآلاف من مراكز التسلسل المستقبلية ، مثل المستشفيات ، من إجراء تسلسل كميات كبيرة من بيانات الجينوم دون الحاجة إلى أي أجهزة كمبيوتر وتكنولوجيا قوية ومكلفة.
برامج الجينوم الأخرى المستندة إلى Hadoop
لقد أدركت العديد من الشركات قوة Hadoop في تغيير عالم الجينوم. لقد قاموا بتعديل Hadoop بشكل مناسب للاستفادة من إمكاناته لتسلسل الجينوم المتقدم. فيما يلي بعض الأمثلة على حلول تسلسل الجينوم المشهورة القائمة على Hadoop:
- Hadoop-BAM: هذه أداة قوية لإدارة البيانات تستخدم وظيفة MapReduce من Hadoop لمختلف الأنشطة المتعلقة بالجينوميات ، مثل التنميط الجيني. هذا يعمل في تنسيق محاذاة ثنائي / خريطة.
- Cloudburst: تم إنشاء هذا الحل القائم على Hadoop في عام 2009. وهو فعال للغاية في مقارنة تسلسل الجينوم ورسم خرائط الجينات الفردية. هذا أيضًا أحد التطبيقات المستندة إلى Hadoop المصممة لهذا الغرض.
خاتمة
أثبت التكامل بين البيانات الضخمة وصناعة الجينوم أنه نعمة في العصر الحديث. هذه المنصات فعالة في اكتشاف علاجات عدة أمراض مثل السرطان. البيانات التي يتم العثور عليها عن طريق رسم الخرائط الجينومية يمكن استخدامها لصياغة معلومات وقائية من هذه الأمراض. يمكن اعتبار ظهور البيانات الضخمة كنقطة تحول في عالم الجينوميات ، وإذا تم استخدام المعلومات بحكمة ، فربما في مجال الرعاية الصحية الأوسع أيضًا. الطريقة الوحيدة لهذا الحقل للتقدم هي استخدام أدوات إدارة البيانات المناسبة مثل Hadoop.