ما هو اكتشاف الشذوذ، وكيف يمكن تطبيق النماذج التوليدية عليه؟
جدول المحتويات
عند الحديث عن النمذجة التوليدية في الوقت الحاضر، نفكر على الفور في ChatGPT أو DALL-E بواسطة أوبن إيه آي. في الآونة الأخيرة، كان لهذه النماذج الكبيرة تأثير هائل على حياتنا اليومية. لكن النماذج التوليدية موجودة منذ فترة طويلة. حدثت الطفرة الأولى منذ ما يقرب من عشر سنوات مع شبكة Generative Advisarial الشهيرة أو المعروفة باسم GAN.
في حين أصبحت النماذج التوليدية أكثر شيوعًا لإنتاج الصور الفنية أو النصوص، فقد وسعت التحسينات الأخيرة تطبيقها ليشمل موضوعات أخرى أيضًا. واحد منهم هو اكتشاف الشذوذ.
ما المقصود باكتشاف الحالات الشاذة؟
اكتشاف الحالات الشاذة هي عملية تحديد الأحداث أو العناصر غير العادية في مجموعة البيانات التي لا تتبع نمط السلوك العادي. إنه مهم بشكل خاص في الأمن السيبراني أو اكتشاف الاحتيال أو رؤية الماكينة.
ومن الأمثلة الشائعة اكتشاف العناصر الخطرة في عمليات المسح بالأشعة السينية في المطارات. في هذه الحالة، يجب اكتشاف التشوهات مثل البنادق أو السكاكين تلقائيًا.
في مهام اكتشاف الحالات الشاذة، تميل مجموعات البيانات بشدة إلى فئة واحدة (عادية) بسبب نقص الأمثلة من الأخرى (غير طبيعية). عندما يتم التعامل مع هذه المشكلة كتصنيف خاضع للإشراف، قد يكون الحصول على أمثلة غير طبيعية كافية أمرًا صعبًا ويستغرق وقتًا طويلاً.
إذن ما الذي يمكننا تعريفه على أنه حالة شاذة في هذا السياق؟ التعريفات عامة بشكل عام، وقد لا تكون هناك أمثلة كافية لدعمها. نسمي هذا عدم التوازن الطبقي. قد يؤدي تدريب خوارزمية التصنيف باستخدام الكائنات المصنفة من الصور إلى سوء تصنيف الفئة الأقل تمثيلًا؛ في هذه الحالة، الحالات الشاذة.
النهج الذي تقترحه النماذج التوليدية لاكتشاف الشذوذ مثير للاهتمام للغاية. يحاول تصنيف العينات غير الطبيعية التي تفتقر إلى الملصقات. في هذه المقالة، سنتعمق أكثر في الطريقة التي وصفها Akcay et al. في عام 2018 لأحد أهم أساليب GAN لهذا المجال: «جانو مالي».
GanoMaly: نهج توليدي لاكتشاف الشذوذ
هناك ثلاثة أجزاء لبنية النموذج:
- المولد: وفقًا لبنية التشفير التلقائي المتغير (VAE)، تقوم هذه الشبكة بتعيين صورة الإدخال إلى متجه ذي أبعاد أقل، ض، والتي يتم استخدامها بعد ذلك لإعادة بناء صورة الإخراج التي تم إنشاؤها. الفرضية هي أن ض يحمل أصغر بُعد يحتوي على أفضل تمثيل للصورة x.
- التمييز: تحاول هذه الشبكة التمييز بين الحقيقي، x، والصور المزيفة، x'، التي أنشأها المولد. هذا هو السلوك المعروف لشبكات GAN التي تهدف إلى خداع المميّز من خلال إعادة بناء صور مزيفة تشبه إلى حد كبير الصور الحقيقية.
- التشفير: الشبكة الجديدة لهذه البنية. يحتوي برنامج التشفير هذا على نفس بنية الجزء الأول من المولد، Gه(x). تقوم هذه الشبكة بتعيين الصورة المزيفة x' إلى البعد السفلي z'، والتي لها نفس الحجم ض. يتم استخدام الإخراج كخسارة لتحسين النموذج.
النتيجة الرئيسية للعملية هي «درجة الشذوذ»، التي تقيس التشابه بين ض و z'. كلما انخفضت النتيجة، كلما كانت أكثر تشابهًا.
بعد التدريب، تعلم المولد إنشاء صور بتوزيع عادي. بمعنى آخر، طالما أن صورة الإدخال لا تتضمن أي عناصر غير طبيعية، فيجب إعادة بنائها دون أخطاء. ومع ذلك، عند ظهور عنصر غير طبيعي، لا يمكن إرجاعه إلى التوزيع الطبيعي. في هذه الحالة، يعد إعادة إنتاج العنصر غير الطبيعي في الصورة المزيفة x' أمرًا صعبًا للغاية، مما يؤدي إلى ارتفاع درجة الشذوذ. نظرًا لأن المولد يقارن مدى تشابه الأمثلة، فإنه يخلص إلى أن الأمثلة مختلفة جدًا. لذلك، كلما قل عدد أوجه التشابه، كلما ارتفعت النتيجة.
هذه العبارة أكثر وضوحًا في مقارنة الصور التالية.
في الشكل 3، نرى 9 صور مختلفة. في (أ)، يمكننا رؤية الصور الأصلية، بينما في (ب) نسرد إعادة البناء المزيفة لكل صورة أكملها النموذج. يمكننا أن نلاحظ أنه عندما يكون هناك عنصر غير طبيعي، بندقية، على سبيل المثال، لا يمكن للنموذج إعادة بنائه. لذلك بالنسبة للصور من 1 إلى 4، تكون النتيجة غير الطبيعية أعلى.
تُظهر قدرة نموذج GanoMaly على اكتشاف الحالات الشاذة في سلسلة من الصور مدى فعالية هذا النهج، خاصة عند التعامل مع مجموعات البيانات المعقدة. ويمكن أن تكون ذات قيمة خاصة في سيناريوهات العالم الحقيقي حيث يكون اكتشاف الحالات الشاذة أمرًا بالغ الأهمية، مثل الأمن السيبراني والرعاية الصحية واكتشاف الاحتيال المالي وحتى التصنيع.
ما هي مزايا وعيوب النماذج التوليدية لاكتشاف الحالات الشاذة؟
دعونا نلقي نظرة على مثال آخر.
تعتمد شركة تصنيع المواد الكيميائية التي تنتج نوعًا من البوليمر (مثل البولي بروبيلين) المستخدم في صناعة السيارات (على سبيل المثال، لبطاريات السيارات والمصدات وعزل الكابلات) على عملية إنتاج معقدة تتضمن إدارة المواد الخام ذات المعلمات الحساسة، مثل درجة الحرارة والضغط وأوقات التفاعل.
غالبًا ما تبدأ عملية مراقبة الجودة عندما يكون هناك بالفعل عدد قليل من العينات المتاحة، لذلك بحلول الوقت الذي تكتمل فيه مراقبة الجودة، تم بالفعل إنتاج مجموعة كاملة ذات جودة رديئة.
ومن خلال استخدام نماذج توليدية مثل شبكات GAN للكشف عن الحالات الشاذة، ستقوم الشركة بتدريبهم باستخدام بيانات من عمليات الإنتاج السابقة والدفعات الناجحة، بما في ذلك معايير المواد الخام وخصائص البوليمر النهائي عالي الجودة. وبمجرد التدريب، ستقوم النماذج بمراقبة عملية الإنتاج وتحديد أي انحراف (على سبيل المثال، ارتفاع درجة الحرارة وانخفاض الضغط) عن القيم المتوقعة في الوقت الفعلي.
ما هي مزايا هذا النموذج؟
- يتغلب على قيود تسمية مجموعة البيانات من خلال توفير الوقت وتوسيع نطاقها. لا يتطلب النموذج التوليدي مثالًا مُصنّفًا لكل حالة شاذة محتملة ويمكنه اكتشاف الانحرافات غير المعروفة سابقًا.
- يقوم بإجراء تحليل شامل بناءً على البيانات التي تم التدريب عليها. طالما أنها تعمل بشكل جيد، يمكن أن تصبح أداة تساعد البشر على التغلب على التعب أو نقص التركيز عند التحكم في صور الأشعة السينية، على سبيل المثال.
- إنه قابل للتطوير. بمجرد التدريب، يمكن تنفيذ النموذج عبر المؤسسة بأكملها.
- يحدد الحالات الشاذة في الوقت الفعلي أو في الوقت الفعلي تقريبًا، مما يساعد على تجنب التأخيرات والأخطاء المكلفة.
- كما يتعلم النموذج، يمكن أن تبدأ في التنبؤ بالشذوذات المحتملة، منع الاضطرابات غير الضرورية.
في حين أن استخدام النماذج التوليدية لاكتشاف الحالات الشاذة له العديد من المزايا، إلا أن هناك قيودًا محتملة يجب أن تكون على دراية بها:
- نماذج توليدية قد تكون أقل دقة لأن الافتراضات تجعلهم أكثر تحيزًا. هناك أيضًا خطر حدوث نتائج إيجابية كاذبة أو سلبية كاذبة، مما قد يؤدي إلى حالات شاذة غير مكتشفة.
- من الصعب التحكم في قابلية التفسير عندما يكون الهدف هو أن يتعلم النموذج من تلقاء نفسه. تجعل طبيعة «الصندوق الأسود» لهذه النماذج من الصعب تحديد سبب قيام النموذج بالإبلاغ عن حالة شاذة.
- النماذج هي تعتمد بشكل كبير على جودة وكمية بيانات التدريب، و عادة ما تكون البيانات الطبية غير الطبيعية نادرة مقارنة بالبيانات العادية.
- النماذج التوليدية، وخاصة شبكات GAN، هي معقدة وتتطلب الكثير من قوة الحوسبة والخبرة.
عندما تصبح البيانات المصدر الرئيسي للمعلومات لأي نموذج توليدي - تزداد أهمية التحيز والتفسير والإنصاف.
لنأخذ مثال عمليات المسح بالأشعة السينية في المطارات التي استكشفناها سابقًا. تحتوي الصور المدخلة على بعض التشوهات، ولكن ليس لدينا أي تصنيفات، ولا نعرف ما يعتبره النموذج غير طبيعي في هذه المرحلة. بالنسبة لصور الأشعة السينية، تعتبر البنادق حالات شاذة، لكن النموذج لا يمكنه إعادة إنتاج صور أخرى غير شائعة. تخيل معدات طبية لمرض نادر أو مواد ثقافية فريدة. يمكن أن تكون النماذج التوليدية مفيدة ولكنها بعيدة عن أن تكون مستقلة. لتصحيح الأخطاء المحتملة التي ترتكبها هذه النماذج، ما زلنا بحاجة إلى إشراف بشري.
.avif)
كما هو الحال مع أي تقنية أخرى، لا تخلو النماذج التوليدية من قيودها. غالبًا ما يجعل تعقيد هذه النماذج من الصعب فهم كيفية وصولها إلى مخرجاتها، مما يثير تساؤلات حول المساءلة والشفافية. بالإضافة إلى ذلك، نظرًا لأن النماذج التوليدية يتم تدريبها على مجموعات بيانات كبيرة قد تحتوي على تحيزات، يمكن تكرار هذه التحيزات وتضخيمها في مخرجات النماذج.
يعمل الباحثون والممارسون بنشاط لمعالجة هذه القضايا وتحسين الشفافية والإنصاف في النماذج التوليدية. مع استمرار تطور التكنولوجيا، يمكننا أن نتوقع رؤية نماذج أكثر تقدمًا وأكثر قابلية للتفسير ومجهزة بشكل أفضل لمعالجة مشاكل العالم الحقيقي وخدمة احتياجات المجتمع.
وفي الوقت نفسه، لتحقيق أقصى استفادة من تطبيق النماذج التوليدية لاكتشاف الحالات الشاذة، إليك ما نوصي به:
- تأكد من أن لديك حق الوصول إلى الخبرة الصحيحة وعلماء البيانات المهرة الذين يدركون الفروق الدقيقة في التدريب وتفسير النماذج التوليدية. يمكن أن يؤدي استخدام أدوات وتقنيات التفسير أيضًا إلى إعطاء اليد العليا في فهم كيفية قيام هذه النماذج بتحديد بعض الحالات الشاذة.
- نظرًا لأن النماذج التوليدية تتعلم من بيانات الجودة وتعتمد عليها للكشف الدقيق، استثمر الوقت فيها جمع وتنظيم بيانات عالية الجودة.
- قم بتحسين أداء وموثوقية اكتشاف الأعطال من خلال باستخدام النماذج التوليدية جنبًا إلى جنب مع الطرق الأخرى، مثل تقنيات التعلم تحت الإشراف أو النهج الإحصائية التقليدية. وراقب باستمرار أداء النموذج من خلال تحسين نظام التدريب ودمج البيانات الجديدة.
في Visium، قمنا بتطوير نظام يكتشف الحالات الشاذة لـ Nestlé، باستخدام تحليلات الآلة القائمة على الصوت لمنع وقت التعطل. يمكنك العثور على تحليل كامل للحل في هذا الفيديو. يعتمد نموذج الذكاء الاصطناعي الذي صممناه لـ Nestlé على جهاز تشفير تلقائي واحد لتقليل الضوضاء، وهو هيكل أكثر بساطة من تلك المستخدمة من قبل GanoAly. من ناحية أخرى، فإن الاستدلال الذي طوره Visium أكثر تعقيدًا بكثير من مجرد مقارنة درجات الشذوذ. من المهم ملاحظة كيفية دمج الأدوات النظرية والعملية في نماذج الذكاء الاصطناعي لتطبيقها على سيناريوهات الحياة الواقعية وتخصيص كل حل للمشكلة المطروحة.
ومع استمرارنا في استكشاف النماذج التوليدية وتحسينها، يمكننا أن نتوقع فهمًا أعمق وتطبيقًا أكثر كفاءة في اكتشاف الحالات الشاذة.
