كيفية بناء روبوتات دردشة LLM فعالة باستخدام RAG

في كل مرة تكون نماذج الذكاء الاصطناعي التوليدية مثل GPT-4، كلود، أو الجوزاء يهلوس أو يعطي إجابات غير دقيقة، يتساءل العالم عما إذا كانت روبوتات الدردشة هذه التي تعمل بنظام LLM يمكنها تقديم قيمة حقيقية.

ومع ذلك، فإن بناء روبوتات الدردشة LLM هو أحد تطبيقات GenAI الأكثر شيوعًا. لمعالجة بعض قيود LLMS، لجأت الشركات إلى الجيل المعزز للاسترجاع (RAG)، وهو إطار يضمن الوصول إلى المعلومات الدقيقة عن طريق استرجاعها من مصادر متعددة.

الأساس الحقيقي لروبوتات الدردشة RAG

تجد معظم الشركات أنها سهلة ومثيرة وواحدة من أسرع الحلول لتجربة العملاء والموظفين مع استرجاع المعرفة. وهذا هو المكان بالضبط اثنان من أكبر المفاهيم الخاطئة حول إنشاء لعبة RAG chatbot hide: بافتراض أنها تعتمد بشكل كبير على LLMs وأنها تعمل ببساطة بشكل جيد.

استرجاع المعرفة هو معرفة مكان العثور على المعلومات التي تحتاجها. إنها خطوة حيوية في تطوير روبوتات دردشة RAG التي يجب معالجتها قبل استخدام نموذج لغوي كبير. LLM هو جزء واحد فقط من بنية RAG، ويشارك بشكل أساسي في التفكير وتوليد الاستجابات بناءً على البيانات المسترجعة.

دعونا نرى كيف تبدو بنية RAG لروبوت الدردشة بالذكاء الاصطناعي وكيفية التأكد من أن هذه المفاهيم الخاطئة الشائعة لا تقف في طريق الحل الناجح.

بنية GenAI لوكيل محادثة

تعد بنية الجيل المعزز للاسترجاع (RAG) إطارًا مصممًا لزيادة قدرات وكلاء المحادثة. تتضمن بنية RAG في جوهرها العديد من المكونات الرئيسية:

1. استيعاب البيانات
2. إنشاء قاعدة المعرفة
3. استرجاع المستندات
4. استدلال برنامج الماجستير
5. واجهة المستخدم

كل خطوة من هذه الخطوات مهمة بنفس القدر للأداء العام لـ RAG chatbot. أدناه، سنستكشف جميع الخطوات لإرشادك من خلال إنشاء عملية استرداد المعرفة الفعالة والموثوقة.

الخطوة 1: استيعاب البيانات

يمكن للشركات نشر معلوماتها عبر العديد من المصادر. الهدف الرئيسي من استيعاب البيانات هو دمج جميع مصادر المعلومات في مكتبة المستندات. يمكن أن يتضمن نظام التخزين المركزي القائم على السحابة أنواعًا مختلفة من البيانات، مثل المستندات أو صفحات Confluence أو إدخالات قاعدة البيانات أو الملفات مثل عروض PowerPoint التقديمية.

تتمثل الخطوة الأولى في تحديد موقع جميع أنظمة المصدر وإنشاء موصلات مخصصة لاستيعاب التخزين السحابي. باستخدام هذه الموصلات، نضمن أن سجلات المصدر متزامنة مع المعلومات التي يمكن الوصول إليها بواسطة RAG. يعد استيعاب البيانات مشكلة هندسة بيانات بحتة.

ضع في اعتبارك سيناريو يتم فيه توزيع معلومات المنتج على 20,000 مستند فني. هذه حالة شائعة تتضمن التوثيق الفني الشامل للمنتجات.

في كل مرة تتغير فيها مواصفات المادة أو المنتج في إحدى هذه المستندات، يجب تحديث مكتبة المستندات بأحدث إصدار لضمان وصول مستخدم RAG إلى أحدث ملف بأحدث المعلومات.

لضمان أمان البيانات والخصوصية، يجب أن تكون سياسات الوصول التي تحدد المستخدمين الذين يمكنهم الوصول إلى معلومات محددة محددة محددة بوضوح في أنظمة المصدر وأن تنعكس أيضًا في مكتبة المستندات. يتضمن إعداد عناصر تحكم إدارة الوصول على مستوى المستند.

عند معالجة ملف أو إضافة مصدر، يجب نشر سياسات الوصول وإعدادات الأذونات هذه في مكتبة المستندات. تنفيذ إدارة الوصول على مستوى المستخدم غالبًا ما يتطلب تكوينات فريدة لضمان الوصول المصرح به والحماية والامتثال، حيث لا يخرج من الصندوق.

الخطوة 2: إنشاء قاعدة المعرفة

الهدف من خطوة إنشاء قاعدة المعرفة هو إنشاء مستودع مركزي للمعلومات التي يمكن البحث عنها بسهولة والهضم. يتضمن تقسيم كل مستند إلى أقسام أصغر، تسمى الأجزاء، ويصبح كل منها إدخالًا في قاعدة المعرفة (قاعدة بيانات متجهة). في أغلب الأحيان، لا يتم تخزين الأجزاء كنص فحسب، بل يتم تحويلها أيضًا إلى تمثيل قابل للقراءة آليًا (متجه). الهدف الرئيسي من هذه الخطوة هو العثور على أفضل تمثيل للمستندات داخل المكتبة، مما يجعلها مشكلة في علم البيانات.

تبدأ العملية بسؤالين رئيسيين: كيفية تقسيم المستندات إلى أجزاء وما هو التمثيل الأفضل لهذه الأجزاء. قرار حاسم آخر هو مقدار المعلومات التي يجب تقديمها للنموذج في وقت واحد. يكمن جمال هذه العملية في اختيار أفضل استراتيجية للتقسيم، والتي تعتمد على بياناتك، يمكن أن تختلف عبر المصادر، وتتطلب خبرة وتجريب منتظم.

طرق التمثيل المختلفة واستراتيجيات التقسيم لها علامات أسعار وتكاليف تنفيذ مختلفة. بعض الخدمات، مثل الذكاء الاصطناعي للمستندات من Azure، قد تقدم أداءً أفضل ولكنها تأتي بسعر باهظ، في حين أن استراتيجيات الابتلاع الأخرى قد تكون ميسورة التكلفة ولكنها أقل أداءً. تختلف طريقة التعامل مع هذه الأسئلة اعتمادًا على المقياس، سواء كنت تتعامل مع مليون مستند أو عشرة آلاف فقط.

في نهاية هذه الخطوة، سيكون لديك قاعدة بيانات متجهة. يتوافق كل إدخال في قاعدة البيانات مع جزء واحد من المستند الأصلي، يحتوي على تمثيل متجه لمحتوى المقطع والبيانات الوصفية (على سبيل المثال، موقع المصدر وحقوق الوصول ووقت الإنشاء وما إلى ذلك).

محتوى قاعدة بيانات المتجهات له تأثير مباشر على قدرة روبوت المحادثة على الرد على الاستفسارات بدقة. هذا يؤكد مسؤوليتنا عن اختيار استراتيجية التقسيم الصحيحة وطرق التمثيل، لأنها تحدد أداء نظام RAG، وفي النهاية، مدى قدرته على خدمة غرضه.

الخطوة 3: استرداد المستندات

الهدف الرئيسي من هذه المرحلة هو استرداد مقطع (أجزاء) المستند الذي يحتوي على المعلومات التي تم البحث عنها. لذا، فإن الخطوة الأولى هي تحويل استعلام البحث إلى متجه ثم البحث عن أجزاء ذات تمثيلات مماثلة.

في بعض الأحيان، يصعب على أنظمة RAG التمييز بين المعلومات المتشابهة. عند التعامل مع المستندات ذات الهياكل والمحتوى المماثل، يتم التصفية حسب بيانات وصفية إضافية، مثل تاريخ الإنشاء ونوع الاختبار وتاريخ التجربة، يمكن أن تكون مفيدة. على الرغم من أن إضافة البيانات الوصفية ليست شرطًا، إلا أنها يمكن أن تحسن نتائج البحث وتساعد المستخدمين في الوصول إلى المعلومات الصحيحة.

على سبيل المثال، قد يكون لدى شركة كيميائية تجري العديد من التجارب تقارير مماثلة باستثناء الاختلافات الطفيفة، مثل استخدام المركب B بدلاً من المركب A. ولكن إذا عرفنا المركب الموجود في المستند، فيمكننا توجيه العامل للبحث فقط عن المستندات التي تحتوي على المركب B، مما يزيد بشكل كبير من دقة المعرفة المسترجعة.

التحدي الآخر في استرداد المستندات هو تحديد العدد الأمثل من القطع لاسترجاعها. نظرًا للتعقيد الحسابي، من غير العملي مقارنة جميع الأجزاء باستعلام بحث معين. الهدف هو تحديد الأجزاء ذات الصلة بثقة عالية قبل إرسالها إلى LLM لتجنب التكاليف غير الضرورية. لكن الأمر لا يتعلق فقط بالتكاليف. يؤدي استخدام عدد كبير جدًا من الأجزاء غير ذات الصلة إلى زيادة فرصة قيام LLM باستخراج المعلومات الخاطئة عن طريق الخطأ وإبطاء جزء الاسترجاع. من ناحية أخرى، عند استخدام عدد قليل جدًا من الأجزاء، قد يتم تفويت المعلومات ذات الصلة. لذلك، نحن بحاجة إلى موازنة مستوى التقريب والتكاليف والسرعة بحيث يظل نظام RAG فعالاً مع توفير نتائج دقيقة.

الخطوة 4: منطق LLM

وفي هذه المرحلة, يستهلك LLM المعلومات المقدمة ويولد استجابة، ولكن هناك عدة عوامل تؤثر على أدائها. هذه مشكلة الذكاء الاصطناعي.

يعد اختيار النموذج الأمثل والمعلومات واستراتيجية التحفيز مهمة معقدة تمثل سلسلة من تحديات الذكاء الاصطناعي. أحد هذه التحديات هو التوازن الدقيق بين السعر والأداء. يمكن أن تختلف التكاليف بشكل كبير بناءً على النموذج المختار، مثل GPT-3.5 توربو أو GPT-4. بالإضافة إلى ذلك، يؤثر عدد الرموز المميزة المستهلكة على التكلفة. يعتمد استهلاك الرمز المميز على عوامل مثل حجم القطعة وعدد القطع التي يتم تغذيتها للنموذج وتعليمات النموذج المحددة. قد تتضمن الإدارة الفعالة للتكلفة تحديد حدود الإنتاج نظرًا لأن رموز الإدخال والإخراج تتحمل رسومًا.

نظرًا لأن مخرجات LLM عبارة عن نصوص مجانية وليست بيانات منظمة، فإن تقييم أدائها وما إذا كانت الردود صحيحة قد يتطلب آليات إضافية، بما في ذلك نماذج الذكاء الاصطناعي الأخرى.

التحدي الآخر هو التعامل مع المعلومات المتناقضة. قد تواجه نماذج اللغات الكبيرة (LLMs) بيانات متضاربة، مما يجعل من الصعب تقديم إجابات دقيقة. ما الذي يمكن عمله؟ على سبيل المثال، إذا كان السبب الرئيسي لتضارب البيانات هو مستندات المصدر القديمة، فإن تحديد أولويات المستندات الأحدث يمكن أن يساعد في تخفيف المشكلة.

يعتمد تحقيق النتائج المثلى أيضًا على صياغة المطالبة الصحيحة. يمكن أن تؤثر بنية الموجه على جودة استجابة النموذج وملاءمتها. يجب أن يكون الموجه المصمم جيدًا واضحًا وموجزًا ومناسبًا للسياق، ويوجه LLM لتوليد المخرجات المطلوبة. قد يكون من الضروري أيضًا تصميم المطالبات لمجموعات مستخدمين ومجموعات بيانات محددة، حيث تتطلب الجماهير والسياقات المختلفة مناهج متميزة. يمكن أن تؤدي المطالبة التي تم إنشاؤها بشكل سيئ إلى استجابات غامضة أو غير كاملة أو خارج الموضوع.

عندما تكون استراتيجيات المطالبة فعالة، تعمل LLMs بشكل أفضل أيضًا.

الخطوة 5: واجهة المستخدم

في هذه المرحلة، ينصب التركيز على إنشاء تجربة بديهية لمستخدمينا. نريدهم أن يكونوا قادرين على إدخال المطالبات وتلقي الردود وعرض قائمة بالمستندات ذات الصلة بسهولة. هذه مشكلة هندسة البرمجيات.

تتمثل إحدى التحديات الأساسية في تجربة المستخدم في تقليل الوقت الذي يستغرقه المستخدمون للعثور على المعلومات التي يحتاجون إليها. يجب أن تعرض الواجهة البيانات ذات الصلة بسرعة وكفاءة. يجب أن يعمل النظام أيضًا بشكل جيد في ظل التحميل العالي للمستخدم وأن يتعامل مع الاستعلامات المتزامنة دون المساس بالسرعة أو الموثوقية.

وبمرور الوقت، يمكن أن تساعد تعليقات المستخدمين في تحسين النظام وتحسين خوارزميات الترتيب والاسترجاع من خلال تقديم ملاحظات حول مدى ملاءمة ودقة الردود والمستندات المستردة. آليات التغذية الراجعة يمكن أن تكون أزرار الإبهام لأعلى/الإبهام لأسفل تتيح للمستخدمين تحديد رضاهم من خلال الاستجابة.

إذا كانت الإجابة غير مرضية، يحتاج المستخدمون إلى الوصول إلى استراتيجيات بديلة. يجب أن تقدم الواجهة خيارات تصفية إضافية أو القدرة على إعادة توجيه الاستعلام إلى خبير للحصول على المساعدة. وهذا يضمن أن يكون لدى المستخدمين دائمًا مسار للعثور على المعلومات التي يحتاجون إليها، حتى لو لم تكن الاستجابة الأولية مثالية، مما يؤدي إلى بناء شعور بالأمان والثقة.

يجب أن تكون واجهة المستخدم أيضًا متوافق مع عمليات سير العمل الحالية وتوقعات تجربة المستخدم. لقد اعتاد الناس على سير العمل، لذا فإن أي ابتكار سيتطلب تغيير روتينهم. غالبًا ما يتم تجاهل أن إدارة التغيير الفعالة، من خلال التدريب والدعم، يمكن أن تشجع الفريق على اعتماد أدوات جديدة.

لقد لاحظنا كثيرًا اختلافًا كبيرًا في كيفية استخدام قاعدة المستخدمين المتعلمين لنظام RAG مقارنة بنظام غير مدرب. تثقيف المستخدمين حول استراتيجيات التحفيز يمكن أن تعزز الإنتاجية، مثل وقت استخدام النظام، والمعلومات التي يجب إدخالها، وكيفية صياغة الاستعلامات للحصول على أفضل النتائج.

كيف تعرف ما إذا كان روبوت الدردشة RAG يفي بوعده؟

يتضمن تقييم نجاح برنامج الدردشة الآلي المستند إلى RAG فهم كيفية تغيير النظام للطريقة التي يتعامل بها المستخدمون مع المعلومات.

يعثر روبوت الدردشة الناجح المستند إلى RAG على المعلومات بشكل موثوق وسريع. تصبح غير قابلة للاستخدام أو غير ضرورية إذا فشلت في الموثوقية أو السرعة.

دعونا نفحص كليهما.

السرعة: إلى أي مدى يمكن للمستخدمين العثور على المعلومات بشكل أسرع باستخدام روبوت الدردشة الذي يعمل بنظام RAG؟

يمكن قياس الزيادة في السرعة من خلال تتبع متوسط الوقت الذي يستغرقه المستخدمون لتحديد معلومات محددة قبل وبعد تنفيذ الحل القائم على RAG.

على سبيل المثال، إذا كان المستخدمون، في المتوسط، أسرع بنسبة 50٪، فإن ضرب هذا التحسن في عدد المستخدمين وتكرار عمليات البحث الخاصة بهم سيحدد مكاسب الكفاءة الإجمالية.

بطبيعة الحال، السؤال التالي هو كيف سيستخدم فريقك أوقات فراغهم. لا ينبغي تقييم مكاسب الكفاءة فقط من حيث الوقت الذي يتم توفيره ولكن أيضًا في كيفية إعادة استثمار هذا الوقت في الأنشطة التي تضيف المزيد من القيمة إلى المنظمة.

• قد يعني استرداد المعلومات بشكل أسرع تخصيص وقت إضافي للمهام الاستراتيجية الأكثر تعقيدًا التي تتطلب التفكير النقدي والإبداع، مثل التعاون مع فريق المنتج لاقتراح تحسينات بناءً على مشكلات خدمة العملاء المتكررة.
• الحفاظ على تكاليف القوى العاملة الدقيقة في المناطق التي تشهد نموًا مرتفعًا يمكن أن تسمح للفريق بالتعامل مع عبء عمل أكبر.
• تؤدي الاستجابة بشكل أسرع لطلبات العملاء إلى تقليل أوقات تسليم العروض وانخفاض تكاليف الاستحواذ، مما يؤدي إلى ارتفاع حجم المبيعات.

الموثوقية: هل يوفر روبوت الدردشة RAG الوصول إلى المعلومات التي لم تكن متوفرة سابقًا أو يصعب العثور عليها؟

يمكن تقييم موثوقية النظام من خلال حساب عدد عمليات الاسترداد الناجحة مقارنة بالنظام القديم. يمكنك أيضًا تقييم ما إذا كانت المعلومات التي تم الحصول عليها اليوم أكثر دقة أو شمولاً.

ومع ذلك، تأتي القيمة التجارية الحقيقية من استخدام الوصول المحسن إلى المعلومات لدفع عملية صنع القرار بشكل أفضل، والاستجابة بشكل أسرع للطلبات، أو تقليل الأخطاء. وهذا يعني العثور على معلومات المنتج الصحيحة واستخدامها لتسليط الضوء على فوائدها أثناء عملية البيع. وهذا يعني الوصول إلى تقارير التجربة المناسبة لاقتراح تحسينات للتجارب أو أفضل الإجراءات التالية بناءً على معلومات دقيقة.

ضع في اعتبارك تكلفة الأخطاء أيضًا. قم بتحليل تأثير توليد معلومات خاطئة، بما في ذلك التأثيرات على قرارات العمل ورضا العملاء وأي إعادة صياغة ضرورية لتصحيح الأخطاء.

لقد حان الوقت لتحويل وجهة نظرنا من مجرد الحصول على المعلومات إلى استخدامها بنشاط لتحقيق نتائج أعمال ملموسة.

لا تنغمس في أسطورة «التوصيل والتشغيل»

في حين أن التطورات في تقنية RAG مثيرة للإعجاب، إلا أن بناء روبوتات محادثة موثوقة قائمة على RAG لم يصبح بعد عملية توصيل وتشغيل.

يكمن مفتاح النجاح في التنفيذ الدقيق للخطوات الأولية: استيعاب البيانات وإنشاء قاعدة المعرفة واسترجاع المستندات - كل ما يتعلق بالعثور على مصدر المعلومات ومن ثم عرض هذه المعلومات بشكل فعال للمستخدم. حتى أفضل نموذج LLM لا يمكنه تقديم النتائج الصحيحة دون استرجاع المعرفة الدقيقة.

مع أكثر من خمس سنوات من الخبرة في استرداد المستندات، نتفهم أهمية هذه الخطوات التأسيسية بدلاً من الاعتماد فقط على قدرات LLM. تتيح لنا خبرتنا تنفيذ استراتيجيات بديلة تفيد المستخدمين وتوفر التوجيه الذي تحتاجه LLMs لإضافة قيمة في أي سيناريو.

مع وجود أساس قوي، يضمن للمستخدمين الوصول إلى المعلومات ذات الصلة والتي يمكن الوصول إليها، مما يؤدي إلى نجاح النظام بأكمله.