التحيز في النظام الذكي هو نمط من النتائج يضر فئة أو يعاملها بصورة غير عادلة. قد يدخل من البيانات أو تعريف الهدف أو طريقة القياس أو سياق الاستخدام. لذلك لا يكفي حذف صفة حساسة من الجدول؛ يمكن للرمز البريدي أو المدرسة أن يعمل بديلًا غير مباشر عنها.
التحيز في النظام الذكي هو نمط من النتائج يضر فئة أو يعاملها بصورة غير عادلة. قد يدخل من البيانات أو تعريف الهدف أو طريقة القياس أو سياق الاستخدام. لذلك لا يكفي حذف صفة حساسة من الجدول؛ يمكن للرمز البريدي أو المدرسة أن يعمل بديلًا غير مباشر عنها.
إذا كانت بيانات التدريب تمثل الماضي، فقد تتعلم قراراته غير العادلة. نظام توظيف دُرب على سجلات شركة فضلت تاريخيًا فئة معينة قد يربط النجاح بسمات تعكس هذا التاريخ. البيانات صحيحة بوصفها سجلًا لما حدث، لكنها ليست معيارًا لما ينبغي أن يحدث.
ويظهر تحيز القياس عندما يختلف المؤشر عن الظاهرة المطلوبة. استخدام تكلفة العلاج السابقة لقياس الحاجة الصحية قد يقلل تقدير مرضى لم يحصلوا أصلًا على خدمة كافية. النموذج يتنبأ بالمؤشر الذي أعطي له، لا بالمفهوم الذي قصده المصمم في ذهنه.
عدم توازن العينة يجعل الأداء المتوسط مضللًا. دقة 95% قد تخفي أداء أضعف بكثير لفئة صغيرة. لهذا تُفصل النتائج حسب المجموعات ذات الصلة، مع الانتباه إلى أن التقسيم نفسه قد يهدد الخصوصية أو يثبت فئات اجتماعية معقدة.
هناك مقاييس مختلفة للعدالة، وقد تتعارض رياضيًا عندما تختلف المعدلات الأساسية. مساواة نسبة القبول ليست هي مساواة معدل الخطأ، ولا توجد معادلة واحدة تحسم القرار الأخلاقي. يجب تحديد الضرر والسياق وحق الاعتراض قبل اختيار المقياس.
التحيز قد يظهر بعد الإطلاق. يتغير السكان والسلوك، أو يستخدم الموظفون التوصية بطريقة لم يتوقعها المطور. لذلك تشمل الإدارة مراقبة مستمرة، وسجلًا للقرارات، وقناة شكوى، وقدرة بشرية حقيقية على مراجعة الحالة بدل ختم آلي شكلي.
تساعد وثائق البيانات في وصف مصدرها وفترتها والفئات الناقصة وكيف جرى تنظيفها. كما توثق بطاقة النموذج غرضه وحدوده واختبارات الأداء. هذه الوثائق لا تضمن العدالة، لكنها تمنع التعامل مع النظام كصندوق بلا تاريخ.
في القرارات عالية الأثر مثل الائتمان والتوظيف والصحة، ينبغي اختبار البديل الأبسط: هل يضيف النموذج فائدة واضحة؟ وهل يمكن شرح عناصر القرار؟ وقد يكون عدم استخدامه هو الخيار المسؤول إذا تعذر جمع بيانات مناسبة أو توفير مسار اعتراض.
لا يعني اكتشاف فرق إحصائي اتهام المطور بالنية. التركيز يكون على النتيجة وقابلية الإصلاح. يشارك في المراجعة خبراء المجال والمتأثرون والقانونيون، لأن فريق البرمجة وحده لا يعرف كل أشكال الضرر الواقعي.
توجد فروق بين التحيز وعدم الدقة. قد يخطئ النظام بالتساوي مع الجميع، أو يحقق متوسطًا جيدًا لكنه يركز الأخطاء على فئة بعينها. كما أن تحسين مقياس واحد قد ينقل الضرر: خفض الرفض الخاطئ قد يرفع القبول الخاطئ. لذلك تُعرض مصفوفة الأخطاء وتكلفة كل نوع على المتأثرين. ويجب فحص سلسلة النظام كاملة؛ فقد يكون النموذج متوازنًا بينما تُجمع الشكاوى بلغة لا تتاح لبعض المستخدمين، أو يراجع الموظف توصيات فئة أكثر من أخرى. العدالة خاصية للعملية لا لملف النموذج وحده.
## سؤال للنقاش
أي مرحلة تراها أخطر: جمع البيانات أم اختيار الهدف أم استخدام النتيجة، وكيف تختبرها؟
## المراجع
- NIST، إطار إدارة مخاطر الذكاء الاصطناعي.
- اليونسكو، توصية أخلاقيات الذكاء الاصطناعي.
- OECD، مبادئ الذكاء الاصطناعي المسؤول.
عند إدخال نص أو صورة في خدمة ذكية، قد تمر البيانات بخادم ومزود نموذج وسجلات مراقبة وأداة خارجية. لا يكفي أن تبدو المحادثة خاصة في الواجهة؛ تُقرأ سياسة الاستخدام وإعدادات الاحتفاظ والتدريب ومن يملك الوصول.
عند إدخال نص أو صورة في خدمة ذكية، قد تمر البيانات بخادم ومزود نموذج وسجلات مراقبة وأداة خارجية. لا يكفي أن تبدو المحادثة خاصة في الواجهة؛ تُقرأ سياسة الاستخدام وإعدادات الاحتفاظ والتدريب ومن يملك الوصول.
يبدأ التصميم بتقليل البيانات. إذا كانت المهمة تلخيص عقد، يمكن حجب الاسم والهوية والحساب قبل الإرسال. وإذا أمكن تشغيل نموذج محلي لمعلومة شديدة الحساسية، تقارن كفاءته ومخاطره بالخدمة السحابية بدل رفع كل شيء تلقائيًا.
إزالة الاسم لا تضمن إخفاء الهوية؛ اجتماع المهنة والمكان والتاريخ قد يكشف الشخص. وتستطيع النماذج استنتاج سمات لم يذكرها المستخدم صراحة. لذلك يُسأل هل الحقل ضروري أصلًا، وتحدد مدة حذف لا تخزينًا مفتوحًا.
استخدام المحادثات لتحسين النموذج غرض مختلف عن تقديم الإجابة. الموافقة يجب أن تكون واضحة وقابلة للرفض، خصوصًا في العمل والتعليم والصحة. لا يضع الموظف بيانات عميل في أداة عامة لأن الحساب مجاني أو لأن النص سيُختصر.
تساعد سجلات الاستخدام في اكتشاف إساءة، لكنها قد تصبح مخزنًا حساسًا. تسجل الحد الأدنى، وتفصل المحتوى عن هوية المستخدم، وتطبق صلاحيات ومراجعة. كما تُختبر النسخ الاحتياطية والحذف؛ زر حذف الواجهة لا يعني اختفاء كل نسخة فورًا.
قد يكشف النموذج معلومات عبر مخرجاته إذا دُرب أو ضُبط على بيانات غير مناسبة. الاختبارات تحاول استخراج أسرار أو تكرار نصوص، وتمنع البيانات السرية من الدخول للتدريب أصلًا. المرشح النهائي لا يعوض حوكمة المصدر.
في التطبيقات التي تسترجع وثائق الشركة، تُطبق صلاحية المستخدم قبل البحث. حجب الفقرة بعد أن دخلت السياق قد يسمح بتسربها بطلب غير مباشر. ويُراجع تكامل الإضافات لأنها قد ترسل المحتوى إلى طرف آخر بشروط مختلفة.
يملك المستخدم حق فهم الغرض وتصحيح البيانات أو حذفها وفق القانون المطبق. وتحتاج المؤسسة إلى خطة حادث وإشعار، لا وعد مطلق بعدم الاختراق. الشفافية تذكر الحدود والموردين والفترات بلغة مفهومة.
ينبغي كذلك فصل حساب الاختبار عن الإنتاج، وعدم نسخ محادثات حقيقية إلى بيئة التدريب. وإذا طُلب من النظام تلخيص ملف، يُمنع رابط المشاركة العام ويحدد المستلم. عقود المورد تذكر مكان المعالجة والمقاولين الفرعيين والتصرف عند انتهاء الخدمة. وتراجع المؤسسة الإعدادات بعد تحديث المنتج، لأن خيارًا جديدًا قد يغير الاحتفاظ أو المشاركة الافتراضية.
## سؤال للنقاش
ما أقل قدر من البيانات يحتاجه تطبيق ذكي لإنجاز مهمة حقيقية، وما الذي تحذفه قبل الإرسال؟
## المراجع
- NIST، إطار الخصوصية وإدارة مخاطر الذكاء الاصطناعي.
- اليونسكو، توصية أخلاقيات الذكاء الاصطناعي.
- إرشادات سلطات حماية البيانات الوطنية والدولية.
يربط الاسترجاع المعزز نموذجًا لغويًا بمجموعة وثائق. قبل صياغة الإجابة يحول السؤال إلى تمثيل للبحث، يسترجع مقاطع مرشحة، ثم يضعها في سياق النموذج. الهدف تقليل الاعتماد على ذاكرة التدريب وإتاحة معلومات داخلية أو أحدث.
يربط الاسترجاع المعزز نموذجًا لغويًا بمجموعة وثائق. قبل صياغة الإجابة يحول السؤال إلى تمثيل للبحث، يسترجع مقاطع مرشحة، ثم يضعها في سياق النموذج. الهدف تقليل الاعتماد على ذاكرة التدريب وإتاحة معلومات داخلية أو أحدث.
تبدأ العملية بتقسيم الوثائق. المقطع القصير قد يفقد السياق، والطويل يستهلك نافذة النموذج ويخلط موضوعات. يُختبر الحجم والتداخل وفق نوع المادة؛ عقد قانوني يحتاج إبقاء التعريف مع البند، بينما دليل تقني قد يقسم حسب العناوين.
البحث بالكلمات ممتاز للأسماء والرموز الدقيقة، والبحث الدلالي يلتقط عبارات متقاربة المعنى. النظام الهجين يجمعهما ثم يعيد ترتيب النتائج. جودة التمثيل لا تعوض وثيقة ناقصة أو مسحًا ضوئيًا رديئًا، لذلك يسبق الفهرسة تنظيف واستخراج موثوق.
يجب حفظ بيانات المصدر: العنوان والإصدار والتاريخ والصلاحية والصفحة. عند الإجابة يعرض النظام الإسناد إلى المقطع، لكن وجود الاستشهاد لا يثبت أن الجملة مدعومة؛ قد يربط النموذج استنتاجًا أوسع من النص. يُختبر تطابق كل ادعاء بالمصدر.
صلاحيات الوصول جزء من البحث. موظف لا يحق له رؤية ملف سري يجب ألا يسترجعه النظام ثم يخفيه في الواجهة فقط. تُطبق الصلاحية قبل الاسترجاع، وتُراجع السجلات لمنع تسريب عبر الأسئلة المتكررة.
إذا لم يجد المسترجع دليلًا مناسبًا، ينبغي للنظام التصريح بذلك بدل ملء الفراغ. يوضع حد للصلة ويُدرب السلوك على الامتناع. لكن حدًا مرتفعًا جدًا قد يمنع إجابة صحيحة، لذلك تُبنى مجموعة أسئلة تشمل الموجود والمفقود والملتبس.
التقييم يقيس الاسترجاع والإجابة منفصلين. هل ظهر المقطع الصحيح ضمن النتائج؟ وهل استخدمه النموذج بدقة؟ خطأ الاسترجاع لا يعالج بتغيير صياغة النموذج فقط، وخطأ التوليد لا يعالج بزيادة عدد المقاطع عشوائيًا.
تحتاج الفهارس إلى تحديث وحذف. إذا سُحبت سياسة قديمة، يجب أن تختفي من البحث، مع الاحتفاظ بأثر إداري مناسب. وتُظهر الإجابة تاريخ الوثيقة حتى لا تختلط النسخ.
يمكن تحسين السؤال قبل البحث بإضافة مرادفات أو تفكيكه إلى أسئلة فرعية، لكن إعادة الصياغة قد تغير المقصود. لذلك يحتفظ النظام بالسؤال الأصلي ويعرض المقاطع المستخدمة. كما تمنع التعليمات داخل الوثيقة من التحكم في النموذج؛ النص المسترجع بيانات غير موثوقة وليس أمرًا أعلى صلاحية.
## سؤال للنقاش
أي فشل أخطر في نظام RAG: عدم إيجاد الوثيقة الصحيحة أم إيجادها ثم تفسيرها خطأ، وكيف تكتشفه؟
## المراجع
- NIST، إطار إدارة مخاطر الذكاء الاصطناعي.
- المراجع الأكاديمية في استرجاع المعلومات وتقييم البحث.
- الوثائق الفنية لقواعد البيانات المتجهية وأنظمة البحث الهجين.
الوكيل نظام يستخدم نموذجًا لاختيار خطوات وتنفيذها عبر أدوات مثل البحث أو قاعدة بيانات أو بريد أو متصفح. بدل إجابة نصية واحدة، يضع خطة ويقرأ النتيجة ويقرر الخطوة التالية. هذه القدرة توسع الفائدة وتوسع مساحة الخطأ أيضًا.
الوكيل نظام يستخدم نموذجًا لاختيار خطوات وتنفيذها عبر أدوات مثل البحث أو قاعدة بيانات أو بريد أو متصفح. بدل إجابة نصية واحدة، يضع خطة ويقرأ النتيجة ويقرر الخطوة التالية. هذه القدرة توسع الفائدة وتوسع مساحة الخطأ أيضًا.
تُعرّف الأدوات بعقود واضحة: اسم العملية ومدخلاتها وصلاحياتها وشكل النتيجة. إذا كانت الأداة غامضة قد يرسل الوكيل قيمة في الحقل الخطأ أو يفسر رسالة نجاح جزئي كنجاح كامل. التحقق البرمجي لا يُترك للنموذج.
تعطى أقل صلاحية لازمة. وكيل يلخص البريد لا يحتاج الحذف، ووكيل يقترح دفعة لا ينبغي أن ينفذها بلا موافقة. تفصل بيئة القراءة عن الكتابة، وتستخدم حدود مبلغ ونطاق ووقت، وتُسجل العمليات بهوية قابلة للمراجعة.
قد تحتوي صفحة أو وثيقة على تعليمات موجهة لخداع الوكيل، فيما يسمى حقن الأوامر غير المباشر. يعامل المحتوى الخارجي كبيانات لا كتعليمات أعلى، وتُعزل الأسرار، ولا يُسمح للنص المسترجع بتغيير سياسة النظام.
الذاكرة مفيدة لتجنب تكرار الأسئلة، لكنها قد تحفظ خطأ أو معلومة حساسة. تحدد أنواع ما يُحفظ ومدة الاحتفاظ وحق المستخدم في العرض والحذف. ولا تتحول محادثة قديمة إلى تفويض دائم لإجراء جديد.
يحتاج التنفيذ إلى نقاط توقف بشرية عند الآثار الكبيرة: إرسال رسالة عامة، حذف ملف، شراء، أو تغيير صلاحية. الموافقة تعرض الفعل والوجهة والبيانات، لا زرًا مبهمًا. وبعد الموافقة يمنع النظام تبديل المعاملات قبل التنفيذ.
يقاس الوكيل بسلسلة كاملة من المهام، لا بجمال الرد. تُختبر الحالات الناجحة والفشل والأداة البطيئة والنتيجة المتناقضة ومحاولة الخداع. كما يقاس عدد الخطوات والتكلفة وقدرته على التوقف بدل الدوران.
عند الخطأ يجب أن تكون العمليات قابلة للعكس قدر الإمكان: مسودة قبل إرسال، وسلة قبل حذف نهائي، ومعاملة لها مفتاح يمنع التكرار. التصميم الآمن يفترض أن النموذج سيخطئ أحيانًا ويقلل أثر الخطأ.
تحتاج الخطة إلى ميزانية خطوات؛ الوكيل الذي يكرر البحث قد يستهلك المال والوقت دون تقدم. يحدد النظام أقصى عدد وسبب توقف، ويعرض ما أنجز وما فشل. وعند تعدد الوكلاء لا تعني المناقشة بينهم صحة النتيجة؛ قد يكررون الخطأ نفسه. يُستخدم مصدر مستقل واختبار فعلي. كما تُراقب التغييرات في النموذج أو الأداة، لأن تحديثًا خارجيًا قد يغير السلوك من دون تعديل شفرة التطبيق.
## سؤال للنقاش
أي أداة تمنحها لوكيل للقراءة فقط قبل السماح له بالكتابة، وما الاختبار الذي يبرر التوسع؟
## المراجع
- NIST، إطار إدارة مخاطر الذكاء الاصطناعي.
- OECD، مبادئ الأنظمة الذكية الموثوقة.
- الدراسات الأكاديمية في الأنظمة الوكيلة وأمن الأدوات.
عندما يجيب نموذج لغوي عن سؤال، فهو لا يفتح موسوعة داخلية ثم ينسخ منها الإجابة. وظيفته الأساسية هي توقع الرمز التالي في سلسلة النص اعتمادًا على أنماط تعلمها أثناء التدريب. هذه القدرة تكفي لإنتاج شرح متماسك أو تلخيص جيد، لكنها تسمح أيضًا بتكوين اسم كتاب غير موجود أو نسبة مقولة إلى شخص لم يقلها. يُطلق على هذا السلوك عادة «الهلوسة»، مع أن المصطلح يصف نتيجة تقنية ولا يعني أن النظام يملك وعيًا أو إدراكًا بشريًا.
عندما يجيب نموذج لغوي عن سؤال، فهو لا يفتح موسوعة داخلية ثم ينسخ منها الإجابة. وظيفته الأساسية هي توقع الرمز التالي في سلسلة النص اعتمادًا على أنماط تعلمها أثناء التدريب. هذه القدرة تكفي لإنتاج شرح متماسك أو تلخيص جيد، لكنها تسمح أيضًا بتكوين اسم كتاب غير موجود أو نسبة مقولة إلى شخص لم يقلها. يُطلق على هذا السلوك عادة «الهلوسة»، مع أن المصطلح يصف نتيجة تقنية ولا يعني أن النظام يملك وعيًا أو إدراكًا بشريًا.
يتدرب النموذج على كميات كبيرة من النصوص، ثم يضغط الأنماط الإحصائية الموجودة فيها داخل معاملات رقمية. إذا سُئل عن حقيقة شائعة، قد تقوده الأنماط إلى جواب صحيح. أما إذا كان السؤال نادرًا، أو يجمع تفاصيل لم تظهر معًا بوضوح، فقد يكمل الإجابة بصياغة محتملة لغويًا. ولذلك يمكن أن يبدو المرجع المختلق واقعيًا: اسم مؤلف مناسب للمجال، وعنوان يشبه عناوين الكتب، وسنة نشر معقولة، رغم أن التركيبة كاملة غير موجودة.
تزداد المشكلة عندما يطلب المستخدم إجابة حاسمة لمسألة غامضة. النموذج مصمم عادة للاستمرار في إنتاج النص، ولا يتوقف تلقائيًا كلما نقص الدليل. كما أن البيانات التدريبية قد تحتوي على أخطاء وتناقضات، وقد تكون معلوماتها أقدم من السؤال. وقد يحدث خطأ آخر عند ربط النموذج بمحرك بحث: يسترجع النظام صفحة صحيحة، لكنه يفسر جزءًا منها خارج سياقه أو يخلط بين شخصين يحملان اسمًا متشابهًا.
يمكن تقليل الأخطاء بعدة وسائل. أولها الاسترجاع المعزز، حيث يبحث النظام في مجموعة وثائق محددة قبل الإجابة ويستند إليها. وثانيها استخدام أدوات خارجية للحساب وقواعد البيانات بدل مطالبة النموذج بإجراء كل شيء من ذاكرته الاحتمالية. وثالثها تدريب النظام على التعبير عن عدم اليقين، ثم اختبار أدائه بأسئلة معروفة الإجابة. لكن هذه الوسائل تقلل الخطأ ولا تلغيه؛ وجود مرجع في نهاية الإجابة لا يثبت أن المرجع موجود أو أنه يؤيد الادعاء بالفعل.
عمليًا، ينبغي التعامل مع إجابة الذكاء الاصطناعي كمسودة تحتاج إلى فحص عندما تتضمن أسماء أو أرقامًا أو تشخيصًا أو حكمًا قانونيًا أو معلومة حديثة. ابحث عن عنوان المصدر في فهرس مستقل، وافتح الوثيقة الأصلية، ثم تأكد من أن الجملة المنسوبة إليها موجودة في سياقها. في المسائل الحسابية يمكن إعادة تنفيذ العملية بأداة متخصصة، وفي البرمجة يجب تشغيل الشفرة واختبار الحالات الطرفية.
هناك فرق مهم بين الخطأ وعدم ملاءمة الإجابة. قد تكون كل الجمل صحيحة، لكن النص يتجاهل بلد المستخدم أو عمره أو تاريخ الواقعة. لذلك يشمل التحقق سؤالين: هل الادعاء صحيح؟ وهل ينطبق على الحالة التي نتحدث عنها؟ هذا الفرق ضروري خصوصًا في الطب والقانون والمال.
لا يصبح النموذج عديم الفائدة بسبب الهلوسة. يمكنه تنظيم الأفكار واقتراح أسئلة ومقارنة صيغ مختلفة بسرعة. القيمة تظهر عندما تُوزع المهام جيدًا: النموذج يساعد في الصياغة والاستكشاف، بينما تبقى الوثائق الأصلية والاختبارات والخبرة البشرية أساس القرار.
## سؤال للنقاش
ما نوع المعلومة التي لا تقبلها من نموذج ذكاء اصطناعي قبل فتح مصدر مستقل، وما الخطوات التي تستخدمها للتحقق؟
## المراجع
- المعهد الوطني الأمريكي للمعايير والتقنية NIST، إطار إدارة مخاطر الذكاء الاصطناعي.
- منظمة التعاون الاقتصادي والتنمية OECD، مبادئ وسياسات الذكاء الاصطناعي.
- أبحاث تقييم النماذج اللغوية المنشورة عبر الجامعات والمختبرات المتخصصة.