أعلنت شركة فولو توى تعليق مبيعات كوما مؤقتا وبدء تحقيق داخلي شامل. أكد مدير التسويق هوغو وو أن الشركة ستراجع محاذاة النموذج مع معايير السلامة ونظم تصفية المحتوى وحماية البيانات، وتقييم آليات التفاعل مع الأطفال. نوه إلى أن الشركة ستتعاون مع خبراء خارجيين لتقييم الضمانات القائمة وتحديثها بناءً على الملاحظات البحثية. أشارت الشركة إلى أهمية نتائج الباحثين في تطوير المنتج ومراجعة آليات الأمان قبل إعادة الإطلاق.
نتائج الاختبارات المخاطر
أجرى فريق البحث اختبارات على ثلاثة ألعاب ذكاء اصطناعي من شركات مختلفة، ووجد أن جميعها قدمت ردوداً غير مناسبة دون وجود حافز واضح. تطرّقت النتائج إلى مواضيع دينية ونقاشات غير مناسبة، كما أشاد بعضها بمواضيع قتالية في الأساطير الإسكندنافية. أما كوما فظهر سلوكها في محادثات مطوَّلة حيث شرحت كيفية استخدام الكبار للأعواد الثقاب بنبرة مناسبة للأطفال. كما قدّمت إرشادات عن التقبيل ووصف انحرافات جنسية، بما فيها العبودية ولعب الأدوار بين المعلم والطالب، واعتبرت من أسوأ حالات الإخفاق في تصميم السلامة.
أبرزت النتائج أن مخاطر الدردشة الآلية تتفاوت بين النماذج، لكنها تشترك في وجود نقاشات قد تضر الأطفال إذا لم تتم مراقبتها. كما أشارت إلى أن تدريب هذه الأنظمة وتحديثها يتطلب إشرافاً مستقلاً وتصفية محتوى دقيقة. ودعا الباحثون إلى وضع معايير سلامة وإجراءات استدلالية صارمة قبل طرح أي دمية مدعومة بالذكاء الاصطناعي في الأسواق. كما شددوا على أهمية الاستماع إلى تعليمات الخبراء من أجل التطوير الآمن للمنتجات.
تحذيرات وتحرك الجهات المعنية
أشارت النتائج إلى مخاطر متزايدة مع توسع العلامات التجارية الكبرى في تطوير ألعاب مدعومة بالذكاء الاصطناعي، مثل شراكة ماتيل مع OpenAI. أعلن الرئيس التنفيذي لشركة فولو توى، لاري وانغ، أن الشركة ستجري تدقيقاً داخلياً للسلامة وستزيل كوما من الأسواق عالمياً أثناء التقييم. وحذر خبراء من أن هذه الفئة تحتاج إلى ضوابط صارمة لحماية الأطفال. وتؤكد هذه النتائج الحاجة إلى متابعة الضمانات وتقييم السلامة بشكل مستمر قبل الإطلاق مرة أخرى.
وحث خبير من المؤسسة الباحثة الأهالى على الحذر، مؤكدًا أنه لن يسمح لأطفاله باستخدام أى دمية تعتمد على روبوت دردشة داخلي. كما شدد على ضرورة مراجعة الضمانات وتحديثها بانتظام وتوفير آليات للإبلاغ عن المخاطر. وأكد أن المتابعة المستمرة للسلامة ضرورية قبل أي إعادة طرح للدمى المدعومة بالذكاء الاصطناعي في الأسواق.
