ماذا تعني نماذج Microsoft Phi-2 واللغات الصغيرة بالنسبة للذكاء الاصطناعي التوليدي

 يسلط إصدار Microsoft لـ Phi-2 الضوء على أن SLMs يمكن أن تكون بديلاً فعالاً من حيث التكلفة لـ LLMs مع قدرات استدلال مماثلة.

المقاييس مع البيانات التي تقع عليها

على مدار الـ 12 شهرًا الماضية، هيمنت النماذج اللغوية الكبيرة ( LLMs ) على المحادثة حول الذكاء الاصطناعي التوليدي . ومع ذلك، خلف ضجيج برامج LLM المملوكة مثل ChatGPT و Google Bard ، كانت نماذج اللغات الصغيرة (SLMs) تثير الاهتمام بهدوء بين قادة الصناعة.

في وقت سابق من هذا الشهر، أعلنت شركة مايكروسوفت عن إطلاق Phi-2، وهو عبارة عن 2.7 مليار معلمة SLM تتمتع بقدرات "متميزة" في الاستدلال وفهم اللغة.

يقال إن هذا النموذج قد حقق أداءً متطورًا بين النماذج التي تحتوي على أقل من 13 مليار معلمة مع القدرة على التفوق في الأداء على النماذج الأكبر حجمًا بـ 25 مرة

وبالمثل، عندما أسقطت Google برنامج Gemini multimodal LLM الذي طال انتظاره، حرصت على تضمين الإصدار الخفيف Gemini Nano ، الذي يحتوي على ما بين 1.8 مليار و3.25 مليار معلمة وهو مصمم للمهام التي تتم على الجهاز.

فلماذا يتطلع البائعون مثل ميكروسوفت وجوجل إلى تقديم نماذج لغوية أصغر ولكن فعالة من الناحية الحسابية للعملاء؟ هناك العديد من الأسباب، ولكن ربما أهمها هو التكلفة.

تكلفة LLMs

تعد التكلفة واحدة من أهم نقاط الألم عند التدريب وتشغيل LLM.  إن شراء وتشغيل وحدات معالجة الرسومات التي تعمل على تشغيل LLMs الحديثة باهظ الثمن . بشكل عام، كلما زاد عدد المعلمات التي يمتلكها النموذج، زادت القوة الحسابية ووحدات معالجة الرسومات التي يحتاجها للعمل.

وهذا يعني أنه من المكلف ليس فقط بالنسبة للمؤسسات تدريب حاملي شهادة الماجستير في القانون الخاصة بهم ولكن أيضًا استخدام حاملي شهادة الماجستير في القانون المدربين مسبقًا. على سبيل المثال، وفقًا لـ OpenAI ، يبدأ سعر نموذج GPT-4 المخصص بمبلغ 2-3 مليون دولار ، ويمكن أن يستغرق التدريب عدة أشهر ويتطلب "مليارات الرموز المميزة على الأقل".

في حين أنه لم يتم تأكيد تكلفة تدريب GPT-4 ، فقد قدر بعض المحللين أن سلفه، GPT-3، قد يكلف أكثر من 4 ملايين دولار، في حين يشير آخرون إلى أن ChatGPT قد يكلف ما يصل إلى 700000 دولار يوميًا لتشغيله .

على الرغم من أن هذه الأرقام تبدو مرتفعة، إلا أن تكلفة تطوير LLM يمكن أن تكون أعلى من ذلك بكثير. على سبيل المثال، يقدر الدكتور جيم فان، أحد كبار علماء الذكاء الاصطناعي في شركة Nvidia، أن تكلفة تدريب Llama-2 تزيد عن 20 مليون دولار، لكنه فشل في تجاوز GPT 3.5.

سواء كانت هذه التقديرات دقيقة أم لا، فلا جدال في أن التدريب أو إدارة LLM يتطلب استثمارًا ماليًا كبيرًا. ولهذا السبب يحاول بائعون مثل Microsoft أن يكونوا أكثر خفة من الناحية الحسابية.

فاي-2 وحركة SLM

تكتسب إدارة SLMs قوة جذب في سوق الذكاء الاصطناعي التوليدي لأنها تتطلب قوة حسابية أقل من LLMs لتوليد رؤى وبالتالي يمكن أن تعمل بشكل أكثر فعالية من حيث التكلفة.

في حين يُشاع أن GPT-4 قد تم تدريبه على 25000 وحدة معالجة رسوميات Nvidia A100 على مدى 90-100 يوم، فإن Phi-2 استغرق 14 يومًا فقط للتدريب على 96 وحدة معالجة رسوميات A100.

على الرغم من أنه لم يصل إلى مستوى أداء GPT-4، إلا أنه تمكن من التفوق على النماذج الأكبر عبر معايير متعددة.

وبشكل أكثر تحديدًا، فهو يتفوق على نماذج مثل Mistral 7B وLlama-2 في مجالات تشمل BBH، والمنطق السليم، وفهم اللغة (Llama 2 فقط)، والرياضيات، والبرمجة. لقد تفوقت أيضًا على Gemini Nano 2 في معايير متعددة، بما في ذلك BBH وBoolQ وMBPP وMMLU.

اقرأ ايضا:كيف يساعد رفاق الذكاء الاصطناعي في مكافحة الوحدة؟ من هنا

عند النظر في أن أداء Phi-2 كان على قدم المساواة مع Llama 2 70B أو حتى تفوق عليه في بعض المعايير، فمن الواضح أن SLMs يمكن أن تتفوق على النماذج في مهام التفكير حتى لو كانت تحتوي على المزيد من المعلمات. ولكن كيف؟

كيف تجعل بيانات التدريب Phi-2 تجتمع معًا

في مثال Phi-2، اقترحت Microsoft أن أحد المحركات الرئيسية لنجاح SLM هو جودة بيانات التدريب الخاصة بها. كلما كانت جودة البيانات التي يتم إدخالها في النموذج أفضل، كان الأداء العام أفضل.

مع Phi-2، استخدمت Microsoft ما تسميه بيانات التدريب "جودة الكتب المدرسية"، والتي تتضمن مجموعات بيانات تركيبية لتعليم النموذج المنطق السليم والمعرفة العامة (العلوم والأنشطة اليومية ونظرية العقل).

يتم بعد ذلك دمج هذه البيانات الاصطناعية جنبًا إلى جنب مع بيانات الويب، والتي تم "تصفيتها بناءً على القيمة التعليمية وجودة المحتوى".

تجدر الإشارة إلى أن Phi-2 لم يخضع للمحاذاة عبر التعلم المعزز أو الضبط الدقيق، لذلك هناك إمكانية لتعزيز أدائه بشكل أكبر من خلال هذه التدابير.

على أية حال، تسلط النتائج الأولية الضوء على أن النماذج ذات المعلمات المنخفضة يمكن أن تكون قادرة على المنافسة مع نماذج المعلمات الأكبر إذا تم تدريبها على مجموعات بيانات عالية الجودة منسقة بعناية.

الخانمه

على الرغم من أن SLMs لا تزال بعيدة كل البعد عن الوصول إلى قدرات LLMs الرائدة مثل GPT-4، فإن أداء Phi-2 ضد Llama 2 70B في مهام التفكير يشير إلى أن هذه الفجوة آخذة في الإغلاق.

يمكن للمؤسسات التي ترغب في الاستفادة من الذكاء الاصطناعي التوليدي على أساس أكثر فعالية من حيث التكلفة وكفاءة حسابية أن تتطلع إلى SLMS كبديل محتمل.

تعديل المقال