ثورة صيغ الأرقام
لقد قادت الذكاء الاصطناعي انفجارًا بلا سابقة في تصميم صيغ أرقام جديدة — الطرق التي يتم بها تمثيل الأرقام رقميًا في معالجات الكمبيوتر. دفعت الحاجة لتدريب وتشغيل neural networks أكبر بتكلفة أقل المهندسين لاستكشاف كل طريقة ممكنة لتقليل عدد البتات المستخدمة لتمثيل البيانات، مما يوفر وقت الحساب واستهلاك الطاقة. أصبحت صيغ مثل bfloat16 من Google و TensorFloat-32 من NVIDIA والعديد من التمثيلات 8-بت و 4-بت أدوات معيارية في ترسانة مهندس AI.
تعمل هذه الصيغ ذات الدقة المنخفضة مع AI لأن neural networks تتسامح بشكل ملحوظ مع عدم الدقة الرقمية. يتم امتصاص خطأ تقريب صغير في قيمة تفعيل أحد الخلايا العصبية من خلال المتوسط الإحصائي الذي يحدث عبر ملايين المعاملات. قد يستغرق التدريب تكرارات أكثر قليلاً للتقارب، لكن السرعة المكتسبة من معالجة أرقام أصغر تفوق بكثير تكلفة الحسابات الأكثر ضوضاء قليلاً.
خلق نجاح صيغ AI المُحسّنة هذه إغراءً طبيعيًا: إذا كانت الدقة المنخفضة تعمل مع neural networks، فلماذا لا نطبق نفس الطريقة على الحوسبة العلمية؟ الإجابة، كما يوضح Laslo Hunhold في مقابلة مفصلة مع IEEE Spectrum، هي أن الرياضيات لا تنتقل.
لماذا الحوسبة العلمية مختلفة؟
تشمل الحوسبة العلمية الفيزياء الحسابية، وديناميكا السوائل، ومحاكاة الهندسة الإنشائية، والنمذجة المناخية، وديناميكا الجزيئات، وعشرات المجالات الأخرى حيث تحل الكمبيوترات أنظمة المعادلات التي تصف الظواهر الفيزيائية. تختلف هذه المحاكاات عن حسابات neural networks بطريقة أساسية: تتطلب دقة رقمية، وليس فقط ارتباطًا إحصائيًا.
عندما يحاكي الفيزيائي تدفق الهواء المضطرب فوق جناح، يجب أن تمثل كل خلية حسابية بدقة قيم الضغط والسرعة ودرجة الحرارة التي تتفاعل مع الخلايا المجاورة من خلال قوانين فيزيائية محددة بوضوح. خطأ رقمي صغير في خلية واحدة لا يتم حسابه في المتوسط — فهو ينتشر عبر المحاكاة، وينمو محتملاً بشكل كبير من خلال ظاهرة تسمى عدم الاستقرار الرقمي. ما يبدأ كخطأ تقريب غير محسوس يمكن أن يتسبب في محاكاة تنتج نتائج لا معنى لها فيزيائيًا.
هذا الحساسية للدقة ليست فشلاً في برنامج المحاكاة. فهو يعكس الطبيعة الرياضية للمعادلات التفاضلية الجزئية التي يتم حلها. كثير من هذه المعادلات فوضوية بطبيعتها، مما يعني أن الاضطرابات الصغيرة في الشروط الأولية أو الحسابات الوسيطة تؤدي إلى نتائج مختلفة بشكل كبير. تعتمد تخصص كامل من التحليل العددي لفهم والتحكم بهذه الأخطاء، وقد أثبتت عقود من البحث أن يجب تلبية متطلبات دقة معينة بحد أدنى لكي تنتج المحاكاات نتائج موثوقة.
تحدي الصيغ المخصصة
Hunhold، الذي انضم مؤخرًا إلى Openchip الموجودة في Barcelona كمهندس AI، كان يعمل على تطوير صيغ أرقام مصممة خصيصًا للحوسبة العلمية — لا تُستعار من AI. يعترف نهجه بأن متطلبات الدقة لمحاكاات العلوم مختلفة نوعيًا عن متطلبات neural networks، وأن مجرد تطبيق صيغ AI على المشاكل العلمية ليس اختصارًا قابلاً للتطبيق.
التحدي متعدد الأوجه. تتطلب الحوسبة العلمية دقة أعلى في أجزاء معينة من النطاق الرقمي وتستطيع تحمل دقة أقل في أجزاء أخرى. توزيع القيم في محاكاة فيزياء لا يشبه إطلاقاً توزيع التفعيلات في neural network. الصيغة المُحسّنة لتطبيق واحد قد تكون ضارة بنشاط بالنسبة للآخر.
- صيغ AI الرقمية تقلل الدقة لتسريع الحساب، معتمدة على تسامح neural networks مع أخطاء التقريب
- محاكاات العلوم تتطلب دقة رقمية — قد تؤدي الأخطاء الصغيرة إلى نتائج كارثية
- صيغ AI ذات الدقة المنخفضة يمكن أن تنتج نتائج لا معنى لها فيزيائيًا في محاكاات الهندسة
- الباحثون يطورون صيغ أرقام مخصصة مصممة خصيصًا للحوسبة العلمية
- توزيعات القيم في محاكاات الفيزياء تختلف بشكل أساسي عن تفعيلات neural networks
بعد الأجهزة
تمتد المشكلة إلى ما وراء البرنامج إلى تصميم الأجهزة. معالجات AI الحديثة — GPUs والرقائق المخصصة من NVIDIA و Google و AMD والشركات الناشئة — محسّنة بشكل متزايد للصيغ الرقمية المحددة المستخدمة في machine learning. تم تصميم وحدات العمليات الحسابية الخاصة بها لمعالجة bfloat16 و FP8 وصيغ أخرى أصلية AI بأقصى إنتاجية، بينما ركد أداء الفاصلة العائمة بدقة مضاعفة التقليدية أو حتى تراجعت من الناحية النسبية.
يخلق اتجاه الأجهزة هذا مشكلة عملية للحوسبة العلمية. إذا استمر مصنعو الرقائق في إعطاء الأولوية لصيغ AI المحددة، قد يجد العلماء والمهندسون أن أحدث وأقوى أجهزة الحوسبة غير مناسبة لأحمال عملهم. قد تواجه شريحة تستطيع تنفيذ تريليونات عمليات AI منخفضة الدقة في الثانية صعوبة مع الحساب بدقة مضاعفة الذي يتطلبه نموذج المناخ أو التحليل الهيكلي.
يرتبط عمل Hunhold على صيغ العلوم المخصصة جزئياً بهذا الواقع للأجهزة. إذا استطاعت الحوسبة العلمية تحديد صيغ أرقام تحقق دقة مقبولة ببتات أقل من الدقة المضاعفة التقليدية، يمكن تنفيذ تلك الصيغ في أجهزة المستقبل جنباً إلى جنب مع صيغ AI، مما يضمن أن أحمال العمل العلمية تستفيد من نفس التطورات التصنيعية التي تدفع أداء رقائق AI.
رهانات الخطأ
عواقب تطبيق دقة رقمية غير كافية على الحوسبة العلمية ليست مجردة. محاكاات الهندسة توجه تصميم هياكل الطائرات وأنظمة احتواء المفاعلات النووية وأحمال الجسور والتفاعلات الجزيئية الصيدلانية. قد تؤدي محاكاة تعيد نتيجة معقولة الظهور لكن غير صحيحة رقميًا إلى تصاميم تفشل بشكل كارثي في العالم الحقيقي.
نجاح صناعة AI الاستثنائي مع الحوسبة ذات الدقة المنخفضة هو إنجاز حقيقي، لكنه يأتي مع تحذير محدد المجال تكون مجتمع الحوسبة العلمية حريصة على التأكيد عليه: ما يعمل لتمييز الأنماط لا يعمل تلقائياً للفيزياء. يجب أن تكون الأرقام صحيحة، والصحيح يعني شيئاً مختلفاً جداً عندما تعتمد الحياة على دقة المحاكاة.
يستند هذا المقال إلى تقارير IEEE Spectrum. اقرأ المقالة الأصلية.
