ERNIE 5.5 Flash Base من بايدو: 280B MoE و سياق 1M

بايدو نزلت النهاردة (٥ نوفمبر ٢٠٢٦) ERNIE-5.5-Flash-Base — موديل أساسي (base) مفتوح من عائلة ERNIE 5.5. النسخة دي مش chat model جاهز؛ دي نهاية مرحلة الـ pre-training قبل أي mid-training أو post-training، يعني نقطة بداية مفتوحة لو هتكمّل تدريب أو fine-tuning بنفسك.

الأرقام الرسمية

من صفحة الـ product updates بتاعة ERNIE:

• Sparse MoE: ٢٨٠ مليار باراميتر إجمالي، و ١٤ مليار بس بيشتغلوا مع كل توكن (activated per token).
• التدريب: Pre-trained من الصفر على ٣٣٫٥ تريليون توكن، و سياق التدريب لحد ١٢٨ ألف توكن.
• الاستدلال / الـ fine-tuning: بيدعم سياق لحد مليون توكن (1M).
• البنية: ٤٣ طبقة Transformer، hidden size ٤٠٩٦، و ٦٤ attention head.

يعني الموديل كبير في السعة، وخفيف نسبيًا في الـ compute اللي بيتفعل فعليًا لكل توكن — ده جوهر فكرة الـ MoE.

معماريات ملحوظة

حسب نفس الصفحة الرسمية، فيه كذا اختيار معماري:

• Latent-Gated Sparse Attention (MLA + HCA)
• Multi-Router Latent MoE
• متاح على Hugging Face بصيغتي FP8 و BF16 (منها baidu/ERNIE-5.5-Flash-Base-BF16)
• الرخصة: ERNIE 5.5 Flash Base Model License Agreement v1.0

أرقام الـ benchmarks (نفس الـ harness الرسمي)

بايدو قارنت الـ base ده مع DeepSeek-V4-Flash-Base و Hy3-preview-Base و MiMo-V2.5-Base على نفس الـ harness. عيّنة من النتائج مقابل DeepSeek-V4-Flash-Base:

• MMLU: ٩٣٫٣ مقابل ٨٩٫٤
• HumanEval+: ٨٢٫٣ مقابل ٦٩٫٥
• LiveCodeBench: ٤٠٫١ مقابل ٣١٫٩
• RepoQA: ٩١٫٧ مقابل ٨١٫٠

الأرقام دي لـ base models مش لـ chat/instruct، فخلي بالك وأنت بتقارن مع موديلات post-trained.

Quick start على Hugging Face

# model_name من صفحة الموديل الرسمية
model_name = "baidu/ERNIE-5.5-Flash-Base-BF16"

إيه اللي لسه جاي؟

الصفحة بتقول إن نسخة ERNIE 5.5 Flash بعد الـ post-training هتيجي بعد كده. يعني اللي نزل النهاردة هو الـ base المفتوح، والنسخة المخصّصة للاستخدام النهائي لسه في الطريق.

ليه الـ base مهم أصلًا؟

كتير ناس بتقارن أرقام chat models جاهزة، وتفوت إن الـ base model بيحدد سقف اللي تقدر توصله بعد كده. بايدو هنا صرّحت إن الـ checkpoint المنشور هو نهاية الـ pre-training قبل mid-training أو post-training. ده معناه:

• تقدر تبني فوقه SFT أو RLHF أو domain fine-tuning من غير ما تبقى مربوط بإعدادات chat جاهزة.
• المقارنات الرسمية اللي فوق هي لـ base vs base، فمتقارنش MMLU بتاع الـ Flash Base مع موديل instruct من شركة تانية وتستنتج خلاصة سريعة.
• سياق الـ 1M في الاستدلال / الـ fine-tuning رقم كبير، بس تأكد من تكلفة الـ memory والـ serving قبل ما تعدّه requirement في منتجك.

كمان الـ architecture notes (Latent-Gated Sparse Attention و Multi-Router Latent MoE) تستاهل قراءة لو بتبني inference stack أو بتقارن كفاءة الـ MoE routing، مش بس لو بتجرّب الـ prompt.

رأيي

لو بتتابع سباق الـ open base models، الـ flash base ده يستاهل نظرة لسببين: حجم الـ MoE (٢٨٠B / ١٤B active) وسياق الـ 1M في الاستدلال، وكمان إنهم صرّحوا إن الـ checkpoint ده قبل mid/post-training — يعني مناسب كـ starting point مش كـ drop-in chat. اقرأ الرخصة قبل ما تعتمده في منتج، وجرّب الـ BF16 على Hugging Face بنفسك قبل أي قرار production.

أسبوع معرض القاهرة للتكنولوجيا، لو رايح قولنا هتحضر إيه — وانت، هتجرب الـ base ده ولا هتستنى النسخة الـ post-trained؟

المصادر

• ERNIE 5.5 Flash Base — Product updates (Nov 5, 2026)
• Hugging Face — baidu/ERNIE-5.5-Flash-Base-BF16