متا مدل Muse Glimmer را برای اجرای محلی معرفی کرد
متا در ۱۰ اوت ۲۰۲۶ از Muse Glimmer رونمایی کرد؛ یک مدل ۳۰ میلیارد پارامتری با وزنهای باز که تحت مجوز Apache 2.0 منتشر شده و بهطور مشخص برای عاملهای محلی و همیشهفعال طراحی شده است. نکته مهم این رونمایی این است که مدل قرار نیست الزاماً به دیتاسنتر و اتصال دائمی اینترنت وابسته باشد و متا میگوید نسخه بهینهشده آن روی یک مک یا رایانه شخصی مجهز به یک GPU مصرفی قابل اجراست.
Glimmer برای کارهایی مانند اجرای عامل شخصی، فراخوانی ابزارها، کدنویسی محلی، ارزیابی خروجی مدلها و پردازش ترکیبی متن و تصویر آموزش دیده است. این مدل بیش از ۱۰۰ زبان را پوشش میدهد و از معماری آموزشی متکی بر distillation از Muse Spark استفاده میکند؛ یعنی بخشی از تواناییهای یک مدل بزرگتر به مدلی کوچکتر و ارزانتر منتقل شده است.
چطور یک مدل ۳۰ میلیارد پارامتری روی سختافزار مصرفی جا میشود؟
در دقت کامل، چنین مدلی به بیش از ۵۵ گیگابایت حافظه نیاز دارد. متا با کوانتیزهسازی نزدیک به ۴ بیت، حجم بخش زبانی مدل را به کمتر از ۲۰ گیگابایت رسانده تا فضای کافی برای حافظه کاری، رمزگذار تصویر و اجزای تسریع تولید باقی بماند. شرکت میگوید این پیکربندی در محدوده حافظه ۲۴ تا ۳۲ گیگابایت قابل اجراست و افت محسوسی در وظایف عاملمحور ایجاد نمیکند.
تمرکز روی عاملهای شخصی و آفلاین
مزیت اجرای محلی فقط کاهش هزینه ابری نیست. عاملهایی که به فایلها، تقویم، پیامها یا دادههای شخصی دسترسی دارند، در سناریوهای محلی میتوانند با تأخیر کمتر و کنترل بیشتر روی داده کار کنند. متا همچنین از speculative decoding برای افزایش سرعت استفاده کرده و در آزمایشهای خود روی RTX 5090 تا ۳.۱ برابر افزایش سرعت decode گزارش کرده است.
حرکت Meta به سمت مدل باز و محلی، رقابت را از «بهترین چتبات ابری» به «بهترین عامل شخصی روی دستگاه» میبرد. اگر Glimmer در عمل کیفیت قابل اتکایی روی لپتاپها و ورکاستیشنهای رایج ارائه کند، توسعهدهندگان میتوانند بخشی از اتوماسیونهای حساس یا دائمی را بدون ارسال مداوم داده به سرویس ابری اجرا کنند. این مسیر برای حریم خصوصی، هزینه و حتی ساخت محصولات AI آفلاین اهمیت زیادی دارد.
دیدگاه شما
نظر، تجربه یا پرسش خود را بنویسید. برای جلوگیری از ارسال خودکار، پاسخ کوتاه امنیتی الزامی است.