مدل فشرده شدهی هوش مصنوعی Kimi K۳ اکنون به صورت محلی روی ۱۲۸ گیابایت رم قابل اجراست
مدل هوش مصنوعی Kimi K۳، به عنوان قدرتمندترین مدل متنباز کنونی، اکنون امکان اجرای محلی را پیدا کرده است. نسخهی یک بیتی این مدل پس از فشردهسازی توسط تیم Unsloth از حجم ۱.۵۶ ترابایت به ۵۹۴ گیگابایت کاهش یافته که معادل ۶۲ درصد کاهش حجم است. با وجود این فشردهسازی چشمگیر، مدل همچنان حدود ۷۸.۹ درصد از دقت اولیهی خود را حفظ کرده است.
اجرای این مدل روی یک دستگاه مک استودیو مجهز به ۱۲۸ گیگابایت رم با موفقیت آزمایش شده است.
نتایج بررسیها نشان میدهد مدلهای یک بیتی Kimi در برابر کوانتیزاسیون مقاومت بالایی دارند و میتوانند بسیاری از وظایف را بدون نیاز به مداخله، تنها در یک مرحله انجام دهند. همچنین فراخوانی ابزارها نیز در این مدلها بسیار قابل اتکا گزارش شده است.
راهنمای اجرا و فایلهای GGUF این مدل برای استفاده در پلتفرم Unsloth منتشر شده است.
مدل هوش مصنوعی Kimi K۳، به عنوان قدرتمندترین مدل متنباز کنونی، اکنون امکان اجرای محلی را پیدا کرده است. نسخهی یک بیتی این مدل پس از فشردهسازی توسط تیم Unsloth از حجم ۱.۵۶ ترابایت به ۵۹۴ گیگابایت کاهش یافته که معادل ۶۲ درصد کاهش حجم است. با وجود این فشردهسازی چشمگیر، مدل همچنان حدود ۷۸.۹ درصد از دقت اولیهی خود را حفظ کرده است.
اجرای این مدل روی یک دستگاه مک استودیو مجهز به ۱۲۸ گیگابایت رم با موفقیت آزمایش شده است.
نتایج بررسیها نشان میدهد مدلهای یک بیتی Kimi در برابر کوانتیزاسیون مقاومت بالایی دارند و میتوانند بسیاری از وظایف را بدون نیاز به مداخله، تنها در یک مرحله انجام دهند. همچنین فراخوانی ابزارها نیز در این مدلها بسیار قابل اتکا گزارش شده است.
راهنمای اجرا و فایلهای GGUF این مدل برای استفاده در پلتفرم Unsloth منتشر شده است.
