هوش مصنوعی آلمانی Soofi S با توانایی پردازش متنهای طولانی معرفی شد
کنسرسیوم پژوهشی در آلمان مدل زبانی Soofi S را با ساختار ۳۱٫۶ میلیارد پارامتری معرفی کرد. این مدل با استفاده از معماری ترکیبی متخصصان یا MoE، در هر توکن تنها ۳٫۲ میلیارد پارامتر فعال را به کار میگیرد. لایههای معماری mamba-۲ باعث میشود سرعت تولید توکن در Soofi S هنگام پردازش ورودیهای طولانی، تا هشت برابر بیشتر از مدلهای متراکم مشابه باشد.
توسعهدهندگان این پروژه حدود ۲۷ تریلیون توکن را برای آموزش Soofi S پردازش کردند. این مدل در آزمون برنامهنویسی HumanEval امتیاز ۷۳٫۸ درصد را کسب کرد و در ارزیابی دانش منطقی آلمان نیز رتبه نخست را از آن خود کرد. مدل Soofi S در بنچمارکهای زبان آلمانی و انگلیسی عملکردی برتر نسبت به مدلهای OLMo ۳ ۳۲B و Apertus ۷۰B نشان میدهد.
کنسرسیوم پژوهشی در آلمان مدل زبانی Soofi S را با ساختار ۳۱٫۶ میلیارد پارامتری معرفی کرد. این مدل با استفاده از معماری ترکیبی متخصصان یا MoE، در هر توکن تنها ۳٫۲ میلیارد پارامتر فعال را به کار میگیرد. لایههای معماری mamba-۲ باعث میشود سرعت تولید توکن در Soofi S هنگام پردازش ورودیهای طولانی، تا هشت برابر بیشتر از مدلهای متراکم مشابه باشد.
توسعهدهندگان این پروژه حدود ۲۷ تریلیون توکن را برای آموزش Soofi S پردازش کردند. این مدل در آزمون برنامهنویسی HumanEval امتیاز ۷۳٫۸ درصد را کسب کرد و در ارزیابی دانش منطقی آلمان نیز رتبه نخست را از آن خود کرد. مدل Soofi S در بنچمارکهای زبان آلمانی و انگلیسی عملکردی برتر نسبت به مدلهای OLMo ۳ ۳۲B و Apertus ۷۰B نشان میدهد.
+2