歡迎來到HH撲克 &德撲圈已改名 HHpoker 您的約局神器!專注于線上德州競技,推薦加入排行(名)前十實力靠譜一線老牌聯盟俱樂部,德州牛仔、推推樂、Omaha奧馬哈、短牌應有盡有!全天24小時HHpoker俱樂部客服聯系全方位對接。
據IT之家了解,MiniCPM 4.0 可在 vLLM、SGLang、LlamaFactory、XTuner 等開源框架部署。其內置自研 CPM.cu 極速端側推理框架,從投機采樣創(chuàng)新、模型壓縮量化創(chuàng)新、端側部署框架創(chuàng)新幾方面,帶來 90% 的模型瘦身和速度提升,官方宣稱將實現端側推理“從天生到終生”的絲滑。
此次發(fā)布的一款 8B 閃電稀疏版,采用創(chuàng)新稀疏架構掀起高效風暴;另一款 0.5B 則被稱作“輕巧靈動的最強小小鋼炮”。
據官方介紹,此次面壁推出的 MiniCPM 4.0 系列 LLM 模型擁有 8B、0.5B 兩種參數規(guī)模,針對單一架構難以兼顧長、短文本不同場景的技術難題,MiniCPM 4.0-8B 采用「高效雙頻換擋」機制,能夠根據任務特征自動切換注意力模式:在處理高難度的長文本、深度思考任務時,啟用稀疏注意力以降低計算復雜度,在短文本場景下切換至稠密注意力以確保精度,實現了長、短文本切換的高效響應。
IT之家 6 月 7 日消息,面壁智能 6 日晚發(fā)布端側大模型 MiniCPM 4.0。該公司稱新模型通過自研 CPM.cu 推理框架,在極限場景下實現最高 220 倍提速,常規(guī) 5 倍提速,支持在 vLLM、SGLang、LlamaFactory 等框架部署。