环球首个端侧全模态贯串开源模子来了！开云kaiyun官方网站

在菜单里襄理选奶茶，不在话下：

还能襄理纰漏提真金不怕火长语音，再也无用对着一串几十秒语音头皮发麻（doge）。

就在刚刚，无问芯穹晓示开源当今寰宇上首个端侧全模态贯串的开源模子Megrez-3B-Omni，不仅体积轻巧，速率飞速，更是一个多艺多才的万能选手，省略纰漏处理图片、音频、文本三种模态数据。

在宽阔测评基准中，Megrez-3B-Omni在图片、文本、音频三个模态中均取得了同尺寸下最优性能。行为一个 3B 模子，笼统性能发达甚而能突出 34B 模子。

具体来说，Megrez-3B-Omni 接管了专为手机、平板等端侧开发量身定制的 30 亿参数黄金尺寸，骨干集会参数鸿沟更是仅有 2.3B，精度超越了上一代 14B 模子，最大推理速率更是比同精度模子快达 300%。

一王人来看更多技巧细节 ~

图像贯串

在图像贯串方面，Megrez-3B-Omni 行为一个体积仅为 3B 的模子，其笼统性能发达不错全面突出 34B 的小巧玲珑，是当今 OpenCompass、MME、MMMU、OCRBench 等多个主流测试集上精度最高的图像贯串模子之一。

与此同期，Megrez-3B-Omni 在场景贯串、OCR等任务上也具有致密发达，省略准确细察和分析自便比例尺寸图像中的场景试验，并高效地从中索求文本信息，且不管是拖拉的印刷体已经复杂的手写字，都省略纰漏识别。

不仅能贯串手机屏幕上的信息，给定条目赞成商品挑选。

读取手写字体，同样纰漏责罚：

文本贯串

在文本贯串方面，行为全模态贯串模子，Megrez-3B-Omni 在莫得点火模子的文本处聪敏商的前提下，将上一代 14B 大模子的优秀智商压缩至 3B 鸿沟，权臣镌汰了测度资本、进步了测度效力。

在 C-EVAL、MMLU/MMLU Pro、AlignBench 等多个巨擘测试集上更是取得端上模子最优精度，在文本贯串方面设立了环球起首地位。同期，以更少的资源豪侈，竣事了更高的性能输出，为端侧开发的智能化提供了进一步冲破精度与速率界限的全新可能。

de 个 Bug，奏凯：

进军处理备忘录中的贵寓，也没问题：

音频贯串

在语音贯串方面，Megrez-3B-Omni 的成果并排行业主流决策。Megrez-3B-Omni 不仅支援中语和英文的语音输入，还省略处理复杂的多轮对话场景，更能支援对输入图片或笔墨的语音发问。

用户就自便模态试验，发出语音领导，Megrez-3B-Omni 就能笔据语音领导径直反应文本，竣事多轮对话中语音与文本输入的开脱切换，让用户不错通过更少动作与模子伸开更直不雅、当然的交互。

遭受客户的超长语音连击也不怕了：

支援语音书图，还能听口令写小作文：

推理效力高，应用场景活泼

模子的鸿沟并不是决定其速率的唯孤苦分，因此模子小并不一定就意味着速率快。凭借对硬件特点的潜入贯串与应用，Megrez-3B-Omni 通过软硬件协同优化计策，确保了各参数与主流硬件高度适配，以竣事硬件性能的应用最大化。

与上一代偏激他端侧谎言语模子比拟，单模态 LLM 版块的 Megrez-3B-Instruct 在推理速率上取得了权臣进步，最大推理速率不错起首同精度模子 300%。

Megrez-3B-Instruct 此次还格外提供了WebSearch功能，这一功能使得模子省略智能地判断何时需要调用外部器用进行网页搜索，赞成恢复用户的问题。用户得以构建属于我方 AI 搜素，通过集会获得最新信息，克服小模子的幻觉问题和学问储备不及的局限。

无意，模子通过搜索网页不错更全面地完成恢复，而其他期间，模子自己已具备富余的学问来寂然解决问题，过多的搜索调用可能会镌汰推理速率和成果。Megrez-3B-Instruct 通过在搜索和对话之间智能切换，幸免了过度依赖搜索或十足不调用搜索的问题。除了不错自动决策器用调用时机除外，Megrez-3B-Instruct 还具备高下文贯串性能优异、可提供带参考信息的结构化输出等上风。

当今，这些智商已集成于 Megrez-3B-Instruct 模子中，用户不错通过 System Prompt 开脱切换，同期享受到高精度模子推聪敏商与智能 WebSearch 调用收益。

One More Thing

相较于云霄大模子，端侧模子需要在资源有限的开发上快速部署、高效启动，对镌汰模子测度和存储需求提议更高要求。

无问芯穹技巧团队源起于清华大学电子工程系 NICS-EFC 实验室，在模子压缩、推理加快及硬件能耗优化等领域领有潜入的学术商议和深厚的工程执行教养，恰是模子轻量化、软硬件协同优化领域的顶尖团队。

无问芯穹示意，Megrez-3B-Omni 是一个智商预览，接下来还将抓续迭代 Megrez 系列，进步自动化水平至" edge device use "成果，让用户只需要给出精真金不怕火的语音领导，就可完成端开发的汲引或应用操作，并将它行为"端模子 + 端软件 + 端 IP "端上智能一体化解决决策的要紧组成推向商场。当今，无问芯穹就该一体化决策已与多家有名智能开发和末端芯片厂商伸开和谐。

在这个决策中，除端侧全模态贯串模子外，还有端上推理软件和 IP 筹办决策，不仅支援 CPU、GPU 和 NPU 的同期推理，更能通过跳跃软硬件档次的系统优化，极端带来最高可达 70% 的性能进步，最大化端侧硬件性能的应用。

对那些久困于功耗、速率、续航以及智能成果的端侧开发来说，这意味着，成果更佳的智能升级成为可能。

Github：  https://github.com/infinigence/Infini-Megrez

HuggingFace：https://huggingface.co/Infinigence/Megrez-3B-Omni

登录 Infini-AI 异构云体验纯话语版块 Megrez-3B-Instruct：https://cloud.infini-ai.com/genstudio/model/mo-c73owqiotql7lozr

—  完  —

点这里� � 形状我，铭刻标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日再会 ~