单篇博客

复旦教授邱锡鹏创办的模思智能，近日完成超10亿元Pre-A轮融资，由华控基金联合领投，国开科创、上海科创基金、新微资本、徐汇资本、追光硬科技创投、临港策源基金等参与，老股东元禾控股、上海国投旗下上海科创集团、星连资本持续加注。资金将用于全模态实时交互系统研发与全球商业化落地。

模思智能由邱锡鹏（复旦大学特聘教授、上海创智学院副院长）创立，CEO为年轻博士李世民。团队致力于让AI理解人的情绪与情境，实现“情境智能”——即AI能持续感知现场：谁在场、之前发生了什么、当前环境如何、人在做什么、下一步可能做什么。他们选择将交互模型作为工程入口，让AI能理解、生成语音和视频等多模态信息，并实时交互，系统命名为MOSS Live。

2023年初，邱锡鹏团队推出类ChatGPT语言模型MOSS，引发广泛关注。同年，团队研发端到端语音大模型SpeechGPT，尝试保留声音中的情绪、语速、音色。2024年，开发AnyGPT探索多模态处理。2024年底，团队正式创业成立模思智能，由SpeechGPT核心作者李世民担任CEO。

李世民表示，过去半年多，团队迭代了20多个模型版本，包括语音生成、音频理解、视觉理解等。他指出，真实情境需求不同于学术指标，客户要求准、快、便宜，这些约束改变了模型架构和推理框架。对于AI for AI，他认为这不是新事物，单点模型领先可能很快被追上，但若模型快速进入产品，真实场景反馈转化为训练材料，系统迭代速度可能拉开差距。

以下为对话内容：

「暗涌」：模思一直强调“情境智能”，这里的“情境”如何理解？

李世民：我们理解的情境，英文是context，但比大模型里的“上下文”更泛化。真实物理环境的信息持续流入，包括什么人、什么东西、发生过什么、时空关系等。例如，用户问“我的钥匙放哪儿了？”，若AI只能看到当前一帧，无法回答；但若持续接收视频流，可能看到钥匙放置位置及后续移动。拥有情境智能的AI依赖持续积累的情境感知，而非提问瞬间信息。

「暗涌」：听起来像随行AI助理。现在大家期待AI像人一样在物理世界更自主。

李世民：我们面向智能终端提供交互能力，底层逻辑是让AI像人一样与物理世界交互。真实环境中，人会停顿、改口；声音、画面、环境状态持续变化。最终AI会进入眼镜、车、玩具、机器人等终端，用户不会每次都整理好Prompt。真正的情境智能需要双工交互，输入输出并行，模型能边看、边听、边接收信息并反馈。下一代AI将从“回答问题”转向“持续在场”，能理解人和环境，在适当时回应、行动。全模态实时交互正是解决此事。

「暗涌」：全模态实时交互与当前AI语音助手有何不同？

李世民：真正的交互系统要解决信息如何同时进入、互相影响、在场景变化时持续更新。例如，用户在车里说“有点冷”，仅语音识别只识别出三个字；但真正的交互智能需知道车内温度、谁在说话、车辆状态、说话人偏好，判断是描述感受还是希望调空调。我们关心的是AI能否理解现场。

「暗涌」：邱锡鹏团队从语言模型MOSS转向语音理解和生成模型，再加入视频，都是为了接近情境智能？

李世民：创立模思之初，我们对情境智能的描述是：AI充分感知、理解复杂物理情境，并在交互中持续提升能力。最初强调前半句，从语音入手，让模型听懂语气和情绪。2025年，语音模型相对领先后，集成视觉理解，让模型既能听懂也能看清物理世界。现在更强调后半句，“在交互中持续提升模型能力”。随着多模态模型成熟，我们正推进更全面的多模态交互。交互智能是重要工程入口，若AI未理解情境，会在交互中暴露错误。

「暗涌」：目前多模态交互模型做到哪一步？MOSS Live如何理解？

李世民：过去半年，我们发布迭代了20多个模型版本，覆盖语音生成、音频理解、语音识别、视觉理解和内容生成，持续开源。例如，MOSS-Audio能理解用户说话内容，分析情绪、语速、状态；MOSS-Transcribe-Diarize-0.9B在特定任务上效果超过更大参数模型。现在处于将单点能力集成系统的阶段。MOSS Live是一套实时交互系统，包含交互模型（持续看、听、说，理解人和环境）和能动性模型（负责复杂推理、工具调用、任务执行）。

「暗涌」：为什么做视频生成模型？

李世民：这需与视频理解结合。技术体系里，理解和生成相互促进。训练视频生成模型需准确描述、标注内容，依赖理解模型；理解模型可评判生成质量；生成模型效果验证理解能力。底层包括音视频数据、数据处理管线、训练推理基础设施。做视频生成复用了语音和音视频理解积累的能力。我们让理解和生成一起迭代，服务于全模态交互目标。

「暗涌」：实现情境智能的难点？

李世民：核心几点：第一，对音视频流的持续理解能力和双工交互，让模型输入输出并行，能边看、边听、边说。第二，记忆能力，包括历史画面和长时间信息编码，并在交互中更新。第三，理解用户意图后，在输出前做规划和目标拆解。这部分语言模型和agent已做得不错。第四，如何从真实交互反馈中改进。与coding任务不同，coding可凭代码运行正确判断结果；但生活中反馈不明确，用户可能不直接说“你错了”，而是生气或沉默，模型需结合更多情境信息分辨。这些问题在交互模型中尚未解决。

「暗涌」：2023年做SpeechGPT时外界反馈如何？

李世民：大家觉得范式新，但也有质疑。端到端语音优势是降低时延、保留非文本信息，但代价是模型参数量大、部署成本高；为降低时延，特定任务效果不理想。有些客户希望做更智能的三段式方案。直到2024年GPT-4o出来，大家才理解端到端语音的价值是让交互更自然。这启发我们，技术和认知可创造新范式，但需与真实用户场景结合才产生更大价值。因此我们2024年底决定创业。2025年做了许多单点模型，包括多说话人语音识别、音频生成、音频理解，技术选型根据市场反馈调整。

「暗涌」：现阶段与哪些B端用户联合开发？需要全模态能力的用户有哪些？

李世民：主要接触智能终端客户，包括智能座舱、AI智能硬件等。它们对模型有共通要求：理解用户说话内容，结合语气、环境、历史交流判断意图；拟人度、流畅度更好；具备Always-on体验，可随时唤醒交互。这些需求在不同终端表现不同，但底层理解和交互问题相通，模型能力可复用。

「暗涌」：智能座舱已有多数语音交互，多模态交互是刚需吗？

李世民：取决于客户期望。明确指令如开空调、调音量，现有语音交互可解决。但我们看到客户需求涉及更连续、复杂的交流。例如，车里多人交谈时，用户与其他人说话不希望触发语音助手；与语音助手交互时，用户思考中不希望被打断；打开车窗后，风声、鸣笛声如何避免误触发。这些细节需打磨，让模型知道何时回复、何时沉默，用户会感觉AI聪明很多。在此基础上，一些客户希望模型同步理解视觉和音频信号，补充环境信息，帮助判断意图。对于提供持续交互体验的座舱，多模态有具体用途。

「暗涌」：终端算力能支撑吗？

李世民：根据不同场景设计不同大小模型。例如，端到端语音转录模型用于具身机器人、小型AI硬件、手机等，对时延要求高、算力有限，可用0.9B轻量级模型提供本地服务。同系列有旗舰版模型，可完成长音频多人转写、说话人分离和时间戳标注，主要通过云端服务，适用于时延要求低但需更强模型能力的场景，如内容生产、线上模态交互、客服或医患交流分析。

「暗涌」：如何判断哪些需求值得投入研发？

李世民：首先需求导向；第二看可复用性，是单一客户需求还是多场景底层问题相同；第三，是否在情境交互智能目标主线上。我们看项目除收入外对模型能力帮助，能否迁移到其他客户。例如，能帮助迭代交互模型、双工模型的AI硬件或终端场景，会优先做。

「暗涌」：语音模型赛道已拥挤，会不会太卷？

李世民：语音赛道还有大机会。市场规模判断常基于当前模型能力，但新技术能力提升会解锁新需求。例如，多说话人语音识别模型MOSS-Transcribe-Diarize可分析谁在何时说什么，发布后就有AI语音硬件公司主动联系接入API。语音生成也有提升空间，如一次生成中统一控制情绪、语速、说话人身份，生成背景音。这套统一范式成熟后，可用于AI短剧等内容生产。

「暗涌」：从研发到商业化，难度会更大吗？

李世民：我有信心。AI时代，模型能力是最大竞争力，效果够好，结合infra能力压低成本，客户会选择效果更好、成本更低的方案。目前B端业务逐渐成熟，已做交付。本轮融资后，C端业务预计有较大起色。

「暗涌」：你们很早就用AI for AI技术？具体在模型训练哪一步？

李世民：AI for AI是常见概念，很多顶尖团队都用。数据处理、标注、质量评估等环节需大量借助模型。例如，训练多说话人对话语音生成模型MOSS-TTSD时，需标注多说话人语音内容的模型。市面模型做得不够好，所以我们训练轻量级端到端语音转录模型MOSS-Transcribe-Diarize-0.9B，再用它标注MOSS-TTSD训练数据。理解模型可标注数据、评判生成质量，作为奖励模型帮助训练；生成模型结果反过来验证理解能力。

「暗涌」：具体标注时，人和模型分别做什么？

李世民：先找相似场景源数据，用初步AI模型整体标注，再在模型标注基础上做人工质量核对，得到高质量训练数据。这套数据管线从2023年开始迭代积累。除上述模型，整套管线还用许多音频理解和多模态理解模型，分别处理不同任务。模型之间如何编排、数据管线先处理哪些任务，都需精细实验。

「暗涌」：让AI进入数据生产、标注和训练，效率提升如何？

李世民：效率比市面上常见多模态或音频数据处理管线提高两到三倍，包括数据处理算子的工程优化。靠这套共通数据管线和研发infra，模型迭代速度很快。近半年，我们陆续发布二十多版模型。

「暗涌」：很多团队用AI辅助研发，你们希望建立哪些壁垒？

李世民：AI for AI在机器学习中研究多年，这个词本身不是壁垒。我们更关心能否把AI真正放进多模态数据、模型迭代生产流程。例如，音频、视频、图像和交互数据进来后，过去靠人做的很多环节可逐步训练模型处理。单点模型领先可能很快被追上。实时多模态交互不同，它需语音、视觉、视频、理解、生成、推理系统、真实场景和数据管线一起走。模型能否快速接入系统、真实场景数据能否回来、数据能否快速变成下一轮训练材料，这些环节持续转起来，能放大系统迭代速度。下一步真正要证明的是，产品和客户场景产生的数据能否持续回到模型训练。

「暗涌」：从团队看，模思智能200多人，约3/4研发，更像Lab？

李世民：从人才密度看，有实验室特征，约一半纯算法研究；剩下人中一半是开发侧研发。但模思不是Lab，是要走通商业闭环的公司。研发占比高，是因为要把研究、模型、产品一路打通，每环都离不开研发。模型能力要变成用户用得上的产品和服务；用户和市场反过来影响模型。以前做语音模型更关注词错率、语音相似度等学术指标；但客户要求准、低时延、价格不能太贵。这些约束改变模型架构、推理框架，甚至基础设施，逼我们做更细致优化，提供低成本、高利用率模型。

「暗涌」：希望模思最终成为怎样的公司？

李世民：我们想做AI和真实物理世界交互的基础设施。往理想方向讲，像电影《Her》里的AI助手，能充分获得用户所处情境，理解人，进行智能、实时、连贯的交互。