起源：珠峰南坡在批量“诳骗”全球中产吗作者： 胡怡孜：

DeepSeek“开眼”背后的技术，，，公开了！！
！

智器材作者 陈骏达编纂 心缘

智器材4月30日报道，，，今天，，，DeepSeek颁布多模态技术汇报《用视觉原语思虑（Thinking with Visaul Primitives）》，，，具体阐释了昨日灰度上线的DeepSeek识图模式背后的技术细节（DeepSeek终于能看图了！！
！我第一功夫用它算命）。

DeepSeek识图模式所使用的是一个284B参数、、、13B激活多模态推理模型，，，其正式名称尚未对外颁布，，，基座模型是DeepSeek-V4-Flash。DeepSeek称，，，这一模型的权重将整合进DeepSeek的基础模型，，，并在将来颁布。

当前，，，传统的思想链依然停顿在说话领域，，，但视觉推理所必要的信息更多。DeepSeek的新一代多模态推理模型的主题升级就在于，，，它把纯正的说话推理链条，，，升级成了一种“说话逻辑+空间坐标”交错的双轨思想。

当模型对着一张图进行推理时，，，它是会像人一样，，，直接输出一个具体的框或者点，，，在图中精准地“指”出它当下正在想的那个器材。

DeepSeek多模态团队掌管人陈小康分享了一张动图，，，形象地阐释了这一运作机制。图中，，，DeepSeek多模态模型能够在思想链中使用框进行定位，，，并在后续的推理步骤中持续引用这些被框定的视觉锚点，，，基于空间坐标进行下一步判断，，，极大提升了视觉推理的正确性。

▲DeepSeek多模态模型推理过程

在一系列高难度视觉QA工作中，，，这一模型的阐发超过了GPT-5.4、、、Claude-Sonnet-4.6、、、Gemini-3-Flash、、、Qwen3-VL等模型。

较高的token效能也是这一模型的亮点。与当前主流的多模态大模型将一张图片转化为成百上千个视觉token分歧，，，DeepSeek这套架构通过视觉压缩战术，，，将高分辨率图像从原始像素起头，，，经过ViT特点提取、、、空间压缩以及稀少把稳力机制的多级处置，，，最终在KV缓存中仅保留约90个视觉条款，，，实现超7000倍的压缩。

这意味着模型在进行复杂空间推理时，，，无需在海量视觉信息中反复检索，，，思虑过程的每一步都较为“轻量”。

项目地址：

https://github.com/deepseek-ai/Thinking-with-Visual-Primitives

技术汇报：

https://github.com/deepseek-ai/Thinking-with-Visual-Primitives/blob/main/Thinking_with_Visual_Primitives.pdf

一、、、天然说话存在“指代天堑”，，，视觉象征染指有望破解

这篇论文中，，，DeepSeek多模态团队提出了对现有多模态大模型缺点的洞察。从前，，，当业界讨论提升视觉模型的推理能力时，，，险些所有的致力都集中在“感知天堑”上，，，也就是让模型“看得更明显”：通过更高分辨率的图像切分、、、更精密的动态分块，，，确保模型不会遗漏图中的细节。

但DeepSeek多模态团队以为，，，即便把这所有做到极致，，，模型依然会在复杂的视觉推理工作中崩溃。

天然说话在描述陆续视觉空间时，，，天然存在一种“指代天堑”：当你说“左边那个器材”时，，，在拥挤的场景中，，，这个“器材”到底指哪一个，，，模型无法精确锁定。

因而，，，模型的思想链条看似环环相扣，，，实则每一步都存在偏离的风险，，，一旦涉及到密集计数、、、多步空间推理或者拓扑导航这种必要逐步推理的工作，，，逻辑就会由于指代不清而逐步崩塌。

基于这个判断，，，DeepSeek多模态团队尝试让模型在思虑时“边想边指”，，，也就是让模型用点坐标和天堑框来“指”，，，把这些人类的视觉原语，，，造成模型思想链条上的最小认知单元。

架构层面，，，这一多模态模型通过DeepSeek-ViT掌管将图像转换为视觉特点，，，下图右下方的文本分词器掌管处置用户的说话指令，，，两者输入至基座模型DeepSeek-V4-Flash进行推理融合，，，最后由去分词器输出蕴含天然说话与视觉原语（如坐标框、、、区域象征）的结合响应。这种设计使模型两全文本理解能力和原生视觉定位能力。

二、、、筛选超4000万个高质量样本，，，对四类工作针对性优化

要把点和框造成模型思想的一部门，，，首先要解决的问题，，，就是若何让模型真正“学会指”。模型必要把“指”这个作为内化成一种思想习惯。

为此，，，DeepSeek多模态团队构建了一条贯通预训练、、、冷启动和强化学习的训练流水线。

在预训练阶段，，，他们从互联网上爬取了97984个与指标检测有关的数据源，，，设计了自动化的语义和几何质量审查机制，，，过滤掉乱码标签、、、不成泛化的个人实体、、、严重截断的框以及覆盖全图90%面积的“巨型框”等低质量标注，，，最终筛选出31701个高质量数据源，，，总计超过4000万个的精准样本，，，先让模型把握根基定位能力。

接下来是冷启动数据构建。DeepSeek多模态团队针对计数、、、空间推理、、、迷宫导航和蹊径追踪这四类最能体现视觉原语价值的工作，，，合成了一套带有精确思虑轨迹监督的数据。

以计数工作为例，，，模型被明确教导，，，在思虑时要先批量框选所有候选对象，，，而后再对这些锚定好的框进行逐一校验和累加。

▲计数工作的一条冷启动数据

在迷宫工作中，，，模型的每一步索求都必须输出一个点坐标来象征当前地点，，，一旦失误撞墙，，，整个后续索求在因果上就自动失效，，，模型必须学会回溯。

这种把视觉原语操作直接整合进思想链的做法，，，让模型在冷启动阶段就成立起“指向-推理”的强耦合。

三、、、选取浓密嘉奖机制，，，视觉编码压缩比超7000倍

有了冷启动模型之后，，，DeepSeek多模态团队通过一套“训练专家再融合”的后训练战术，，，将模型的能力进一步精密化。其中的创新点在于强化学习阶段的嘉奖模型。

以迷宫工作为例，，，嘉奖分化为索求进度、、、撞墙惩！！
、、、蹊径有效性和索求齐全性等多个维度。模型每正确索求一个单元格、、、没有犯法穿越墙壁，，，城市获得正向信号，，，而一旦产生撞墙，，，即便最终的答案为“可解”，，，也会被严格扣分。

这种浓密的嘉奖机制，，，让模型必须当真对待每一个视觉原语操作，，，无法靠猜答案实现嘉奖破解。

为了同时把握框定位和点指向这两种视觉原语，，，该团队还别离训练了两个专家模型，，，最后通过在线战术蒸馏将它们融合成一个统一模型，，，让学生模型在自己天生的思想轨迹上，，，学习两位专家教员的输出散布。这种设计有效预防了两种异构原语在训练中的互有关扰。

值得一提的是，，，这项工作的技术路线成立在一个高效的视觉编码架构之上。

首先，，，Vision Transformer以14×14的块巨细将图像切分成视觉token；；；而后，，，在ViT输出端进行3×3的空间压缩，，，将每9个相邻token沿通道维度归并为1个；；；最后，，，利用模型底座DeepSeek-V4-Flash自带的压缩稀少把稳力机制，，，将KV缓存中的视觉条款再压缩4倍。

以一张756×756分辨率的图像为例，，，它正本会产生2916个patch token，，，经过三级压缩后最终仅保留81个视觉KV条款，，，整体压缩比高达7056倍。

这种token效能意味着，，，模型在发展复杂的空间推理时占有了一份“提炼好的索引”，，，能够拿着索引直接进行思虑，，，从工程上就减弱了无关像素对推理链路的滋扰。

结语：多模态智能的“系统二”进化

DeepSeek多模态团队也在汇报中提到了当前技术的天堑。模型在复杂拓扑推理工作上的跨场景泛化能力尚未美满，，，且思虑中视觉基元的激活目前仍依赖显式的触发词，，，尚未实现齐全的自觉挪用。

但他们也以为，，，这套框架为多模态社区展示了通往系统二级此外多模态智能的蹊径。这一蹊径没有一味地堆高图像分辨率，，，而在构建了更精准从参照指标。

用空间坐标锚定抽象思想，，，让模型像人类一样“边指边想”，，，这自身就是一个值得持续深挖的方向。