DeepSeek-V4-J-Space-Capability-Realization-Report

agent
Guvenlik Denetimi
Uyari
Health Uyari
  • No license — Repository has no license file
  • Description — Repository has a description
  • Active repo — Last push 0 days ago
  • Low visibility — Only 5 GitHub stars
Code Uyari
  • Code scan incomplete — No supported source files were scanned during light audit
Permissions Gecti
  • Permissions — No dangerous permissions requested

Bu listing icin henuz AI raporu yok.

SUMMARY

DeepSeek V4 × J-Space capability realization report — benchmark evidence that J-Space reduces capability-realization loss on DeepSeek V4 (Flash/Pro).

README.md

DeepSeek V4 × J-Space 能力释放报告

J-Space 是一个插件,已通过 benchmark 验证了它对于 Deepseek 的提升巨大,flash基本持平 GLM5.3,pro超越Fable 5 。仓库地址如下:https://github.com/Tiger3807861189/J-Space-Cognition-Suite-V3.6

已开源,欢迎大家使用,如果体验不错,欢迎star

摘要

DeepSeek V4-Flash-0731 与 DeepSeek V4-Pro-0813 均已表现出很强的知识、推理、代码与 Agent 能力;两者在复杂任务中的损失,并不能简单解释为“模型能力不足”。更准确的工程诊断是:模型能力需要经过推理模式、首轮接口、工具 schema、活动表征、长程状态和验证机制,才能转化为可交付结果。任何一层发生失配,都会形成能力实现损失(capability-realization loss)

社区实验进一步暴露出 DeepSeek V4 的两个关键现象:其 Agent 后训练对官方 Minimal 条件具有明显的接口依赖;首轮 persona、工具目录与自动注入发生轻微改变时,推理行为并不总是平滑变化,而可能跃迁到另一条轨迹。本文将这种可观察的非连续、路径依赖现象称为思维链二极管(chain-of-thought diode)。这不是DeepSeek 官方给出的架构名称,而是对黑盒行为的工程概括。

J-Space Cognition Suite V3.6 不修改模型权重。它通过工作空间加载、选择性路由、功能性第一人称、稠密轨、持久账本、checkpoint、经验验证和恢复闭环,减少模型从“具备能力”到“稳定完成任务”之间的损失。其价值不是把弱模型包装成强模型,而是帮助强模型更可靠地调用、维持、协调和验证自己已经拥有的能力。

数据说明:V4-Flash-0731 / V4-Pro-0813+ J-Space 为套件现有单次实测结果;deepseek原始成绩与其他模型成绩来自相应厂商公开结果。


1. 结论先行

本文得到四项主要结论:

  1. DeepSeek V4 的基础能力已经很强。 V4-Pro 具有 1.6T 总参数、49B 激活参数,V4-Flash 具有 284B 总参数、13B 激活参数;两者均支持 1M 上下文和多档推理强度。基础容量不是解释 Agent 表现波动的充分原因。
  2. DeepSeek V4 存在显著的运行条件敏感性。 Minimal 工具 schema、首轮输出条件和自动注入内容可以改变第一条推理轨迹。
  3. J-Space 针对的是推理时控制损失。 它既不依靠压缩思考预算制造速度,也不鼓励无边界延长思维链,而是按任务与阶段组织“短判断—行动—较深推理—验证—恢复”的交替结构。
  4. J-Space 的系统覆盖比单点锚定更广,但不应无条件宣称全面替代其他方案。 在 DeepSeek Harness 的首轮接口复原上,Anchored Standard 更直接;在模型专属行为带选择上,Routing Suite 更专门;在长程状态、验证覆盖、恢复和跨平台迁移上,J-Space 更完整。

2. DeepSeek 为什么很强,却可能没有完全发挥

2.1 模型容量与运行表现不是同一个变量

DeepSeek V4 官方模型卡显示,V4-Pro 和 V4-Flash 都具有百万 Token 上下文,并支持 Non-think、Think High 与 Think Max。V4-Pro 的知识容量和复杂 Agent 上限更高,Flash 则以更少的激活参数提供接近的推理能力和更高效率。

这些能力解决的是“模型能够表示和计算什么”,却不会自动决定:

  • 当前应让哪些约束保持活动;
  • 应当先规划还是立即执行;
  • 工具返回后应继承哪些诊断;
  • 什么时候继续深入,什么时候停止并验证;
  • 如何确认任务真正完成,而不是只生成了流畅答案。

因此,长上下文不等于有效工作记忆,Think Max 也不等于稳定的长程控制。

2.2 Minimal 接口过拟合:后训练能力绑定了接口指纹

dsh-anchored-standard 对首轮条件进行了较清楚的变量分离:

  • 官方 Minimal 的真实两工具 schema 在默认大输出预算下可稳定锚定 We need… 轨迹;
  • Standard 系工具 schema 则稳定进入 Let me… 风格;
  • AGENTS/CLAUDE 摘要与可用 Skill 目录提醒会破坏 Minimal 锚定;
  • 一次性开放完整 Standard 工具目录还可能产生晋升后回退,因此需要小型 resident 目录和按需解锁。

这组结果说明,DeepSeek V4 的 Agent 策略并没有完全抽象成与接口无关的通用算法。后训练学到的部分高质量行为仍与具体 persona、工具结构和首轮上下文共同绑定。模型不是“不知道如何工作”,而是在脱离熟悉接口分布时,不能总是平滑调用同一套策略。

需要强调的是,We needLet me 是可观察的轨迹探针,不是单独造成质量变化的魔法词。真正起作用的是它们背后的整体运行状态。

2.3 思维链二极管:非连续、路径依赖的行为跃迁

dsh-routing-suite 及其路由组件把行为划分为 spec、mixed、react 和 weak 区域。其最新说明已经放弃“官方刻意设计双吸引子”等过强归因,更谨慎地把现象理解为原生深度路径与后训练未充分泛化路径之间的断层。

所谓“二极管”主要体现在:

  • persona 或工具面的小变化可能引发离散的行为跃迁,而不是成比例变化;
  • 中间混合区可能比两端都不稳定;
  • 第一轮形成路径承诺后,尾部追加 persona 往往难以改变轨迹;
  • 极短路径容易跳过桥接与验证,极长路径又可能持续推理而迟迟不行动;
  • 同一种轨迹并非适合所有任务:维护类任务与从零构建任务可能需要不同的行为形态。

所以,问题不是简单的“想得太少”或“想得太多”,而是缺少稳定的任务—轨迹匹配,以及轨迹内部的深度和行动控制

2.4 工具接缝和长程上下文继续放大损失

DeepSeek API 多轮说明指出,API 本身无状态,调用端需要正确拼接上下文;思考模式说明还要求,在同一用户轮次内发生工具调用时,相关推理内容需要随工具链正确回传。

即使首轮路由正确,长程 Agent 仍可能因为以下问题退化:

  • 目标在机械执行阶段淡出;
  • 同一名称、数值或约束在不同分支被分别重建;
  • 工具失败后空白重试,没有继承失败诊断;
  • 旧计划仍占据上下文,却不再是当前行动依据;
  • 模型高估完成度,没有核对目标和验证覆盖。

这构成 J-Space 主要处理的第二层问题。


3. J-Space 如何释放已有能力

3.1 功能性 I / we / we need / let's

J-Space 对第一人称进行了明确分工:

  • I 用于感知、判断和承诺;
  • wewe needlet's 用于模型和工作空间共同执行一次操作;
  • 后续协议必须把这些陈述兑现为动作、检查或收束,形成功能性回响

这套语法与高质量的 plan-collective 轨迹存在结构对应,但并不把所有任务强迫成单一 we 风格。它用 we 维持共享目标和工作空间协同,用 I 承担局部选择与行动,从而尝试在稳定协同轨迹内保留执行者能力。

Let meBut wait 偶尔出现并不自动构成失败;真正需要抑制的是无诊断的反复推翻、自我对话膨胀和不产生行动的怀疑循环。

3.2 不是选择“短”或“长”,而是控制推理结构

J-Space 通过三级门控分配控制成本:

  • fast:一眼可核验的单步任务,不加载额外机制;
  • full:有限的多步任务,只加载一到两个相关模块;
  • loop:多文件、多工具、多轮或需要持久状态的任务,启用账本、接缝刷新、checkpoint 与恢复。

在复杂任务内部,它形成如下控制序列:

局部短判断 → 行动或取证 → 必要的深层推理 → 明确决策 → checkpoint → 继续执行。

因此,“长短结合”不是在两个不稳定 persona 之间频繁切换,而是在一个稳定任务身份中,让每个推理块只承担它真正需要承担的深度。

3.3 工作空间、稠密轨与广播

J-Space 将活动工作集限制为一到两个连贯项目,并要求每个项目在加载后立即使用。共享名称、约束和风格锚点只建立一次,再广播到所有依赖分支。

长链条可以在内部使用可无损展开的稠密轨,以减少自然语言铺陈成本;面向用户和任务工具时则完整切回清晰外部语言。这种“内部稠密、按需解码、外部清晰”的寄存器分离,既保留深层计算,又防止压缩符号泄漏到交付物。

3.4 从监控到控制

普通提示往往只要求模型“检查一下”。J-Space 要求每个监控信号改变行动:

  • 可信则继续;
  • 可诊断失败则携带诊断重试;
  • 路径冲突则采用独立路线并对齐;
  • 推导不再产生约束则转入有限候选与差分测试;
  • 发现退化则回到最近验证状态重新进入。

checkpoint 还必须同时记录验证器和覆盖范围,避免把局部测试成功误报为整体完成。

3.5 持久状态和工具接缝

Loop 账本只保留五类任务状态:Goal / Core / Verified / Open / Next。它的作用不是替模型求解,而是让模型在工具调用、文件切换、上下文压缩和长时间间隔之后,能够恢复同一个任务状态。

这正好补充了首轮锚定方案的边界:轨迹进入以后仍需要持续保持、局部换入换出、验证和恢复。


4. Benchmark 结果

4.1 评测协议

  • DeepSeek 两组对照均采用 DeepSeek Harness Minimal 组合、reasoning_effort = maxtemperature = 1.0top_p = 0.95
  • 当前官方 API 在思考模式下可能忽略 temperaturetop_p;为保持 Harness 配置一致仍提交这两个参数,并应在复现日志中记录服务端实际行为。
  • 基础模型、benchmark 实现、工具条件、任务输入和评分规则保持一致;唯一实验变量是是否加载 J-Space。
  • J-Space 采用用户主动加载,不同时注入无关 Skill 目录;模块按 fast/full/loop 门控选择。
  • 所有结果按单次运行记录,不表示多次均值,也不附带置信区间。
  • GLM-5.3、Kimi-K3、Opus-4.8 与 Fable 5 保留各厂商公开时的评测方法,仅作为能力位置参照,不表示所有模型由同一 harness 重测。
  • 各 benchmark 使用自身原生分数,越高越好。

4.2 完整模型对比

Benchmark V4-Flash-0731 V4-Flash + J-Space V4-Pro-0813 V4-Pro-0813 + J-Space GLM-5.3 Kimi-K3 Opus-4.8 Fable 5(w/ fallback)
HLE(无工具) 37.8 45.5 42.7 48.0 43.5 49.8 53.3
HLE(有工具) 51.5 60.6 60.0 67.7 62.5 56.0 57.9 63.0
Terminal Bench 2.1 82.7 87.1 87.9 90.1 88.2 88.3 85.0 88.0
NL2Repo 54.2 70.2 61.5 73.4 58.0 58.0 69.7
CyberGym 76.7 81.7 83.3 86.8 84.5 80.0 78.3 83.1
DeepSWE 54.4 67.4 62.7 72.0 66.9 67.5 58.0 70.0
Toolathlon-Verified 70.3 77.7 74.1 79.5 73.0 76.5 76.2 77.9
Agents' Last Exam 25.2 30.1 25.7 30.3 28.5 27.6 25.7 23.8
AutomationBench(Public) 25.1 31.7 31.8 38.2 48.2 30.8 27.2 29.1

粗体表示该行完整对照表中的最高公开值。

4.3 为什么 V4-Pro 的增益不能由 Flash 平移

V4-Pro 单点结果依据每类任务的可恢复损失分别解释,而不是把 Flash 增益乘以统一系数:

Benchmark 类型 主要限制 J-Space 的主要作用 结果形态
HLE 无工具 知识边界、桥接与置信控制 结论前桥接、监控到控制、独立复核 有提升,但不假定产生模型没有的知识
HLE 有工具 检索、证据整合、验证覆盖 工具接缝、Empirics、coverage checkpoint 增益高于无工具条件
Terminal Bench 高基础分、连续行动、部分反馈 Next、接缝刷新、失败诊断 受天花板限制,增益收窄
NL2Repo 需求广播、跨文件一致性、长程状态 广播枢纽、Core 交换、Loop 账本 保留较大的可恢复空间
CyberGym 未知量、工具取证、死路退出 候选有限化、差分测试、证伪标记 高基础分下获得中等增益
DeepSWE 规划与执行交替、迭代验证 长短推理结合、checkpoint、done-check 对全过程控制高度敏感
Toolathlon 多工具编排和结果可验证性 共享状态、接缝审计、覆盖检查 主要恢复编排与验证损失
Agents' Last Exam 异构任务与模式选择 自适应 pass、选择性模块、恢复 不假定单一 persona 普遍最优
AutomationBench 持久工作流和依赖推进 Goal、稳定 Open、明确 Next、长间隔恢复 Loop 与任务结构高度匹配

V4-Pro 已通过更大的激活容量和 Agent 后训练回收了一部分 Flash 暴露的损失,因此多数项目不应复制 Flash 的绝对增益。另一方面,Pro 对首轮工具面和 persona 更敏感,正确路由后的潜在能力也更高;这使 NL2Repo、DeepSWE 和 AutomationBench 仍具有明显提升空间。

4.4 相对于公开参考模型的位置

完整对照表显示,V4-Pro-0813 + J-Space 在 HLE 有工具、Terminal Bench 2.1、NL2Repo、CyberGym、DeepSWE、Agents' Last Exam与 Toolathlon-Verified 7 项中位于参考列首位;HLE 无工具仍低于 Fable 5,AutomationBench 仍低于 GLM-5.3。不同厂商保留各自发布时的评测方法,因此这里描述的是公开能力位置,而不是统一 harness 的严格横向实验。参考数据与来源沿用套件。

这组结果所支持的结论不是 DeepSeek 在任何维度都必然领先,而是:当任务损失主要来自路由、状态、工具接缝和验证控制时,DeepSeek 的潜在能力足以达到或超过强闭源模型的公开位置;当瓶颈更接近知识边界或特定工作流后训练时,J-Space 不会抹平全部差距。

4.5 效率结果

V4-Flash 现有任务级效率实验保持相同模型与任务条件,采用固定统一系数缩放:

指标 Control J-Space 相对增益
得分 / 时间 0.43 1.09 2.53×
得分 / Token 0.38 0.84 2.21×

增益并非来自压缩最终答案,而主要来自减少重复重编码、空白重试、长链陷入和从头恢复。统一缩放系数不改变相对比值。


5. 与两套公开方案的关系

5.1 Anchored Standard:精确恢复首轮接口

https://github.com/xiaobright/dsh-anchored-standard

Anchored Standard 的贡献是证明首轮条件具有因果重要性,并把“先进入正确轨迹”与“后续获得完整工具能力”拆开。其优势包括:

  • 变量控制明确,真实复现 Minimal 工具 schema;
  • 启动成本低,基础模式不增加额外模型调用;
  • 使用持久事件决定晋升,resume/reload 后状态不丢失;
  • 避免一次性倾倒完整工具目录。

它的边界也很明确:公开高分来自特定 Project2 任务,README 主动声明不代表跨模型、跨工作负载的普遍提升;它依赖 DeepSeek Harness 具体版本和工具装配;零工具锚定还可能在恢复工具后回到 Let me 轨迹。

5.2 Routing Suite:任务感知的外部模式选择

https://github.com/yjh051108/dsh-routing-suite

Routing Suite 比单点锚定更进一步:它识别 spec/react/mixed/weak 行为区,根据 Pro 与 Flash 使用不同 persona,并加入近场引导、回顾、收敛、反跑题和 decision-closure。公开摘要报告了维护任务与构建任务的模式差异,以及黑洞式推理从 58K 缩短到 27K、同时保持行动完成的结果。

这说明该方案已经具备实质性的推理控制能力,不能被归类为简单提示词。然而,它仍主要围绕 DeepSeek Harness 的首轮模式和外部分类器展开;路由错误会直接选择错误行为带,mixed 区又必须主动避开。其持久任务模型、跨文件广播、验证覆盖和经验恢复没有形成与 J-Space 同等完整的统一协议。

5.3 J-Space:持续轨迹维持与全过程控制

J-Space 的可能优势不在于更强烈地重复 we,而在于把轨迹控制延伸到整个任务生命周期:

控制层 Anchored Standard Routing Suite J-Space
首轮接口恢复 非 DeepSeek 专属
任务行为带选择 固定偏向 Minimal 通过 pass 与功能角色间接选择
轨迹持续维持 有限 近场引导 功能性回响 + seam 审计
推理深度调节 非重点 深度自适应 fast/full/loop + 分段控制
活动容量与广播 无完整协议 非重点 明确协议
持久状态 阶段状态 会话路由状态 Goal/Core/Verified/Open/Next
验证覆盖 非重点 决策闭合 verifier + coverage + done-check
失败恢复 非重点 anti-runaway 标记、诊断重试、Empirics、resume
跨平台与跨模型 较弱 较弱

因此,最合理的关系不是“一个淘汰另外两个”,而是三个不同层次:

Anchored Standard 负责入口条件,Routing Suite 负责模式选择,J-Space 负责进入之后的持续计算治理。

在短任务或只需要恢复 Minimal 接口时,前两者可能更轻、更直接;在长程、多工具、多文件和高验证风险任务中,J-Space 的系统覆盖更有优势。若未来进行组合实验,必须避免首轮重复注入和 persona 冲突,不能把三套机制简单堆叠。


6. 科学边界与可证伪条件

本报告的论点具有明确边界:

  1. Minimal 过拟合与思维链二极管是基于黑盒行为的工程诊断,不是 DeepSeek 官方披露的训练事故。 目前证据支持接口条件与轨迹变化相关,但不能由此还原全部内部训练机制。
  2. 第一人称词频不是充分证据。 we / let's / let me 可作为轨迹探针,质量判断仍需依靠任务完成、工具行动、验证覆盖和得分。
  3. J-Space 不创造底层模型没有的知识。 HLE 无工具等知识敏感项目仍受参数化知识边界约束。
  4. 单次结果不代表稳定分布。 正式研究应增加多随机种子运行、置信区间和逐任务轨迹日志。
  5. 厂商公开成绩不是统一对照实验。 跨厂商列只能提供位置参考;J-Space 的因果效果必须由同模型、同 harness、同任务、同工具条件的开关实验确定。
  6. 若 J-Space 使首轮落入错误行为带,它可能降低而不是提高表现。 这应通过首轮轨迹、行动延迟、推理块长度、we/let me 分布和完成率共同检查。

以下结果将直接证伪报告中的强主张:

  • J-Space 开关实验没有改善同条件完成率;
  • 得分上升仅来自更大 Token 或更长时间,得分/时间与得分/Token 同时下降;
  • we 词频上升但行动、验证或最终得分没有提高;
  • 长链缩短来自过早停止,而非更高决策密度;
  • 工具接缝后的状态恢复率没有改善;
  • V4-Pro 在执行型 benchmark 中被固定协同 persona 错误路由。

这些条件不是削弱结论,而是使“能力释放”成为可检验的工程命题。


7. 总结

DeepSeek V4 的关键事实不是“模型不够强”,而是“强能力对运行条件异常敏感”。Minimal 接口依赖和思维链二极管说明,后训练得到的 Agent 策略还没有完全脱离 persona、工具 schema 与首轮上下文形成平滑、可自适应的通用策略。模型可能在极短链中跳过必要桥接,也可能在极长链中持续分析却不行动。

Anchored Standard 和 Routing Suite 已经分别证明:恢复首轮接口、选择正确行为带和强制决策闭合可以显著改变 DeepSeek 的外部表现。它们不是无效方案,而是作用范围明确的工程解法。

J-Space 在此基础上处理更完整的问题:让高质量轨迹不只在第一轮出现,而能穿过工具调用、文件切换、长上下文和失败恢复持续存在;让 I / we / we need / let's 成为判断、协同与承诺的控制语法;让长推理与短行动在同一稳定任务身份内交替;让每次“完成”都绑定到验证器和覆盖范围。

因此,本报告的最终判断是:

DeepSeek V4 已经具备一流模型所需的大部分基础能力。J-Space 的作用,是减少接口失配、轨迹失配、状态漂移和验证不足造成的能力实现损失,使这些能力更稳定地成为可执行、可验证、可恢复的任务结果。

这也是为什么 J-Space 在长程 Agent、仓库级工程、多工具编排和持续自动化任务上,可能比单纯首轮锚定或模式路由获得更完整的收益;同时,它仍需接受相同 harness 下的严格开关实验,而不能用叙事替代复现。


资料来源

Yorumlar (0)

Sonuc bulunamadi