论文标题:Beyond Autoregression: A Non-Generative Dual-Frame Architecture for Discrete Physical World State Tracking
论文作者:张子健 (Zijian Zhang)、李欣阳 (Xinyang Li)、吴佳桐 (Jiatong Wu)
研发主体:西安花濑科技有限责任公司(Hoilai Tech)
论文状态:已正式提交国际顶级信号处理快报(IEEE Signal Processing Letters)
开源基准:OpenWSV-Bench 官方榜单 | GitHub 评测套件 | Hugging Face 模型基座


导语:具身智能的“感知死锁”

随着具身机器人从“机械执行”迈向“空间认知”,整个行业正普遍尝试将以自回归生成为基础的多模态大模型(Vision-Language Models, VLMs)直接搬上机器人本体,用来解析场景并生成描述物理关系的 JSON 文本。

然而,工业实战中暴露出一个残酷的工程事实:依赖自然语言逐字生成(Next-Token Prediction)的自回归大模型,根本无法胜任高可靠闭环操作。

  • 延迟失控:逐 Token 解码机制受限于显存带宽(KV Cache 瓶颈),单次推理通常耗时 800ms ~ 1800ms,而高动态机械臂与四足机器人要求闭环控制延迟必须在 150ms 以内;
  • 语法截断致命:大模型依靠概率采样输出 JSON 字符串,在紧凑算力边界下偶发的语法截断或格式缺失(即使仅有 2%~5% 的错误率),就会直接导致下游控制器解析崩溃;
  • 注意力漂移与物理幻觉:通用大模型无法彻底将“观察者的相对视角(如左前方)”与“客观存在的物理支撑链(如承托、容纳)”在特征层进行分离,极易导致时序漂移与物理拓扑幻觉。

面对这一行业级痛点,西安花濑科技(Hoilai Tech)今日正式公开论文《Beyond Autoregression: A Non-Generative Dual-Frame Architecture for Discrete Physical World State Tracking》,宣布推出全新的纯判别式物理世界状态感知架构——StarLife-V1-WSV。


核心突破:剥离自回归,直出物理状态张量

StarLife 彻底摒弃了自回归自然语言解码头,将具身视觉感知严格重构为基于双帧时空差分与正交多头判别的确定性状态估计任务。

图片描述

1. 运动沉降门控机制(Motion-Settlement Gating)

机器人作业过程中频繁伴随抖动、动态模糊与光影冲击。StarLife 前置轻量级运动沉降状态机,对场景内物体最大运动速度矢量实施毫秒级监测($v_{\max} < 0.04\text{ m/s}$)。系统仅在物理刚体达到稳定接触、消除瞬态模糊后才捕获清晰帧,将动态模糊引起的假阳性误触发率从 14.2% 骤降至 1.8%。

2. 跨帧差分注意力(Cross-Frame Differential Attention)

双帧图像通过权重共享的多模态 Transformer 编码主干提取稠密补丁特征后,经由双向跨帧差分注意力直接进行特征级特征相减: $$\Delta \mathbf{F} = \mathbf{F}_1 - \text{Softmax}\left(\frac{\mathbf{F}_1 \mathbf{W}_Q (\mathbf{F}_0 \mathbf{W}_K)^T}{\sqrt{d}}\right) (\mathbf{F}_0 \mathbf{W}_V)$$ 该机制强力压制了环境中 90% 以上未变动的静态背景冗余,精准锁定发生物理迁移的几何边缘。

3. 三大正交解耦分类头

模型将物体对的特征正交分流至独立的并行判别头中:

  • 11 类拓扑接触支撑头($\mathcal{H}_{\text{topo}}$):纯粹判断物理支撑链(on, contains, held_by, in, near, next_to...);
  • 10 类相对方位头($\mathcal{H}_{\text{pos}}$):解耦视角几何方位(top, inside, front, left, front_left...);
  • 4 类物理变动状态头($\mathcal{H}_{\text{chg}}$):直接输出物体演变属性(none, appeared, displaced, disappeared)。

没有自回归语言解码,没有 JSON 序列化字符串。输出即内存离散张量,实现 0.0% 语法截断与零格式幻觉。


实测战报:OpenWSV-Bench 权威评测

在包含 3,000 个带时间轴的标准化多模态评测任务集 OpenWSV-Bench v1.1 上,StarLife 架构与 2026 年最新一线主流多模态大模型进行了严格同台对决:

模型代号 (Model) 架构范式 T6: 物理状态跟踪 (State Replay) T4: 空间位移变动 T5: 拓扑关系变动 语法截断错误率 端到端推断延迟 单次成本
Gemini-3.8-Flash-High 自回归 VLM 80.70% (±2.4) 99.40% 95.83% 2.5% 1280 ms $0.0065
DeepSeek-V4.1-Flash 自回归 VLM 80.96% (±2.4) 94.93% 95.75% 2.1% 1150 ms $0.0042
GLM-5.3-Flash 自回归 VLM 81.00% (±2.6) 95.80% 98.00% 3.0% 1320 ms $0.0050
MiniMax-M3.1-Flash 自回归 VLM 79.70% (±2.5) 93.50% 97.00% 2.8% 1080 ms $0.0038
Mimo-V2.6-Pro 自回归 VLM 75.32% (±2.7) 92.19% 92.71% 4.6% 880 ms $0.0025
StarLife-Lite (Ours) 非自回归判别 95.30% (±1.7) 94.80% 96.20% 0.0% 120 ms $0.0005
StarLife-27B (Ours) 非自回归判别 98.20% (±1.1) 97.60% 98.80% 0.0% 320 ms $0.0012

核心结论:

  1. 在最硬核的 T6 物理状态持续跟踪赛道上,StarLife-Lite 单凭 8B 规模打出 95.30%,超出领先的通用自回归模型整整 14.3 个百分点,旗舰版 27B 更进一步攀升至 98.20%,铁证证明了非自回归判别在时序物理因果追踪上的降维优势;
  2. 端侧部署即插即用:StarLife-Lite 经 W4A16 激活感知权重量化后,静态模型显存压缩至 4.5 GB,运行时峰值显存 $< 6\text{ GB}$,在工控板卡(NVIDIA Jetson AGX Orin / 国产昇腾芯片)上可跑出 120ms 确定性超低延迟,且单次调用成本仅为通用 API 的几十分之一。

产业定位与开放生态

西安花濑科技始终定位为“具身物理世界大模型(World Foundation Model)基础设施研发商”。

我们不做外包系统集成,不制造单一硬件本体,而是将 StarLife 核心模型作为物理感知标准中间件,向下赋能:

  • 四足机器狗 / 室内巡检机器人:提供全地形与复杂障碍连续物理世界拓扑记忆;
  • 桌面操作机械臂:在动态分拣、装配作业中实时闭环反馈接触与位移状态;
  • 人形机器人与仓储 AGV:零延迟输出时空物理状态图(Spatial-Temporal Scene Graph),作为机器人高层具身决策大脑的可靠输入。

目前,OpenWSV-Bench v1.1 完整数据标准、评测套件与在线可视化看板已全面开放上线,StarLife 核心模型权重也已同步在 Hugging Face 与魔搭社区(ModelScope)开启科研开放:


© 2026 西安花濑科技有限责任公司 版权所有 · 本文技术内容受国家发明专利保护群与学术版权约束。