OpenAI 新模型 Astra 或采用循环推理架构

消息称，OpenAI 即将发布的 Astra 采用了一种循环推理架构，即 recurrent depth，也被称为 looped transformer。与普通 Transformer 在生成每个 Token 时固定依次穿过多层网络不同，Astra 可以让同一段信息反复经过同一组层，在输出前进行多轮计算。

类似路线此前已有公开研究。字节跳动 Seed 团队发布的 Ouro 是一种 Looped Language Model，同样通过让一组 Transformer 层循环运行，将更多计算放入模型内部。这样一来，模型不必持续生成更长的思维链，也能增加推理计算量，使较小模型在更多计算支持下接近更大模型的效果。

不过，这种架构也带来安全挑战。部分推理过程发生在内部隐藏状态中，人类无法看到完整文字记录，因此更难通过思维链检查模型是否存在违规行为。报道称，OpenAI 因此限制了 Astra 使用 recurrent depth 的程度，使其仍保留可读的思维链，并计划加入额外的 CoT 监控。