国际联合智慧营造实验室研究成果《Improving intelligent perception and decision optimization of pedestrian crossing scenarios in autonomous driving environments through large visual language models》发表于Scientific Reports。该研究面向自动驾驶人行横道场景，引入大视觉语言模型（Visual Language Model，VLM），构建“场景感知、风险预测、行为决策”一体化框架，为复杂交通环境中的智能感知与决策优化提供了新的研究思路。随着自动驾驶与智能交通系统快速发展，车辆环境感知已由传统目标检测和轨迹识别逐步转向场景理解、行为预测和智能决策。人行横道是机动车与行人交互频繁、潜在冲突集中的道路空间，具有交通主体复杂、行为随机性高、环境变化明显等特点。传统规则方法难以覆盖复杂和未知交通情境；深度学习方法虽能识别车辆、行人等目标，但对行为意图、交通规则及多主体交互关系等高层语义的理解仍存在不足。

一、基于自动驾驶标准构建人行横道场景分类体系

研究依据ISO 34501、ISO/DIS 34502等自动驾驶相关标准，对人行横道环境进行标准化分类和结构化分解。根据主要动态主体，将功能场景划分为以行人过街为核心和以自动驾驶车辆通过人行横道为核心两类，并分别关注行人位置、状态、过街意图、车辆状态、等待区域、交通信号及环境条件等关键因素。在此基础上，进一步将场景实体划分为动态实体以及静态和环境实体。动态实体包括车辆、行人、动物等；其他要素包括交通信号灯、道路设施、天气、光照、施工设施、道路障碍物和临时事件等，并设置数量、类别、状态和位置等属性。由此，视觉图像被转换为由“实体、属性、状态、环境关系”组成的结构化交通场景，为后续风险预测和智能决策建立统一信息基础。

二、建立基于VLM的标准化JSON场景感知机制

研究采用具有视觉理解能力的大视觉语言模型作为核心，并结合自动驾驶标准设计标准化提示词和场景实体检查表。系统同时输入人行横道视觉图像和提示信息，引导模型识别车辆、行人、交通设施、环境状态及临时事件，并按照预设字段输出统一JSON格式结果。实验使用CARLA 0.9.15仿真平台的Town10HD_Opt场景，构建不同车辆、行人、道路环境和天气条件。与传统方法仅输出目标类别或检测框不同，该方法不仅识别“场景中有什么”，还描述对象的位置、状态及其相互关系。例如，可识别车辆类别、数量和行驶状态，行人数量、所在区域和等待或行走状态，交通信号颜色，以及晴天、雨天、雪天、雾天、昼夜等环境信息。研究从人行横道附近的道路基础设施或路侧摄像设备获取第三方道路观察视角信息，为未来车路协同（V2I）环境下的路侧智能感知提供基础。统一JSON中间格式也有利于在通信带宽有限或网络不稳定条件下传输关键场景信息。

三、形成“感知、预测、决策”连续智能推理框架

研究并未将VLM仅作为视觉识别工具，而是进一步利用其语义理解、常识推理和零样本泛化能力，形成从场景感知、碰撞风险预测到行为决策的连续推理流程。第一阶段为场景感知。系统输入视觉图像，识别车辆、行人、交通信号、道路条件和天气等要素，生成结构化检查表和自然语言描述。第二阶段为风险预测。系统以前一步结果为先验信息，分析车辆与行人的行为状态、空间关系以及交通信号和环境条件，判断潜在碰撞风险。第三阶段为行为决策。系统根据风险结果向不同交通参与主体提出行动建议，例如车辆继续行驶、减速、保持安全距离或停车，行人等待或通过人行横道等。这一框架使模型由“看见交通场景”进一步发展到“理解场景、预测风险、解释原因、提出建议”，使VLM由单一感知模型扩展为具有一定推理能力的智能决策支持系统。

四、提升决策可解释性并探索车路协同应用

与完全依赖预设规则的方法相比，VLM可利用预训练获得的语义知识和常识能力处理难以逐一编码的复杂场景；与传统深度学习模型相比，其优势不仅体现在识别交通实体，还能理解实体关系，并通过自然语言解释风险判断和行为决策原因。因此，该研究探索了自动驾驶环境感知由“目标检测驱动”向“场景理解与推理驱动”转变的新路径。目前研究仍主要基于CARLA仿真环境，仿真数据与真实道路之间存在领域差异。未来可结合少样本学习、领域自适应和标准化规则约束，提高模型在真实环境中的泛化能力与稳定性。同时，该框架具有向路侧智能设备和车路协同系统扩展的潜力，可将轻量化VLM或推理模块部署于人行横道路侧摄像机和边缘计算设备，在本地完成场景感知和风险判断，仅向车辆传输关键结构化安全信息，降低持续传输大规模视觉数据带来的通信压力。

该研究提出“标准化场景分类、结构化视觉感知、碰撞风险预测、行为决策支持”的技术框架，拓展了大视觉语言模型在自动驾驶复杂人车交互场景中的应用，为智慧道路基础设施、车路协同系统以及智能交通决策支持提供了新的理论与技术参考。