车载 Vision Transformer 运行时分布外(OOD)极端异常检测与高维特征空间几何建模

随着 Vision Transformer(ViT)与鸟瞰图(BEV)多相机前融合大模型在车载自动驾驶感知领域的全面普及,传统的纯卷积网络已退居二线。然而,庞大的自注意力自注意力权重矩阵在遭遇贴有对抗性伪装贴纸的货车、挡风玻璃极端逆光眩光反射或者异形超宽大件运输车时,依然极易产生毁灭性的漏检与误检。本文系统介绍如何在未经认证的通用深度学习大模型外围,包裹一层轻量级、完全确定且具备 ISO 26262/21448 认证能力的物理级安全防护环(Safety Wrapper)。

基于自注意力 Token 统计信息熵的感知不确定度代理度量

在 Vision Transformer 模型中,当输入画面清晰有效时,各注意力头的注意力权重会高度集中在具有显著语义特征的物体轮廓上:例如前车尾灯、保险杠边缘与清晰的车道虚线。而在遭遇镜头突发泥浆飞溅遮挡或极其浓厚的团雾时,自注意力权重矩阵将均匀弥散在整张图像的全部切片 Token 之上,导致注意力概率分布的香农信息熵(Shannon Entropy)急剧飙升。安全监视器以逐帧频率监控 Transformer 最后两层的注意力熵:一旦检测到注意力熵突破 4.2 nats 警戒阈值,系统立即判定当前摄像头处于严重不可信状态,阻断上层规划算法采信该帧画面。

浏览域名资产