Vision Transformer (ViT) и модели кругового обзора BEV стали стандартом в автопилотах. Однако матрицы внимания могут катастрофически ошибаться при оптических помехах, бликах или необычных грузах. В статье описано создание сертифицируемой оболочки безопасности поверх моделей ИИ.
В Vision Transformer при чистой видимости внимание фокусируется на фарах и разметке. При грязи на линзе или тумане внимание равномерно размазывается по всем токенам, и энтропия Шеннона резко растет. Оболочка безопасности отслеживает энтропию: если она превышает 4,2 нат, доверие к изображению аннулируется.