分享
收藏
点赞
降低成本，光在模型上想办法没用
在视频智能分析领域，以算力换性能几乎成了行业铁律。接入点位越多，算力需求越大。精度要往上提，模型参数量也跟着涨。动辄"云、边、端"全链路硬件改造，让基层交管单位面对上千路监控画面时，要么靠人工轮巡，要么承受高昂的智能化改造成本。有没有第三条路？
近日，大连市公安局交通管理支队自主研发的“连瞳——城市交通运行态势感知预警智能体”给出了一个不同的答案。这个智能体已接入监控摄像头1500余路，运行超16个月，实现交通事件发现时长由被动接收报警的平均5分钟压缩至30秒内主动预警。支撑这一结果的，是一整套环环相扣的算法优化机制，算力需求反而很小。
城域级视频事件分析的成本困局，追根溯源是算力分配方式的问题，算力本身未必不够。城市交通监控画面里，绝大多数时间处于无告警价值的正常状态，真正需要关注的异常事件画面占比不足5%。不管换什么检测模型，只要对全量画面做全量推理，95%以上的计算就都花在了什么都没发生的帧上。
很多传统路线对此无能为力。它的采样是均匀的、推理是单级的，每一路视频以固定频率取帧，每一帧送进同一个模型。
所以降低成本，光在模型上想办法没用。要么让不值得看的帧根本进不了推理管线，要么让进了管线的帧只在必要时才动用高算力解析。
连瞳的做法是在画面进入模型之前先做一道减法，系统看什么、何时看、以什么频率看，都先定好。画面进了模型再做一道，看到之后怎么逐级分析，也有讲究。两套机制叠加，城域级视频流中超过95%的无效计算量被系统性削减，单台利旧GPU服务器（4张GTX 1080Ti）即可支撑500路视频并发分析。
自适应动态采样：按风险和时间段分配注意力
模型不对所有点位以固定频率采样，而是融合点位历史风险属性、时段特征、帧间画面相似度等多个维度动态调整。点位风险属性来自数据融合。
模型以公安交通集成指挥平台汇聚的城市监控视频流为主数据源，融合该平台过车数据与公安交通管理大数据分析研判平台的事故、违法数据，结合点位所在道路的时段流量特征，对视频点位进行风险等级分析，动态识别易发高发点位与低风险点位。历史事故多发点位加密采样，长期平稳点位降频采样。
这套机制把数据研判结果与本地视频流的调度策略做了二次建模融合。事故、违法数据在传统架构里只是研判素材，到了这里就成了采样调度的输入差别因子，数据价值被复用到了算力分配层面。
动态轮巡频次调节：双向的算力回收
如果说动态采样是静态画像，轮巡调节就是动态修正。它包含两个方向。一个方向是对连续多个轮次均未出现异常的点位，自动降低轮巡频次。系统运行越久，越清楚哪些点位“值得看”。另一个方向是反向操作。对已发生预警的点位，在抑制间隔内（如交通拥堵预警后15分钟内）主动跳过。
理由是，拥堵这类持续性事件在短时间内不可能消除，重复轮巡只会产生重复告警、消耗无谓算力。跳过它们，释放的算力立即转向其他高风险点位。
检测系统的价值从来不在看得多，在看得对。对已确认事件的重复确认，纯属浪费。
多进程抢单式调度：让算力自己找活干
后端采用多进程并行加任务队列架构。调度器基于维护全局摄像头任务池，工作进程以“抢单式”领取任务，处理完当前点位立即请求下一未处理点位，实现负载自均衡，避免单进程串行瓶颈。每个工作进程独立加载全部模型，进程间相互隔离。在多GPU环境下，系统自动监测各板卡负载，实时调整推理进程的分配，避免单卡过载而其他闲置。
这套设计不需要中心节点做精细规划。工作进程抢任务，抢着抢着全局就均衡了，整体负载分布接近最优。
帧质量评估与智能预热：不让坏帧浪费一次推理
视频流接入环节同样有讲究。RTSP拉流初始阶段常出现缺陷帧，模糊、偏色、垂直条纹都有可能。这些帧进入推理管线，只会产生误报或无效结果，却消耗与其他帧相同的算力。模型自研帧质量综合评估机制，通过拉普拉斯清晰度、色彩平衡、垂直条纹检测三个维度对每帧打分，缺陷帧直接剔除。配套智能预热机制，在连续稳定帧达标后提前结束预热，不等满固定轮次。同时具备连接超时重连、连续失败点位封禁、进程故障自愈等机制，保障7×24小时稳定运行。
到这里，进入推理管线的帧已经是经过筛选、确认值得认真算的帧。
分级推理的思想并不新鲜，级联分类器“由简到繁、逐级过滤”就是经典算法思路。难的是把这一思想落到交通视频场景的具体约束里。
一级漏斗：单主干多分支，一次推理多个答案
每一帧画面进入AI分析层后，首先由一级轻量分类分割模型在毫秒级完成判断，约95%的无异常画面在此被直接过滤，不进入后续分析步骤。
二级漏斗：多类型的场景复核
仅当一级判定画面异常时，才进入二级。二级采用的场景复核模型可针对分割区域内做目标检测复核和事件场景复核。这一级的关键在复核逻辑。以拥堵场景为例，二级不对全画面做目标检测，分三步走。第一步，取一级输出的分割掩码，此时模型已经知道拥堵发生在这个区域。第二步，对掩码覆盖区域调用目标检测模型做车辆计数与排队形态校验，只统计拥堵区域内的车辆，全画面误计被天然排除。第三步，车辆数达到配置阈值且符合排队特征，才确认拥堵事件有效，否则按误报释放。
一级的分割输出直接约束了二级的检测范围。两个模型并非并列关系，前者的输出成为后者的输入条件。这种级联复用一举两得，工程上省掉了在无关区域检测目标的计算，逻辑上避开了把无关目标误判为事件的风险。
同时系统设有高置信度直通机制。一级分割置信度超过直报阈值（如0.95）时，直接输出预警，跳过复核校验。高置信的异常画面不必等复核，这也是一种按需，只是方向相反，省掉的是确定情况下的冗余复核。
三级漏斗：多模态模型只看疑难帧，且受前两级约束
仅对极少数疑难帧（如事故形态复杂、需进一步研判的场景），调用经过交通实况场景样本微调的LFM2.5-VL-1.6B多模态模型做深度语义解析，输出事件类型、内容描述、涉及车辆数、对交通流影响等结构化JSON描述。多模态模型在这里的角色定位很克制，它不当主力，只当终审。调用受双重约束。一重是入口约束。只有前两级确认的疑似事故帧才会被送入，16亿参数量的模型不会为任何一帧顺路运行，它的每一次推理都有明确的触发条件。另一重是出口约束。LFM2.5的判定要与前两级结果做比对，当前两级判定为事故而多模态判定为normal时，告警自动过滤。
这就形成了一个闭合的校验结构。轻量模型筛选重模型的输入，重模型的输出又被轻量模型的结果反向校验。前两级初筛，多模态终审，精度兜底与算力节约两头都占了，前提是每种模型只做它最擅长的事。
三级模型依赖大量标注数据，"连瞳"累计自采标注交通场景样本约17万张。这个量级的样本，人工逐帧标注成本极高，且交通监控视角下小目标密集，漏标几乎不可避免。开发团队自研了双模型融合自动标注流水线，其设计同样体现了按需分工的思想。以COCO体系的检测模型负责大/中目标检测，以VisDrone体系的检测模型（1920高分辨率输入）负责小/远目标检测。两个模型独立检测同一帧后，按类别对检测框做IoU去重合并，重叠框保留置信度更高者，类别体系统一映射至VisDrone 10类。
当前的技术现实是，没有任何单一检测模型能同时兼顾大小目标。与其苦练一个全能模型，不如让两个各有所长的模型互补，再用规则合并。合并结果自动导出为YOLO格式标注，同时生成可视化图片供人工抽检修正，形成机器预标注+人工复核的闭环。这条流水线真正改变的是成本结构。机器干粗活，人只做抽检，17万张样本的标注成本，被压缩到人工逐帧标注的一小部分。
误报是视频事件分析落地过程中最消耗人力的环节。每一条误报告警，都对应一次民警的无效复核。“连瞳”对此的处理分两层。
后端：多帧连续跟踪，四重验证
针对交通事故类事件，事故分割模型首次检出后并不直接报警，而是对视频帧进行多帧连续跟踪，综合判断事故场景是否持续出现。
具体包含四重验证：连续帧验证，在滑动时间窗口内统计位置一致的连续命中次数，达到设定匹配数（如窗口40帧内命中30次）才确认，规避单帧误检；位置相似度验证，组合IoU与中心点距离的加权相似度，判断前后帧目标是否落在同一位置；相邻帧位移验证，若相邻帧检测框IoU过低，说明目标在运动，大概率非静止事故，予以过滤；静止验证，以初始检测框位置为固定参考点，比较当前帧与初始帧的像素变化率。静止事故位置差异小，运动目标离开后差异大，据此甄别真实静止事故。
四重验证不是简单的并列叠加。单帧噪声、目标漂移、运动目标误判、瞬时干扰，每道验证对准一类错误模式，凑在一起才是一套完整的误报防线。
前端：特征库比对，让误报自我积累、自我抑制
前端部署轻量特征提取器，去掉分类头，复用主干网络与全局平均池化，将报警截图映射为固定维度的特征向量，与历史误报特征库逐条计算余弦相似度，最大相似度超过阈值即判定为疑似误报，自动抑制推送。这套机制的闭环方向值得一提。每一条被民警确认的误报，其图像特征都会存入误报特征库。库越丰富，同类误报被拦截的概率越高，误报本身成了抑制误报的训练数据。面对春节亮化等极端视觉干扰场景，智能体结合特征屏蔽、动态阈值调整、模型增量训练与多模态模型微调的三级调优策略，实现点位同类误报屏蔽率超90%。
经过这层层削减，模型综合识别准确率达95%以上，系统整体误报率控制在5%以内，前端抑制后最终误报率降至3%以内。
以上所有机制的末端，是一个统一的数据出口，民警复核。
每一条告警都经民警确认或驳回。确认的告警成为正样本，驳回的误报进入误报特征库并触发调优。复核结果自动回流，驱动特征屏蔽、动态阈值调整、模型增量训练与多模态模型微调。
系统的精度不是交付那天就定格的，越用越高。点位风险画像越用越准，采样调度越来越贴合实际风险分布，误报特征库越滚越大，每一重做减法的机制都因数据回流而越减越精准。
智能体自2025年2月正式上线，经历三次重大版本迭代，已在大连支队指挥中心、庄河大队等单位部署运行，并且纳入辽宁省公安科技信息化统筹建设推广项目。系统累计接入各类监控摄像头1500余路，覆盖6个区县、6个交警大队管辖区域、城市主干道路750公里。平均事件检出速度在1.2秒以内。大连主城区日均主动发现交通事故、拥堵等各类交通异常事件150余起。平峰时段节约80%的视频巡控警力，硬件成本较传统商用方案降低90%以上。
回看“连瞳”的技术路径，所谓巧，说到底就是算力怎么分。采样端按风险和时间分配算力，推理端看画面异常概率决定用轻模型还是重模型，告警端针对误报成因安排验证，闭环端跟着复核结果调优。每一处减法都没有以牺牲质量为代价，剔掉的是原本就不必要的计算。
对基层交管部门而言，这套系统的价值超出技术本身，它是一次向科技要警力的基层实践。民警从人工轮巡屏幕的重复劳动中解放出来，警力得以投向路面处置与疑难研判。对高价商用方案和外部开发团队的依赖也松开了，前端直接复用现有监控摄像头，后端利旧闲置服务器，软件由民警自主研发，硬件投入近乎为零，技术路线自主可控、可持续迭代。
当行业的注意力集中在更大的模型与更多的算力时，这套由基层交管部门自主研发的系统提供了一个朴素的反证：在算力与预算的双重约束下，体系化的架构设计同样能够抵达城域级实时感知的目标。力与巧并非对立的两端，只是不同约束条件下的两种选择。
作者：大连市公安局交通管理支队
未经许可，任何人不得复制、转载、或以其他方式使用本网站的内容。如发现本站文章存在版权问题，烦请提供版权疑问、身份证明、版权证明等材料，与我们联系，我们将及时沟通与处理。
好文章，需要你的鼓励
大连公安交管支队
特邀作者