海量数据处理技术在智能交通领域应用

一、引言

伴随着经济增长和城市化进程的加快，新的城市交通基础设施不断兴建，车流量快速增长，相应的智能交通综合系统也需一再扩容。在监控系统越来越庞大、监控信息越来越多的情况下，单纯依赖有限的交管人力资源或是在原有的系统基础之上做扩充来实现，几乎是不可能的事情。为了应对当前经济迅速增长和城市化进程加快过程中所凸显出的道路拥堵、交通事故频发、突发案件增多等状况，借助于更便捷、更智能的科技手段，来加强安全防范和交通管理就显得至关重要。

二、交通领域引进海量数据处理技术

针对交通行业的海量数据处理需求，智能交通管理系统可以在海量数据、恶劣网络环境和复杂业务处理情况下，实现大量图片、车辆数据、视频数据的时时网络传输和快速持久化存储，同时对任意站点的图像进行显示，对任意站点的视频进行流畅播放、实时进行比对报警，快速进行多条件检索，并且将各类多媒体数据和车辆数据合二为一。系统实现对目前的城市道路交通中异常行为的智能识别和自动报警等，从而减轻了交管监控人员的工作负担，提高了监测的准确度，使得交通管理工作更高效。

三、系统设计应用

1、总体设计及其优点

充分发挥了前端摄像机的潜力，同时通过提高传统以太网的使用效率，实现了前端摄像机的功能多样化，同时提高了大量并发的视频和图片数据的传输和存储效率。

(1)提高前端设备在线率，通过改进前端设备的硬件软件，提高了设备的可靠性，丰富前端设备的功能，前端摄像机除了具备视频采集功能外，具备了车辆号牌识别，车型识别，车辆颜色识别，车辆超速检测，视频和图片长时间存储的功能。

(2)提高网络传输的效率，解决网络传输瓶颈，传统的以太网存在网络带宽利用率低的弊病，通过改进，使的网络传输发生了本质的提升，保证时时的视频和图片传输，避免交通高峰期带来的信息堆积和网络阻塞问题。

(3)使用分布式数据存储，增加存储容量，提高存储性能，通过使用分布式存储，加快了存储的速度，有效避免了存储瓶颈带来的存储压力，配合快速的网络传输，实现了数据的最短时间持久化。

(4)平台数据分流，使用分布式的存储理念和分布式数据库，加快数据库的反应速度，避免了海量数据过度集中带来的一系列数据库问题。提高后端各个服务的反应速度，进而提升了整体平台的反应速度和用户的使用体验。

交通监控大数据处理方案优点：

(1)通过有效提高前端设备的各方面性能，增加更多的识别功能，增加数据库记录功能，实际上有效降低了用户的采购成本，一个设备实现了多项功能，有效降低了平台的数量，降低了一系列的采购、维护、运行和后续的成本。

(2)通过提高现有网络设备的传输效率，在现有网络上实现快速传输，解决网络瓶颈，能够带来更加快速的应用体验，提高整体基础数据的服务质量。

(3) 通过使用分布式存储代替现有的中心节点存储，分散存储压力，分散了数据风险，带来的优势是延长了数据的保存时间，减小了数据丢失的风险，提高了每一个关键数据的访问速度。

(4)通过使用新的数据库Hbase1和嵌入式数据库SDB，通过分布式数据库，分流平台数据，提高数据库系统的性能，同时也提高了所有应用的服务质量，提供给用户更加快捷的应用体验，提高工作效率和服务水准。

2、应用实现

(1)增加前端设备的功能提高前端设备稳定性。

由普清到高清的转变过程中，大数据量的存储是智能交通行业普遍面临的难题。博瑞凯诚最新研制推出的新一代嵌入式高清智能相机，采用一体化设计模式，在每一个相机里面配置1T硬盘，用于存储数据。前端机配置大硬盘解决存储问题，不仅保证了数据的安全性同时保证了数据调取的高效性。

(2)在网络传输算法中使用基于DNA包的网络传输算法解决网络瓶颈。

基于DNA包的网络传输算法的优势：解决了基于传统网络带宽占用(利用率)低的问题。传统TCP采用了反复连接、慢启动、动态滑动窗口、定时重传、拥塞控制等技术以确保数据的可靠传输，但却严重降低了带宽的利用率和传输效率。对此，提出了基于DNA包传输算法，采用先进的传输机制，极大地提高了网络带宽利用率和传输效率。

3、交通监控大数据处理应用效果

(1)可以充分发挥一体机的作用，使一体机可以同时进行高速、高清视频采集，同时进行高清图片采集，实现快速的超速，逆行，闯红灯，非法转弯等多种违法识别，能够识别车牌，车辆类型，车辆颜色等多项指标，数据能够时时上传，一体机自身实现低功耗，低故障率，高稳定在线率。