明(míng)景視(shì)頻(pín)結構化分析系統

• 2018/01/16

一(yī)、視(shì)頻(pín)結構化的定義

原始的視(shì)頻(pín)實際上(shàng)是一(yī)種非結構化的數(shù)據，其中的目标隻能(néng)直觀的觀看(kàn)，不能(néng)直接被計算機讀取和(hé)識别。視(shì)頻(pín)結構化就是将視(shì)頻(pín)這(zhè)種非結構化的數(shù)據中的目标貼上(shàng)相對應的标簽，變為(wèi)可(kě)通(tōng)過某種條件進行(xíng)搜索的結構化數(shù)據。視(shì)頻(pín)結構化的叫法有很(hěn)多，如(rú)視(shì)頻(pín)目标屬性解析、車輛結構化、行(xíng)人(rén)結構化、 騎行(xíng)結構化、人(rén)臉結構化、視(shì)頻(pín)矢量分析、視(shì)頻(pín)智能(néng)分析、視(shì)頻(pín)內(nèi)容檢索分析、視(shì)頻(pín)內(nèi)容語義分析、視(shì)頻(pín)機器學習應用等。

二、視(shì)頻(pín)結構化的發展

視(shì)頻(pín)智能(néng)處理經過了(le)三個階段，第一(yī)階段是單兵(bīng)設備，第二階段是視(shì)頻(pín)分布式處理，第三階段就是視(shì)頻(pín)結構化。前兩階段的特點是視(shì)頻(pín)分析跟業務是耦合的，這(zhè)在視(shì)頻(pín)量小、業務相對簡單時(shí)是适合的，但(dàn)難以滿足海(hǎi)量視(shì)頻(pín)分析和(hé)日益複雜(zá)的業務需求。随着視(shì)頻(pín)大數(shù)據時(shí)代的到來，需要(yào)一(yī)種解決方案，将視(shì)頻(pín)智能(néng)分析與業務解耦，一(yī)個專注于海(hǎi)量視(shì)頻(pín)的智能(néng)分析，一(yī)個專注于大數(shù)據的分析處理和(hé)用戶的業務需求。

視(shì)頻(pín)結構化發展又分為(wèi)兩個階段：

第一(yī)階段是目标識别與軌迹提取：

l  采用目标檢測、特征提取、對象識别、深度學習等分析手段提取視(shì)頻(pín)圖像中的目标對象及運動軌迹。

l  對目标對象進行(xíng)分類為(wèi)人(rén)、車、物(wù)、行(xíng)為(wèi)、事件等不同類别。

将視(shì)頻(pín)進行(xíng)結構化分析,視(shì)頻(pín)會分析如(rú)下(xià)結果：

1）把目标做(zuò)人(rén)、車、物(wù)分類，生成快(kuài)照索引信息：

2）提取活動目标的軌迹信息

有了(le)如(rú)上(shàng)兩類結果之後我們就可(kě)以做(zuò)視(shì)頻(pín)的搜索應用了(le)。

1） 人(rén)、車、非機動車等分類搜索。

2） 軌迹搜索：

2.1)通(tōng)過目标運動軌迹進行(xíng)搜索：拌線、運動方向、運動區(qū)域等

2.2) 通(tōng)過主顔色搜索目标

2.3）支持輸入圖片，通(tōng)過目标外(wài)觀進行(xíng)相似度搜索

優點：

1） 多種搜索方式：類型搜索、軌迹搜索、顔色搜索、以圖搜圖。

2） 顔色矯正：克服不同攝像頭的偏色問(wèn)題

缺點：

所有廠商技術(shù)都(dōu)是基于模式識别為(wèi)基礎的。

第二階段是二次結構化：

l  進一(yī)步提取目标的高層特征包括目标顔色特征，分類特征，速度特征等，并把目标的軌迹信息以及高層特征形成高效的索引數(shù)據。

l  行(xíng)人(rén)、人(rén)騎車、機動車結構化。

       二次結構化可(kě)以說是有智的飛躍，在原有目标分類的基礎上(shàng)，可(kě)以做(zuò)更多的工(gōng)作(zuò)，支持的屬性更多，視(shì)頻(pín)搜過的召回率、準确率得到大大的提升，具體我們看(kàn)一(yī)下(xià)針對行(xíng)人(rén)、人(rén)騎車、機動車的結構化。

       行(xíng)人(rén)結構化：

人(rén)騎車結構化：

汽車結構化：

優點：

1）  算法全面基于深度學習，搜索性能(néng)顯著提升。

2）  可(kě)搜索的矢量特征值更多，從(cóng)而提高召回率、準确率。

缺點：

數(shù)據量的問(wèn)題，模型訓練樣本的數(shù)量。

三、視(shì)頻(pín)結構化視(shì)頻(pín)源的要(yào)求

       3.1、天網、智慧城市、雪亮工(gōng)程、3111工(gōng)程等架設的攝像頭都(dōu)沒有問(wèn)題，如(rú)自(zì)已架設攝像頭宜距地(dì)面3.5-5m，最大俯視(shì)角度不超過15度。

3.1、結構化視(shì)頻(pín)目标像素要(yào)求：

四、北京明(míng)景視(shì)頻(pín)結構化服務器

北京明(míng)景科技有限公司成立于2013年(nián)，注冊資金(jīn)2000萬元，總部位于北京中關村(cūn)腹地(dì)，是國(guó)家高新技術(shù)企業、中關村(cūn)高新技術(shù)企業。

核心團隊在視(shì)頻(pín)智能(néng)分析、視(shì)頻(pín)搜索、大數(shù)據處理領域具有10年(nián)研發經驗積累，具有自(zì)主知識産權，有公安部檢測報告，20多項專利和(hé)軟件著作(zuò)權。

核心團隊成員(yuán)均具備該領域的碩士或博士學曆，來自(zì)于清華大學、北京大學、東南大學和(hé)中科院等科研院所，具有深厚的技術(shù)底蘊，與中科院、清華大學、北京大學等院校也保持長(cháng)期良好合作(zuò)以及與公安部第一(yī)研究所（一(yī)所）長(cháng)期技術(shù)合作(zuò)。

核心團隊共事近10年(nián)，長(cháng)期執着于視(shì)頻(pín)領域的技術(shù)創新和(hé)商業推廣，以“創新務實、厚積薄發”為(wèi)核心價值觀，堅信視(shì)頻(pín)大數(shù)據智能(néng)科技将在安防、人(rén)工(gōng)智能(néng)、無人(rén)機、機器人(rén)等領域發揮推動社會進步的作(zuò)用。

明(míng)景科技專門做(zuò)視(shì)頻(pín)圖像處理的，涉及的産品有兩個系列：

視(shì)頻(pín)偵查系列産品：視(shì)頻(pín)智能(néng)摘要(yào)檢索系統、視(shì)頻(pín)圖像增強處理系統、視(shì)頻(pín)快(kuài)速采集下(xià)載系統、視(shì)頻(pín)勘察箱、視(shì)頻(pín)結構化服務器。

車輛大數(shù)據系列産品：車輛大數(shù)據分析檢索系統、車輛大數(shù)據結構化分析系統、未系安全帶檢測系統。

       在視(shì)頻(pín)圖像增強處理這(zhè)塊，舉幾個簡單的例子：

夜晚增強

去霧

低(dī)照度增強

去運動模糊

言歸正傳，分結構化能(néng)力、應用實例、部署方式、産品形态四個方面講一(yī)下(xià)他(tā)們的結構化産品：

其一(yī)、結構化能(néng)力

       行(xíng)人(rén)結構化：

1)    上(shàng)身衣着類型（馬甲吊帶背心、襯衫、西(xī)服、毛衣、皮衣夾克、羽絨服、大衣風(fēng)衣、外(wài)套、連衣裙、無上(shàng)衣等）

2)    上(shàng)身衣着顔色（黑(hēi)、白、紅(hóng)、黃(huáng)、藍(lán)、綠(lǜ)、紫、棕、灰、橙、多色等）

3)    下(xià)身衣着類型（長(cháng)褲、短褲、長(cháng)裙、短裙、連衣裙等）

4)    下(xià)身衣着顔色（黑(hēi)、白、紅(hóng)、黃(huáng)、藍(lán)、綠(lǜ)、紫、棕、灰、橙、多色等）

5)    鞋子類型（光(guāng)腳、皮鞋、運動鞋、靴子、涼鞋等）

6)    鞋子顔色（黑(hēi)、白、紅(hóng)、黃(huáng)、藍(lán)、綠(lǜ)、紫、棕、灰、橙、多色等）

7)    攜帶包類型（單肩包、雙肩包、拉杆箱、錢(qián)包等）

8)    攜帶包顔色（黑(hēi)、白、紅(hóng)、黃(huáng)、藍(lán)、綠(lǜ)、紫、棕、灰、橙、多色等）

9)    發型特征（長(cháng)發、短發、光(guāng)頭、帽子等）

10) 頭部顔色（黑(hēi)、白、紅(hóng)、黃(huáng)、藍(lán)、綠(lǜ)、紫、棕、灰、橙、多色等）

11) 衣服紋理（純色、碎花、條紋、格子等）

12) 性别（男(nán)、女(nǚ)等）

13) 體态（胖、瘦、中）

14) 種族（漢族、維族、黑(hēi)人(rén)、白人(rén)等）

15) 年(nián)齡段（幼兒、兒童、青年(nián)、中年(nián)、老(lǎo)年(nián)等）

16) 攜帶物(wù)（打傘、抱小孩、拿(ná)手機、眼鏡、墨鏡、圍巾、腰帶、無攜帶物(wù)等）

17) 朝向（正面、背面、側面）

汽車結構化：

1)    車牌号碼

2)    車牌顔色

3)    車身顔色

4)    車型

5)    品牌

6)    子品牌

7)    年(nián)款

8)    特征物(wù)(年(nián)檢标、紙(zhǐ)巾盒、遮陽闆、挂件、擺件、主駕安全帶、副駕安全帶、打手機)

9)    運動方向

10) 運動距離

11) 經過時(shí)間(jiān)

12) 經過地(dì)點

13) 目标大小

14) 目标快(kuài)照(原始分辨率)

人(rén)騎車結構化：

1)    上(shàng)身衣着類型（T恤、馬甲吊帶背心、襯衫、西(xī)服、毛衣、皮衣夾克、羽絨服、大衣風(fēng)衣、外(wài)套、連衣裙、無上(shàng)衣等），

2)    上(shàng)身衣着顔色（黑(hēi)、白、紅(hóng)、黃(huáng)、藍(lán)、綠(lǜ)、紫、棕、灰、橙、多色等），

3)    下(xià)身衣着類型（長(cháng)褲、短褲、長(cháng)裙、短裙、連衣裙等），

4)    下(xià)身衣着顔色（黑(hēi)、白、紅(hóng)、黃(huáng)、藍(lán)、綠(lǜ)、紫、棕、灰、橙、多色等），

5)    攜帶包類型（單肩包、雙肩包、無包、錢(qián)包等），

6)    攜帶包顔色（黑(hēi)、白、紅(hóng)、黃(huáng)、藍(lán)、綠(lǜ)、紫、棕、灰、橙、多色等），

7)    發型特征（長(cháng)發、短發、光(guāng)頭、帽子、頭盔等），

8)    衣服紋理（純色、碎花、條紋、格子等），

9)    性别（男(nán)、女(nǚ)等），

10) 體态（胖、瘦、中），

11) 種族（漢族、維族、黑(hēi)人(rén)、白人(rén)等），

12) 年(nián)齡段（幼兒、兒童、青年(nián)、中年(nián)、老(lǎo)年(nián)等），

13) 眼部特征（正常眼睛、眼鏡、墨鏡等），

14) 嘴部特征（正常嘴，戴口罩等）圍巾特征（普通(tōng)圍巾、包頭圍巾等），

15) 非機動車顔色（黑(hēi)、白、紅(hóng)、黃(huáng)、藍(lán)、綠(lǜ)、紫、棕、灰、橙、多色、銀(yín)等）

16) 朝向（正面、背面、側面），

17) 車上(shàng)人(rén)數(shù)（0、1、2、更多），

18) 是否打傘，

19) 是否攜帶物(wù)品。

其二、應用實例

視(shì)頻(pín)數(shù)據接入：

u  離線視(shì)頻(pín)文件導入

?  支持的廠商：兼容主流廠家的視(shì)頻(pín)文件下(xià)載（如(rú)海(hǎi)康、大華、宇視(shì)、華為(wèi)/華賽、漢邦、天地(dì)偉業、中興力維、科達、恒憶、英飛拓、東方網力、金(jīn)鵬、浙江立元、 武漢烽火(huǒ)、上(shàng)海(hǎi)皓維、同尊、蘇州皓泰、蘇州中德宏泰、中維世紀、金(jīn)三立、大立、安聯銳視(shì)、索尼、藍(lán)色星際等）

?  支持的視(shì)頻(pín)格式：h264、264、mp4、mpg、asf、avi、flv、wmv、mpeg、3gp、rm、rmvb、hik、dav、dvr、ts、h3crd、h3cv3、sdv、zv、znv、kdm4、ifv、mbf、jwr、avx、nsf、dat、mkv、avd、ps、KSJF、HE4、sv4、sv5、rec、m4v、hav、zmp5、600、692、801、ifv、lvf、vas、hdvr、dav、jav、eye、mov、dh、snv、bsr、msv、dvf等

?  支持原格式導入、轉碼後導入兩種方式

u  實時(shí)視(shì)頻(pín)流接入

?  支持rtsp協議(yì)視(shì)頻(pín)流接入

?  支持IPC、NVR、DVR設備實時(shí)流接入

智能(néng)分析：

智能(néng)搜索：

u  智能(néng)搜索功能(néng)

?  軌迹搜索：感興趣區(qū)域、拌線、進入駐留、行(xíng)進方向、離開(kāi)區(qū)域、不感興趣區(qū)域、運動距離

?  時(shí)間(jiān)搜索

?  目标分類搜索：人(rén)、機動車、人(rén)騎車、其他(tā)

?  特征搜索：人(rén)、機動車、人(rén)騎車的屬性特征

?  外(wài)觀條件搜索：主要(yào)顔色、顔色組合、屏幕取色、目标大小

?  以圖搜索

u  智能(néng)結果顯示功能(néng)

?  排序方式：按時(shí)間(jiān)、相似度排序

?  顯示類型：僅顯示目标、目标和(hé)軌迹

智能(néng)播放器：

u  智能(néng)播放器功能(néng)

?  播放、暫停、倒放、前一(yī)幀、後一(yī)幀、快(kuài)進、慢(màn)放、片斷循環播放、書(shū)簽、片斷截取、物(wù)标、校時(shí)、變速播放、跳(tiào)躍播放

?  快(kuài)照與原始視(shì)頻(pín)關聯跳(tiào)轉

電子地(dì)圖：

u  電子地(dì)圖功能(néng)

?  添加攝像頭、點标記、路線、案發地(dì)點、消失地(dì)點、計算移動區(qū)域、計算終點時(shí)間(jiān)、計算移動速度、上(shàng)下(xià)車地(dì)點等。

多任務并行(xíng)處理：

?  結構化設備管理

?  結構化任務管理

?  CPU占用率、內(nèi)存占用率、磁盤空間(jiān)等的監控

其三、部署方式

實時(shí)視(shì)頻(pín)流結構化分析，系統基于結構化分析結果進行(xíng)告警、檢索和(hé)挖掘

離線視(shì)頻(pín)文件上(shàng)傳結構化分析，系統基于分析結果進行(xíng)大數(shù)據分析、檢索

其四、産品形态

主要(yào)有兩種，一(yī)種是成套産品，包括單機版和(hé)服務器版。另外(wài)一(yī)種是對外(wài)提供SDK的方式，值得一(yī)提的是sdk的接口特别全，集成起來比較簡單。