視(shì)頻(pín)摘要(yào)、視(shì)頻(pín)檢索和(hé)人(rén)臉識别

• 2020/10/19

成千上(shàng)萬的監控攝像頭晝夜不停地(dì)錄像，制造出海(hǎi)量的視(shì)頻(pín)文件。從(cóng)如(rú)此巨大的視(shì)頻(pín)文件集中發現重要(yào)事件是非常困難的，即使是一(yī)段已知有事件發生的視(shì)頻(pín)錄像。

如(rú)今有三種方法解決這(zhè)一(yī)問(wèn)題：

1.生成一(yī)個簡短的視(shì)頻(pín)概要(yào)，例如(rú)将單個攝像頭攝制24小時(shí)的視(shì)頻(pín)壓縮成幾分鐘(zhōng)，同時(shí)保留活動細節，以方便用戶快(kuài)速浏覽。明(míng)景科技已經開(kāi)發出一(yī)個基于目标跟蹤技術(shù)的視(shì)頻(pín)摘要(yào)系統。

“視(shì)頻(pín)摘要(yào)”是指從(cóng)原始視(shì)頻(pín)中提取感興趣的目标的活動信息，和(hé)背景視(shì)頻(pín)縫合剪輯而成的較短視(shì)頻(pín)片斷，可(kě)以用短小精悍，信息全面來描述它。視(shì)頻(pín)摘要(yào)可(kě)以采用原始視(shì)頻(pín)分辨率，也可(kě)以根據存儲要(yào)求降低(dī)分辨率。

2.通(tōng)過攝像頭網絡或視(shì)頻(pín)文件集進行(xíng)嫌疑目标或事件的跟蹤查詢。

3.人(rén)臉識别技術(shù)，進行(xíng)重要(yào)場所視(shì)頻(pín)監控目标篩查。

視(shì)頻(pín)摘要(yào)

如(rú)今，越來越多的監控攝像頭安裝在我們身邊。随着電腦速度的提升，磁盤容量的增大和(hé)因特網的廣泛使用，這(zhè)些設備每天生成了(le)成千上(shàng)萬的數(shù)據。因此，從(cóng)這(zhè)些海(hǎi)量的數(shù)據中找到重要(yào)事件就變得異常困難。所以，找出一(yī)種方法去壓縮視(shì)頻(pín)，甚至自(zì)動地(dì)搜索整個文件集就尤為(wèi)緊迫。

由于視(shì)頻(pín)浏覽和(hé)檢索很(hěn)耗時(shí)，大多數(shù)取得的視(shì)頻(pín)并不會被觀看(kàn)和(hé)檢查，視(shì)頻(pín)摘要(yào)就成了(le)一(yī)種浏覽檢索視(shì)頻(pín)的有效工(gōng)具。它将生成一(yī)個簡短的視(shì)頻(pín)，其中包含了(le)原視(shì)頻(pín)中所有重要(yào)的活動。視(shì)頻(pín)通(tōng)過同時(shí)播放多個事件，哪怕是在原視(shì)頻(pín)中不同時(shí)間(jiān)發生的，将整個視(shì)頻(pín)被壓縮成一(yī)個簡短的事件摘要(yào)。這(zhè)個摘要(yào)同時(shí)也是原視(shì)頻(pín)文件的一(yī)個索引，可(kě)以找到每一(yī)個事件發生的真實時(shí)間(jiān)。這(zhè)一(yī)技術(shù)主要(yào)通(tōng)過對視(shì)頻(pín)重排序來摘要(yào)和(hé)檢索，對監控攝像頭和(hé)網絡攝像機是很(hěn)有益處的。

上(shàng)述視(shì)頻(pín)摘要(yào)技術(shù)可(kě)以用于單個攝像頭拍攝的視(shì)頻(pín)。對于跨攝像機網絡，由于存在每一(yī)個攝像機視(shì)角的不同，光(guāng)線變化，目标姿态的變化以及可(kě)能(néng)存在遮擋的情況，對于跨攝像機視(shì)頻(pín)對象的跟蹤，查找甚至重新确認定位，具有很(hěn)大的挑戰。

1.視(shì)頻(pín)濃縮供快(kuài)速檢索：透過智能(néng)視(shì)頻(pín)分析，實現将某個攝像機一(yī)天的錄像壓縮到1小時(shí)甚至數(shù)分鐘(zhōng)以內(nèi)，同時(shí)保留人(rén)/車輛或感興趣目标的活動細節。在視(shì)頻(pín)摘要(yào)中，對于人(rén)或車輛目标，顯示目标出現的時(shí)間(jiān)，并且支持用戶通(tōng)過點擊目标，播放目标出現前後的原始視(shì)頻(pín)。

2.節省存儲硬盤空間(jiān)，數(shù)字攝像機産生的壓縮視(shì)頻(pín)按100:10:1的比例存儲：為(wèi)了(le)節省海(hǎi)量視(shì)頻(pín)的存儲空間(jiān)，同時(shí)适度保存曆史錄像，對于高清攝像機産生的視(shì)頻(pín)文件，按照100:10:1的大緻比例進行(xíng)濃縮存儲，即基本時(shí)間(jiān)長(cháng)度範圍內(nèi)（如(rú)最近一(yī)個月）的視(shì)頻(pín)，按原始分辨率保存原始壓縮視(shì)頻(pín)（100），超過基本時(shí)間(jiān)長(cháng)度（如(rú)一(yī)個月到3個月）的視(shì)頻(pín)，隻保存濃縮的摘要(yào)視(shì)頻(pín)（10），超過最大時(shí)間(jiān)長(cháng)度（如(rú)三個月以前）的視(shì)頻(pín)，可(kě)以考慮保存轉碼壓縮的摘要(yào)視(shì)頻(pín)（1）。基本時(shí)間(jiān)長(cháng)度和(hé)最大時(shí)間(jiān)長(cháng)度可(kě)以由用戶指定。這(zhè)是一(yī)種全新的智能(néng)轉碼技術(shù)，可(kě)以廣泛用于3G媒體網關，給用戶提供短小精煉的監控視(shì)頻(pín)摘要(yào)，既節省帶寬，又不會對移動終端的處理能(néng)力有過高的要(yào)求。

3.優化高清IP攝像機的動态碼流設計。利用背景分析和(hé)前景提取技術(shù)，可(kě)以在攝像機側實現分辨率和(hé)碼率動态調整，對于沒有前景活動的幀，可(kě)以采用比較小的分辨率，比較低(dī)的碼率，從(cóng)而節省傳輸帶寬。

明(míng)景視(shì)頻(pín)摘要(yào)系統

視(shì)頻(pín)檢索

在對視(shì)頻(pín)摘要(yào)進行(xíng)快(kuài)速浏覽以後，用戶就可(kě)以找到一(yī)些有用的線索。如(rú)果在視(shì)頻(pín)中發現了(le)一(yī)些感興趣的東西(xī)，我們還可(kě)以在更多的視(shì)頻(pín)文件中搜索和(hé)檢查。

因此，我們需要(yào)一(yī)個視(shì)頻(pín)檢索的系統去做(zuò)這(zhè)項工(gōng)作(zuò)。首先，它會使用一(yī)種有效的運動分割方法提取出運動的物(wù)體。而後，這(zhè)些運動物(wù)體的基本特征就會被提取出來，并且編入數(shù)據庫。在整個的檢索過程中，系統會将請(qǐng)求比對數(shù)據庫中已經索引好的特征，而不用重新處理視(shì)頻(pín)。最後，擁有足夠高相關度的視(shì)頻(pín)片斷将被作(zuò)為(wèi)結果顯示出來。大緻可(kě)分為(wèi)以下(xià)兩個部分：

1、一(yī)個通(tōng)過快(kuài)速運動目标分割所實現的實時(shí)自(zì)動檢索方法，這(zhè)樣系統就可(kě)以實時(shí)對視(shì)頻(pín)源進行(xíng)排序；

2、一(yī)個基于目标的檢索系統，包含基礎特征比對的方法。這(zhè)樣就可(kě)以使得用戶通(tōng)過提供一(yī)幅樣照或素描圖指定請(qǐng)求。

通(tōng)過這(zhè)種技術(shù)，以下(xià)的請(qǐng)求模式就可(kě)以實現：

1、事例查詢

具體來說，是一(yī)些分割出來的圖片（例如(rú)，視(shì)頻(pín)中的一(yī)個人(rén)/一(yī)輛車）。

2、基本屬性查詢

對于一(yī)個人(rén)，我們可(kě)以查詢身高，衣服的顔色（如(rú)果夠解析度，甚者可(kě)以區(qū)分上(shàng)下(xià)衣的顔色），頭發顔色，發型，是否戴帽子或是眼鏡。

對于車輛，我們可(kě)以查詢大小、商标、主色、車型（例如(rú)，汽車、吉普車、出租車）。

對于運動路徑，我們可(kě)以通(tōng)過速度，運動方向，位置，進出時(shí)間(jiān)或者行(xíng)走方式來查詢。

基于內(nèi)容的視(shì)頻(pín)檢索功能(néng)使用了(le)下(xià)列技術(shù)：

a)移動物(wù)體的特征提取，例如(rú)目标的顔色，大小，速度，位置和(hé)軌迹；

b)事件監測後産生的事件描述作(zuò)為(wèi)檢索輸入；

c)從(cóng)視(shì)頻(pín)摘要(yào)獲得的線索作(zuò)為(wèi)輸入；

d)人(rén)車目标分類；

e)準确的背景和(hé)前景切割，以提供清晰的邊緣和(hé)背景；

f)利用用戶的經驗和(hé)直覺提高檢索準确率；

g)提取所有有用信息存入數(shù)據庫，而不是視(shì)頻(pín)文件本身，這(zhè)樣可(kě)以節省很(hěn)多空間(jiān)，同時(shí)也節約人(rén)力成本。

明(míng)景視(shì)頻(pín)檢索系統

人(rén)臉識别

人(rén)臉識别有兩種典型的監控應用情況，固定攝像機采集的監控視(shì)頻(pín)中提取人(rén)臉和(hé)移動監控設備拍攝人(rén)臉。通(tōng)常來說，固定安裝的攝像機可(kě)以拍攝視(shì)頻(pín)，從(cóng)中提取人(rén)臉，移動設備用戶可(kě)以在現場通(tōng)過攝像頭捕獲目标的相片。移動設備能(néng)儲存少(shǎo)數(shù)目标人(rén)員(yuán)的相片，移動設備比較獲得的相片和(hé)儲存的相片以識别重要(yào)嫌疑犯。

固定安裝IP攝像機獲取的截圖或照片通(tōng)常隻有較低(dī)的質量，并且由于拍攝場景的不确定，其中的光(guāng)照以及人(rén)物(wù)的姿勢也是不确定的。與此相反，移動終端設備可(kě)以應用到不同的情境中，照片可(kě)以在一(yī)個可(kě)控的環境中取得。上(shàng)述獲取的截圖或照片可(kě)回傳給服務器端，與數(shù)據庫中大量的相片進行(xíng)比對。

照片比對的第一(yī)步是提取有效的臉部特征。選擇什麽樣的特征作(zuò)比對是關鍵，由于人(rén)員(yuán)姿态表情的變化，拍攝環境光(guāng)照條件以及帽子墨鏡遮擋等的影響，選擇有效的特征是一(yī)件挑戰性的工(gōng)作(zuò)。為(wèi)了(le)解決這(zhè)些難題，可(kě)以使用一(yī)個基于學習的編碼方法，用以提取臉部特征，從(cóng)而進行(xíng)識别。這(zhè)一(yī)方法使用了(le)自(zì)主學習的方法對臉的局部微(wēi)結構進行(xíng)編碼。這(zhè)樣學得的碼流比現有的手工(gōng)編碼的方法具有更好的識别能(néng)力和(hé)穩定性。同時(shí)，壓縮效果也非常好。

明(míng)景人(rén)臉識别系統