視(shì)頻(pín)圖像結構化的研究

• 2020/04/13

視(shì)頻(pín)結構化是指根據視(shì)頻(pín)畫(huà)面中呈現出的人(rén)、車、物(wù)、顔色、數(shù)字及其他(tā)屬性特征，建立視(shì)頻(pín)大數(shù)據結構化平台。視(shì)頻(pín)被結構化後，存入相應的結構化數(shù)據倉庫，存儲的容量極大降低(dī)。

結構化系統可(kě)以從(cóng)海(hǎi)量資料庫中查找到某張截圖上(shàng)的嫌疑目标，有助于進行(xíng)社會治安監控的風(fēng)險評估和(hé)事件預警，并可(kě)通(tōng)過不同位置采集的監控資料，研判目标的行(xíng)為(wèi)過程。

作(zuò)為(wèi)安防大數(shù)據最為(wèi)重要(yào)的數(shù)據來源，視(shì)頻(pín)圖像實際上(shàng)是一(yī)種非結構化的數(shù)據，它不能(néng)直接被計算機讀取和(hé)識别，而在電商、輿情分析等目前大數(shù)據取得較好應用效果的領域，它們所産生的都(dōu)是結構化的數(shù)據，能(néng)夠直接利用計算機來進行(xíng)數(shù)據的分析和(hé)挖掘。因此，視(shì)頻(pín)圖像能(néng)否通(tōng)過智能(néng)分析技術(shù)經濟而又高效地(dì)進行(xíng)結構化處理，是視(shì)頻(pín)大數(shù)據在安防領域落地(dì)的關鍵。

視(shì)頻(pín)結構化，即視(shì)頻(pín)數(shù)據的結構化處理，就是通(tōng)過原始視(shì)頻(pín)進行(xíng)智能(néng)分析，提取出關鍵信息，并進行(xíng)文本的語義描述。一(yī)段視(shì)頻(pín)裏，需要(yào)提取的關鍵信息有哪些？目前來看(kàn)，主要(yào)有三類：第一(yī)類是運動目标的識别，也就是畫(huà)面中運動對象的識别，是人(rén)還是車；第二類是運動目标特征的識别，也就是畫(huà)面中運動的人(rén)、車、物(wù)有什麽特征，如(rú)果是人(rén)，是男(nán)人(rén)還是女(nǚ)人(rén)，有沒有戴眼鏡，穿什麽顔色的衣服，如(rú)果是車，車牌号号碼是多少(shǎo)，什麽顔色什麽車型等等；第三類是運動目标的軌迹分析，也就是畫(huà)面中人(rén)或車是左轉了(le)還是右轉了(le)或是徘徊了(le)等等。

所謂視(shì)頻(pín)數(shù)據的結構化處理，就是通(tōng)過對原始視(shì)頻(pín)進行(xíng)智能(néng)分析，提取出關鍵信息，并進行(xíng)文本的語義描述。一(yī)段視(shì)頻(pín)裏面，需要(yào)提取的關鍵信息有哪些？目前來看(kàn)，主要(yào)是有三類：第一(yī)類是運動目标的識别，也就是畫(huà)面中運動對象的識别，是人(rén)還是車；第二類是運動目标特征的識别，也就是畫(huà)面中運動的人(rén)、車、物(wù)有什麽特征，如(rú)果是人(rén)，是男(nán)人(rén)還是女(nǚ)人(rén)，有沒有戴眼鏡，穿什麽顔色的衣服，如(rú)果是車，車牌号碼多少(shǎo)，什麽顔色什麽車型等等；第三類是運動目标的軌迹分析，也就是畫(huà)面中人(rén)或車是左轉了(le)還是右轉了(le)或是徘徊了(le)等等。

事實上(shàng)，智能(néng)分析很(hěn)早就開(kāi)始應用于安防領域，不過受限于算法的成熟度和(hé)硬件性能(néng)，早期的智能(néng)分析更多的是依靠後端的智能(néng)服務器來實現，直到各類智能(néng)分析算法日漸成熟，同時(shí)前端硬件性能(néng)得到大幅提升，前端智能(néng)的趨勢才越來越明(míng)顯，各類智能(néng)攝像機也紛紛湧現。視(shì)頻(pín)圖像的結構化處理是依賴于智能(néng)分析算法，因此，視(shì)頻(pín)圖像結構化的處理方式也有兩種，一(yī)種是通(tōng)過具有感知能(néng)力的智能(néng)攝像機提取結構化數(shù)據，再将數(shù)據傳送到後端進行(xíng)存儲或是開(kāi)展深入分析，另一(yī)種是前端攝像機隻采集原始視(shì)頻(pín)，由後端的智能(néng)服務器來對原始視(shì)頻(pín)進行(xíng)智能(néng)分析，形成結構化數(shù)據。

從(cóng)實際表現來看(kàn)，上(shàng)述兩種結構化處理方式都(dōu)有自(zì)己的優勢，但(dàn)同時(shí)也各有劣勢。比如(rú)前端智能(néng)攝像機進行(xíng)結構化處理具有實時(shí)性的優勢，能(néng)夠減輕後端計算的壓力，但(dàn)是攝像機的硬件性能(néng)有限，無法實現複雜(zá)算法的運行(xíng)；後端的計算能(néng)力強大，能(néng)夠加載更多複雜(zá)算法，但(dàn)是後端智能(néng)無法做(zuò)到實時(shí)結構化，而且所有智能(néng)分析全部在後端實現，對後端計算資源的要(yào)求也會非常高。

随着芯片技術(shù)的不斷優化，前端處理能(néng)力不斷強大，将後端處理的壓力逐步向前端轉移是一(yī)個不可(kě)逆轉的趨勢。不過，要(yào)實現大數(shù)據應用，僅有前端智能(néng)還不夠，還需要(yào)在後端按照規則對數(shù)據進行(xíng)清洗、裝載後進入數(shù)據倉庫，然後才能(néng)夠談到上(shàng)層的相關應用或是展現。因此，前端智能(néng)會用來實現一(yī)些相對基礎的圖像智能(néng)分析工(gōng)作(zuò)，更深層次的數(shù)據分析、應用還是要(yào)依靠後端平台。

前端智能(néng)分析的優勢在于每一(yī)路前端攝像機都(dōu)可(kě)以做(zuò)智能(néng)的實時(shí)分析，消滅延時(shí)，減輕後端的計算壓力，可(kě)以做(zuò)到無遺漏的智能(néng)分析，同時(shí)，解放後端的計算資源；後端服務器的智能(néng)化則主要(yào)集中優勢計算資源做(zuò)更深入的二次分析。通(tōng)過兩種方式的配合，實現視(shì)頻(pín)數(shù)據的結構化處理，并開(kāi)展大數(shù)據應用。

智能(néng)分析如(rú)果全部在後端實現，計算資源、存儲資源和(hé)網絡資源的消耗都(dōu)會相當大。如(rú)果都(dōu)在前端實現，則因前端産品的差異性以及前端設備性能(néng)限制，不同廠家設備處理的結果可(kě)利用程度不一(yī)樣，能(néng)處理的程度也有限，難以最終滿足應用要(yào)求。因此，應該采用前端設備進行(xíng)結構化的預處理工(gōng)作(zuò)，後端針對重要(yào)地(dì)點數(shù)據進行(xíng)處理和(hé)對案事件關聯數(shù)據進行(xíng)精細化二次處理。

長(cháng)遠來看(kàn)，随着視(shì)圖雲中心的發展，應該會逐漸弱化前端的智能(néng)分析功能(néng)，僅僅保留部分最基礎的輕量型智能(néng)分析功能(néng)，如(rú)車牌識别，但(dàn)是車型二次分析等有較大運算需求和(hé)定期算法升級更新需求的結構化計算會在後端處理，涉及大量的事後分析的計算也會放在後端雲中心。

在小數(shù)據時(shí)代，前端智能(néng)和(hé)後端智能(néng)是可(kě)以相互替代或是兩者結合的，但(dàn)到了(le)大數(shù)據時(shí)代，因為(wèi)數(shù)據量非常大，且是多點多域多元的，兩種智能(néng)分析模式一(yī)定是相互結合，将一(yī)部分預處理工(gōng)作(zuò)放在前端，後端的大數(shù)據中心實現更為(wèi)複雜(zá)的數(shù)據處理。

對于到底是在前端還是在後端實現視(shì)頻(pín)圖像結構化的問(wèn)題，前端攝像機的處理能(néng)力有限，加載一(yī)些簡單的算法問(wèn)題不大，如(rú)車牌識别和(hé)一(yī)些行(xíng)為(wèi)分析，但(dàn)是要(yào)識别更為(wèi)複雜(zá)的信息就有難度了(le)，比如(rú)越界，是一(yī)個行(xíng)為(wèi)，要(yào)識别這(zhè)個行(xíng)為(wèi)很(hěn)簡單，但(dàn)是要(yào)分析越界的這(zhè)個人(rén)的特征，什麽發型，有沒有戴眼鏡等就有難度了(le)，前端攝像機很(hěn)難做(zuò)到。後端平台的處理能(néng)力能(néng)夠無限擴展，可(kě)以做(zuò)大量複雜(zá)場景下(xià)的分析，而且能(néng)夠靈活部署調配，哪裏需要(yào)做(zuò)智能(néng)分析就往哪部署，但(dàn)是後端需要(yào)大量的投資，而且無法做(zuò)到實時(shí)，因此一(yī)般都(dōu)是用于事後分析。目前采用後端平台進行(xíng)結構化處理的居多，因為(wèi)大部分攝像機還是非智能(néng)的，要(yào)利用大數(shù)據進行(xíng)研判、布控，利用後端強大的計算能(néng)力來做(zuò)智能(néng)分析會更現實。

視(shì)頻(pín)數(shù)據的結構化處理是制約安防大數(shù)據落地(dì)的關鍵，盡管不少(shǎo)業內(nèi)企業都(dōu)在這(zhè)方面下(xià)了(le)很(hěn)大功夫，但(dàn)目前絕大多數(shù)企業都(dōu)隻是實現了(le)視(shì)頻(pín)數(shù)據的半結構化處理，還無法直接完成視(shì)頻(pín)圖像的完全結構化。究其原因，一(yī)方面是要(yào)做(zuò)到全實時(shí)的結構化對硬件資源和(hé)處理資源的要(yào)求非常高，另一(yī)方面是視(shì)頻(pín)圖像處理的人(rén)工(gōng)智能(néng)技術(shù)目前也還達不到文本的智能(néng)的高度，算法還有待進一(yī)步完善。

智能(néng)分析技術(shù)僅僅是實現了(le)對視(shì)頻(pín)圖像、圖片等非結構化數(shù)據的語義描述，使之成為(wèi)結構化（或半結構化）的數(shù)據，但(dàn)要(yào)實現大數(shù)據應用，僅僅做(zuò)到這(zhè)一(yī)步還不夠，還需要(yào)借助于雲計算和(hé)雲存儲，為(wèi)大數(shù)據提供強大的計算和(hé)存儲資源，再深度結合各行(xíng)業的實際業務應用，如(rú)此，大數(shù)據才能(néng)帶來真正的價值。

視(shì)頻(pín)結構化技術(shù)存在的不足點：

1. 視(shì)頻(pín)結構化會檢測視(shì)頻(pín)中整個畫(huà)面內(nèi)容，無法有效的針對同一(yī)目标特征值進行(xíng)提取。

2. 視(shì)頻(pín)結構化特征識别的顆粒度較大，識别準度較差。

3. 視(shì)頻(pín)結構化在比對時(shí)，會把所有的特征值進行(xíng)比對。

因此，在針對視(shì)頻(pín)中的行(xíng)人(rén)進行(xíng)識别檢測時(shí)可(kě)以考慮使用行(xíng)人(rén)再識别（Re-ID）技術(shù)，進行(xíng)對行(xíng)人(rén)的精準重識别。