2020開(kāi)啟了安防新十年,這一個(gè)十年,視頻結(jié)構(gòu)化代表著新一代視頻監(jiān)控技術(shù)的技術(shù)方向,是行業(yè)創(chuàng)新另一個(gè)新起點(diǎn)。
為什么需要視頻結(jié)構(gòu)化
不管時(shí)間怎么變,視頻結(jié)構(gòu)化技術(shù)的訴求沒(méi)變。不像高清和智能,隨時(shí)代變遷而出現(xiàn)新的技術(shù)標(biāo)準(zhǔn)。
視頻結(jié)構(gòu)化技術(shù),是針對(duì)非結(jié)構(gòu)化數(shù)據(jù)的處理,它是一種基于視頻內(nèi)容信息提取的技術(shù),它對(duì)視頻內(nèi)容按照語(yǔ)義關(guān)系,采用時(shí)空分割、特征提取、對(duì)象識(shí)別等處理手段,組織成可供計(jì)算機(jī)和人類(lèi)理解的結(jié)構(gòu)化信息的技術(shù)。
從數(shù)據(jù)處理的流程看,視頻結(jié)構(gòu)化技術(shù)能夠?qū)⒎墙Y(jié)構(gòu)化的視頻數(shù)據(jù)轉(zhuǎn)化為人和機(jī)器可理解的結(jié)構(gòu)化或者半結(jié)構(gòu)化情報(bào)信息,并進(jìn)一步轉(zhuǎn)化為公共安全實(shí)戰(zhàn)所用的情報(bào)數(shù)據(jù),實(shí)現(xiàn)視頻數(shù)據(jù)向信息化、情報(bào)化的方向轉(zhuǎn)化,達(dá)到視頻感知世界的智慧應(yīng)用。
視頻結(jié)構(gòu)化既是海量視頻實(shí)現(xiàn)信息化、情報(bào)化轉(zhuǎn)化行之有效的技術(shù),也是當(dāng)前公共安全領(lǐng)域中對(duì)視頻結(jié)構(gòu)化處理的一個(gè)指向性方案。
既然視頻結(jié)構(gòu)化對(duì)行業(yè)有指向性,那必然有其巨大的價(jià)值,同時(shí)該項(xiàng)技術(shù)能解決當(dāng)下視頻監(jiān)控的弊端。那么,我們的視頻監(jiān)控行業(yè)遇到了哪些困難?
缺少視頻信息情報(bào)的標(biāo)準(zhǔn)化生成方法,進(jìn)而缺少利用視頻信息情報(bào)指導(dǎo)偵查、破案的新型警務(wù)工作模式。
現(xiàn)在視頻監(jiān)控的應(yīng)用已融入民警的日常辦案工作當(dāng)中,但不少公安系統(tǒng)仍舊采用是人工的方式去瀏覽、排查,費(fèi)時(shí)費(fèi)力。
視頻信息的跨域、跨警種共享以及與其他信息系統(tǒng)的互聯(lián)互通問(wèn)題突出,跨系統(tǒng)的語(yǔ)言不統(tǒng)一造成信息成為一個(gè)個(gè)的孤島,限制了大情報(bào)、大信息系統(tǒng)的建設(shè)及應(yīng)用。
存儲(chǔ)傳輸?shù)膯?wèn)題,由于要節(jié)省大量的存儲(chǔ)空間及傳輸帶寬的限制,不得不對(duì)視頻數(shù)據(jù)進(jìn)行大量壓縮,不僅造成圖像模糊的問(wèn)題,而且視頻壓縮時(shí)固定壓縮比的方式不夠靈活,不得不占用大量的存儲(chǔ)空間及傳輸帶寬。
高效計(jì)算的問(wèn)題,由于視頻監(jiān)控要求計(jì)算的多功能性和實(shí)時(shí)性,而視頻數(shù)據(jù)的特殊性,帶來(lái)計(jì)算成本的增加,需要構(gòu)建統(tǒng)一的用于視頻監(jiān)控的視頻計(jì)算理論和框架。
視頻信息化情報(bào)化警務(wù)應(yīng)用各環(huán)節(jié)缺乏統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范。所有這些問(wèn)題的根本在于對(duì)視頻內(nèi)容的不理解,沒(méi)有一個(gè)高效的、標(biāo)準(zhǔn)化的視頻數(shù)據(jù)交換和視頻情報(bào)提取的方法。
解決這些實(shí)際問(wèn)題,需要對(duì)視頻結(jié)構(gòu)化描述及以此技術(shù)為核心的新型視頻監(jiān)控系統(tǒng)構(gòu)建進(jìn)行重點(diǎn)研究。
迎接視頻監(jiān)控系統(tǒng)深度應(yīng)用的挑戰(zhàn),其核心及瓶頸是通過(guò)研究視頻結(jié)構(gòu)化描述技術(shù)解決視頻監(jiān)控?cái)?shù)據(jù)向視頻信息、視頻情報(bào)的轉(zhuǎn)化,實(shí)現(xiàn)警務(wù)工作模式的創(chuàng)新。
由此看出,在大數(shù)據(jù)的時(shí)代,視頻信息如何高效提取,如何同其他信息系統(tǒng)進(jìn)行標(biāo)準(zhǔn)數(shù)據(jù)交換、互聯(lián)互通及語(yǔ)義互操作等問(wèn)題的解決之道是視頻結(jié)構(gòu)化技術(shù)。
用視頻結(jié)構(gòu)化技術(shù)改造傳統(tǒng)的視頻監(jiān)控系統(tǒng),使之形成新一代的視頻監(jiān)控系統(tǒng),也就是我們常說(shuō)的智慧化、語(yǔ)義化、情報(bào)化的視頻監(jiān)控系統(tǒng)。
視頻結(jié)構(gòu)化在公安領(lǐng)域中的應(yīng)用
視頻結(jié)構(gòu)化既是海量視頻實(shí)現(xiàn)信息化、情報(bào)化轉(zhuǎn)化行之有效的技術(shù),也是當(dāng)前公共安全領(lǐng)域中對(duì)視頻結(jié)構(gòu)化處理的一個(gè)指向性方案。
在視頻結(jié)構(gòu)化描述的內(nèi)容方面,公共安全關(guān)注的視頻信息主要是:人員、車(chē)輛、行為。
當(dāng)前,許多國(guó)內(nèi)監(jiān)控企業(yè)正在全面開(kāi)展視頻結(jié)構(gòu)化技術(shù)研究和產(chǎn)品開(kāi)發(fā),可以實(shí)現(xiàn)同時(shí)提取視頻中人員、車(chē)輛、行為的特征信息。
對(duì)于人員的特征信息包括:性別、年齡段、上身顏色、上身紋理、下身顏色、下身類(lèi)別、頭部特征、附屬物品、目標(biāo)方向、目標(biāo)速度等;
對(duì)于車(chē)輛的特征信息包括:車(chē)牌、車(chē)身顏色、車(chē)型、車(chē)輛品牌、子品牌、車(chē)貼、車(chē)飾物信息等;
對(duì)于行為的特征信息包括:越界、區(qū)域、徘徊、遺留、聚集等。
通過(guò)對(duì)視頻中人員、車(chē)輛、行為的結(jié)構(gòu)化特征信息提取,可解決不同種類(lèi)目標(biāo)的特征識(shí)別和快速檢索,以實(shí)現(xiàn)預(yù)警、布控、研判等多種應(yīng)用,提高辦案效率。
盡管公安行業(yè)是視頻結(jié)構(gòu)化的主戰(zhàn)場(chǎng),但技術(shù)應(yīng)用有諸多難點(diǎn):
視頻作為基礎(chǔ)資源,提供了大量的圖像信息,但存在如下問(wèn)題:民警主要關(guān)注的是圖像中的人、車(chē)、物、事件等基礎(chǔ)情報(bào)信息,而實(shí)際上監(jiān)控圖像資源中包含大量冗余的數(shù)據(jù)信息。
目前缺少自動(dòng)提取與挖掘關(guān)鍵信息的手段。面對(duì)日益龐大的視頻數(shù)據(jù),想要快速準(zhǔn)確地找到用戶(hù)感興趣的內(nèi)容十分困難;視頻圖像占存儲(chǔ)空間大,監(jiān)控視頻數(shù)據(jù)通常只存儲(chǔ)一個(gè)月,關(guān)鍵信息無(wú)法得到長(zhǎng)時(shí)間保存。
從形式上看,數(shù)據(jù)可以分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。大數(shù)據(jù)時(shí)代,絕大部分?jǐn)?shù)據(jù)是非結(jié)構(gòu)化的圖像和視頻數(shù)據(jù),大數(shù)據(jù)在一定程度上就是意味著視頻大數(shù)據(jù)。
因此,在智能化的視頻監(jiān)控系統(tǒng)當(dāng)中,除了基本的人工監(jiān)視和數(shù)據(jù)記錄以外,一定要對(duì)監(jiān)控視頻進(jìn)行結(jié)構(gòu)化即智能化處理,需要對(duì)視頻當(dāng)中的人、車(chē)和其他重要事物進(jìn)行識(shí)別、檢索和行為分析,并根據(jù)結(jié)果提供適當(dāng)?shù)奶崾尽?br />
在對(duì)視頻的智能處理當(dāng)中,視頻檢索技術(shù)顯得尤為基礎(chǔ)和重要,視頻檢索主要有文本檢索和內(nèi)容檢索兩種方式:
基于文本的檢索——通過(guò)對(duì)視頻進(jìn)行人工標(biāo)注,將圖像信息轉(zhuǎn)換成文本標(biāo)注(相當(dāng)于增加標(biāo)簽),通過(guò)文本檢索的相關(guān)技術(shù)如關(guān)鍵字技術(shù)進(jìn)行檢索,這種方式對(duì)視頻信息內(nèi)容進(jìn)行了壓縮,簡(jiǎn)化了查詢(xún)的流程,提高了檢索速度,減少了檢索的數(shù)據(jù)量和時(shí)間成本,一般對(duì)視頻信息內(nèi)容會(huì)有語(yǔ)義上的概括,比較適合利用主題查詢(xún)的場(chǎng)景。
但是人工標(biāo)注耗時(shí)較長(zhǎng),受標(biāo)注者主觀影響較大,用戶(hù)有時(shí)并不能準(zhǔn)確描述其所想搜索內(nèi)容的主題,關(guān)鍵字提取困難,而且由于標(biāo)簽難以完全概括視頻內(nèi)容,導(dǎo)致查詢(xún)的準(zhǔn)確度并不高,檢索結(jié)果差強(qiáng)人意,這也導(dǎo)致了傳統(tǒng)的基于文本的視頻檢索方式越來(lái)越不能滿足用戶(hù)需要。
基于內(nèi)容的檢索——用戶(hù)希望的是有形式更為豐富的輸入,如不僅限于關(guān)鍵字等,可以利用圖例、草圖、語(yǔ)音描述等等來(lái)作為搜索輸入條件。
而檢索的內(nèi)容也不限于視頻的主題,而可能是視頻中某一個(gè)場(chǎng)景的故事,某個(gè)鏡頭是否發(fā)生了某種事件等等。
因此,綜合利用數(shù)字圖像處理、模式識(shí)別、圖像理解和機(jī)器學(xué)習(xí)等多種技術(shù),通過(guò)對(duì)視頻內(nèi)容進(jìn)行語(yǔ)義上的理解,結(jié)合視頻的前后時(shí)段信息,組合用戶(hù)的各種檢索條件實(shí)現(xiàn)快速檢索,已經(jīng)成為目前視頻檢索領(lǐng)域研究和發(fā)展的重點(diǎn)。
現(xiàn)有視頻監(jiān)控網(wǎng)絡(luò)存在著缺乏深度應(yīng)用的模式。其應(yīng)用的瓶頸是視頻信息如何高效提取,如何同其他信息系統(tǒng)進(jìn)行標(biāo)準(zhǔn)數(shù)據(jù)交換、互聯(lián)互通及語(yǔ)義互操作。
解決這一問(wèn)題的核心技術(shù)即是視頻結(jié)構(gòu)化描述,通過(guò)視頻結(jié)構(gòu)化分析技術(shù)和大數(shù)據(jù)、云計(jì)算等技術(shù),實(shí)現(xiàn)以機(jī)器自動(dòng)處理為主的視頻信息處理和分析,快速提取實(shí)時(shí)監(jiān)控視頻或監(jiān)控錄像中的視頻信息,使得安防平臺(tái)能夠?qū)ΡO(jiān)控區(qū)域的錄像文件進(jìn)行特征分析(如人、車(chē)、物、顏色、大小、方向、時(shí)間、地點(diǎn)等),使原來(lái)需要數(shù)小時(shí)查看的文件,以十幾倍的速度快速瀏覽查看。
經(jīng)過(guò)視頻結(jié)構(gòu)化處理后,可以達(dá)到如下目的:首先是視頻查找速度得到極大的提升。視頻結(jié)構(gòu)化之后,從百萬(wàn)級(jí)的目標(biāo)庫(kù)中(對(duì)應(yīng)數(shù)百到一千小時(shí)的高清視頻)查找某張截圖上的行人嫌疑目標(biāo),數(shù)秒即可完成,在結(jié)構(gòu)化基礎(chǔ)上進(jìn)行檢索查詢(xún),可以解決快速目標(biāo)查找問(wèn)題。
其次,結(jié)構(gòu)化視頻數(shù)據(jù)的存儲(chǔ)占比可以極大的降低。經(jīng)過(guò)結(jié)構(gòu)化后的視頻,存儲(chǔ)人的結(jié)構(gòu)化檢索信息和目標(biāo)數(shù)據(jù)不到視頻數(shù)據(jù)量的2%;對(duì)于車(chē)輛,不到1%;而對(duì)于行為的則降得更多。
存儲(chǔ)容量極大地降低,可以解決視頻長(zhǎng)期占用存儲(chǔ)空間的問(wèn)題最后,視頻結(jié)構(gòu)化可以盤(pán)活視頻數(shù)據(jù),可作為數(shù)據(jù)挖掘基礎(chǔ),視頻經(jīng)過(guò)結(jié)構(gòu)化處理后,存入相應(yīng)的結(jié)構(gòu)化數(shù)據(jù)庫(kù)和結(jié)構(gòu)化視頻圖像資源服務(wù)器,對(duì)各類(lèi)的結(jié)構(gòu)化數(shù)據(jù)庫(kù)可以進(jìn)行深度的數(shù)據(jù)挖掘,充分發(fā)揮大數(shù)據(jù)作用,提升視頻數(shù)據(jù)的應(yīng)用價(jià)值,提高視頻數(shù)據(jù)的分析和預(yù)測(cè)功能。
這一個(gè)十年,視頻結(jié)構(gòu)化還要做什么
既然是行業(yè)的未來(lái),必然是萬(wàn)眾期待。從應(yīng)用前景看,視頻監(jiān)控技術(shù)所面臨的巨大市場(chǎng)潛力為視頻結(jié)構(gòu)化描述提供了廣闊的應(yīng)用前景。
尤其是在公安行業(yè),他們希望建設(shè)一個(gè)結(jié)合圖像處理技術(shù)、大數(shù)據(jù)技術(shù)和云計(jì)算技術(shù)來(lái)實(shí)現(xiàn)視頻圖像結(jié)構(gòu)化處理平臺(tái)系統(tǒng),實(shí)現(xiàn)以機(jī)器自動(dòng)處理為主的視頻信息處理和分析,快速提取實(shí)時(shí)監(jiān)控視頻或監(jiān)控錄像中的視頻信息,并存儲(chǔ)于中心數(shù)據(jù)庫(kù)中。
平臺(tái)能夠?qū)崟r(shí)對(duì)監(jiān)控區(qū)域的錄像文件進(jìn)行特征分析(如顏色、大小、方向、時(shí)間、地點(diǎn)等),使原來(lái)需要數(shù)小時(shí)查看的文件,在幾分鐘內(nèi)可以快速瀏覽查看。
用戶(hù)通過(guò)結(jié)構(gòu)化視頻合成回放,可以快捷的預(yù)覽視頻覆蓋時(shí)間內(nèi)的可疑事件和事件發(fā)生時(shí)間。并可以根據(jù)結(jié)構(gòu)化短片中的單個(gè)事件索引,直接鏈接播放可疑事件的原始視頻,觀看整個(gè)事件的真實(shí)情況。
此外,視頻結(jié)構(gòu)化技術(shù)緊緊抓住視頻內(nèi)容信息處理和網(wǎng)絡(luò)化共享應(yīng)用的主線,行業(yè)力爭(zhēng)經(jīng)過(guò)若干年的技術(shù)攻關(guān)和系統(tǒng)建設(shè),全面實(shí)現(xiàn)監(jiān)控視頻信息的情報(bào)化、視頻監(jiān)控網(wǎng)絡(luò)的智慧化,強(qiáng)化警務(wù)視頻應(yīng)用的普適性。
即實(shí)現(xiàn)以機(jī)器自動(dòng)處理為主的視頻信息處理和分析,并且通過(guò)技術(shù)手段轉(zhuǎn)化為公安工作可用的情報(bào);實(shí)現(xiàn)監(jiān)控網(wǎng)絡(luò)之間、終端之間、警種之間的信息共享和主動(dòng)互操作,實(shí)現(xiàn)主動(dòng)監(jiān)控、自動(dòng)聯(lián)網(wǎng)分析等網(wǎng)絡(luò)功能;全方位拓展視頻在警務(wù)工作中的應(yīng)用模式,大幅度提高技術(shù)的易用性,實(shí)現(xiàn)以業(yè)務(wù)民警為中心的隨時(shí)隨地的靈活、簡(jiǎn)單、多樣的視頻按需服務(wù)應(yīng)用。
除了公安行業(yè),視頻結(jié)構(gòu)化技術(shù)的應(yīng)用場(chǎng)景也可以在智能交通展開(kāi)。目前電警卡口在圖偵上的應(yīng)用需求和頻率早就超越了交警,因?yàn)榘讣径家c車(chē)輛發(fā)生聯(lián)系,這能找出很多的線索。
而卡口電警對(duì)于車(chē)輛的抓拍角度是相對(duì)固定的,能夠開(kāi)發(fā)出相應(yīng)的車(chē)輛特征識(shí)別技術(shù),電警卡口屬于業(yè)務(wù)需求和技術(shù)實(shí)現(xiàn)的一個(gè)很好的匹配點(diǎn)。
這就是視頻結(jié)構(gòu)化的應(yīng)用儲(chǔ)備,國(guó)內(nèi)有部分廠家已經(jīng)開(kāi)發(fā)出的攝像機(jī)能突破平面圖像特征的局限,得到更精準(zhǔn)的三維系信息,如人體數(shù)量,高度,物體長(zhǎng)度等。
為此,人們對(duì)于監(jiān)控視頻中有價(jià)值的信息挖掘不僅只是局限于當(dāng)前車(chē)輛、人的基本信息,在應(yīng)用市場(chǎng)的不斷推動(dòng)下,可以不斷對(duì)視頻結(jié)構(gòu)化提取的關(guān)鍵信息進(jìn)行有效補(bǔ)充,為最終的大數(shù)據(jù)平臺(tái)提供更有價(jià)值的數(shù)據(jù)入口。
海量監(jiān)控視頻中蘊(yùn)含著巨大的能量,把數(shù)據(jù)挖掘出來(lái),視頻結(jié)構(gòu)化技術(shù)及其產(chǎn)品不僅讓視頻大數(shù)據(jù)成為可能,更是為深度的行業(yè)應(yīng)用提供源源不斷的動(dòng)力。
服務(wù)實(shí)戰(zhàn),深化大數(shù)據(jù),助力行業(yè)業(yè)務(wù)變革,這是視頻結(jié)構(gòu)化技術(shù)的使命,在這一個(gè)十年,同樣如此!(來(lái)源:CPS中安網(wǎng))