你的位置:首頁(yè) > 傳感技術(shù) > 正文

基于Blackfin的圖像處理與CMOS傳感器中ISP性能的比較

發(fā)布時(shí)間:2009-09-02

中心議題:
  • 圖像傳感器的發(fā)展趨勢(shì)
  • ISP與CMOS傳感器對(duì)比
  • Blackfin系列處理器的優(yōu)勢(shì)
解決方案:
  • 采用動(dòng)態(tài)電源管理
  • 采用分級(jí)的存儲(chǔ)空間
  • 軟硬件相結(jié)合的方式來(lái)實(shí)現(xiàn)各種安全保護(hù)功能
圖像是人類獲取和交換信息的主要來(lái)源,因此,圖像處理的應(yīng)用領(lǐng)域必然涉及到人類生活和工作的方方面面。隨著人類活動(dòng)范圍的不斷擴(kuò)大,圖像處理的應(yīng)用領(lǐng)域也將隨之不斷擴(kuò)大。遍布航天航空、醫(yī)療設(shè)備、通信工程、軍事安防、文化藝術(shù)等眾多方面。

近年來(lái),隨著消費(fèi)類產(chǎn)品尤其是拍照手機(jī)、數(shù)碼相機(jī)、數(shù)碼攝像機(jī)等一系列數(shù)碼產(chǎn)品的問(wèn)世,這些視頻設(shè)備中蘊(yùn)含的圖像信號(hào)處理功能也逐漸被人們所認(rèn)知和關(guān)注。而伴隨近年來(lái)數(shù)字電視、IP攝像機(jī)、網(wǎng)絡(luò)攝像頭以及監(jiān)控?cái)z像頭這類安防產(chǎn)品的迅速發(fā)展,更表明市場(chǎng)對(duì)智能監(jiān)控需求的不斷增長(zhǎng),這也是圖像信號(hào)處理技術(shù)不斷豐富和完善的過(guò)程。在這些圖像信號(hào)處理中,包括自動(dòng)對(duì)焦、自動(dòng)曝光、自動(dòng)白平衡以及顏色變換、背光補(bǔ)償?shù)榷际且恍┗镜膱D像處理算法。

傳統(tǒng)的圖像信號(hào)處理是通過(guò)專用的圖像處理器完成的。而隨著CMOS技術(shù)的不斷發(fā)展,也出現(xiàn)了將圖像信號(hào)處理(ISP)內(nèi)置于CMOS圖像傳感器中的單芯片產(chǎn)品,這類傳感器產(chǎn)品可借助其內(nèi)部集成的功能模塊完成一些圖像信號(hào)處理的算法,包括自動(dòng)曝光、自動(dòng)白平衡、顏色變換等這些基本的算法。

這類ASIC產(chǎn)品的出現(xiàn)曾一度頗具爭(zhēng)議,因?yàn)殡m然將ISP內(nèi)置于傳感器中具有降低功耗和節(jié)省占用面積的優(yōu)點(diǎn),但單就手機(jī)應(yīng)用而言,從成本來(lái)講,將ISP集成在傳感器上的成本比ISP集成在移動(dòng)多媒體處理器或基帶上要高很多。隨著傳感器分辨率的提高,越來(lái)越多的傳感器將只整合輸出數(shù)字信號(hào)所必需的電路,而將圖像處理及壓縮等功能集成于移動(dòng)多媒體處理器或基帶中。

而從成像質(zhì)量來(lái)看,在移動(dòng)多媒體處理器中集成功能強(qiáng)大的圖像處理功能效果更佳,而且此趨勢(shì)隨分辨率的提高會(huì)愈加明顯。所以業(yè)界一直有ISP與CMOS傳感器將背離集成的趨勢(shì)預(yù)言。但從近年來(lái)的CMOS傳感器供應(yīng)商推出的新產(chǎn)品線來(lái)看,這一預(yù)言未能兌現(xiàn)。因?yàn)槲覀兛吹?,不斷有一線的CMOS傳感器供應(yīng)商如Aptina、OmniVision推出最新的內(nèi)置ISP的CMOS圖像傳感器單芯片產(chǎn)品,并在不斷完善其功能、擴(kuò)展其應(yīng)用領(lǐng)域。

目前已推出的這類單芯片產(chǎn)品除擁有包括曝光控制、伽瑪校正、白平衡、色彩飽和度調(diào)節(jié)以及灰度控制等多種圖像處理功能外,還可提供出色的低照度性能,在夜視環(huán)境下還具有優(yōu)異的近紅外響應(yīng)性能,能為攝像頭制造商提供更完善的自動(dòng)白平衡和自動(dòng)曝光功能,圖像性能毫不遜色。一系列優(yōu)異性能使其已由最初的拍照手機(jī)、數(shù)碼相機(jī)、數(shù)碼攝像機(jī)應(yīng)用逐漸發(fā)展到網(wǎng)絡(luò)攝像頭、監(jiān)控?cái)z像頭等安防產(chǎn)品領(lǐng)域,其擴(kuò)張態(tài)勢(shì)仍在繼續(xù),大有星火燎原之勢(shì)。

應(yīng)該說(shuō)在數(shù)碼相機(jī)等追求小巧輕薄的消費(fèi)類產(chǎn)品應(yīng)用中,內(nèi)置ISP的CMOS傳感器存在一定的競(jìng)爭(zhēng)優(yōu)勢(shì),低功耗和小面積的表現(xiàn)以及隨生產(chǎn)規(guī)模而不斷降低的成本使其成為眾多應(yīng)用廠商的寵兒。在這同時(shí)我們要看到,這種內(nèi)置ISP的CMOS傳感器方案目前還只能完成一些不太復(fù)雜的算法,而隨著智能化要求的不斷提高,消費(fèi)類產(chǎn)品,尤其是視頻監(jiān)控等安防產(chǎn)品都要求更高的視頻處理功能,也就要求更復(fù)雜的算法,而復(fù)雜的算法對(duì)主芯片的處理能力提出更高的要求。

如傳統(tǒng)上許多監(jiān)控?cái)z像機(jī)基于像素分辨率為NTSC(352×240)或PAL(352×288)的準(zhǔn)普通媒體格式(CIF),同時(shí)在壓縮格式方面主要采用了不太復(fù)雜的M-JPEG格式,從而對(duì)DSP處理性能要求不高。但是隨著視頻監(jiān)控市場(chǎng)的迅速發(fā)展,人們期待更高的圖像清晰度和更高的幀率。在分辨率方面,業(yè)界期待D1(704×576)或者更高的解析度;在編解碼方面,則期待采用復(fù)雜的MPEG-4壓縮格式。

同時(shí),隨著網(wǎng)絡(luò)互聯(lián)的發(fā)展,當(dāng)DVR、DVS或者IP攝像機(jī)作為網(wǎng)絡(luò)終端時(shí),還需要考慮如何在傳輸過(guò)程中占用更少的帶寬,因此MPEG-4正在向壓縮比更高的H.264和AVS的編碼格式演進(jìn)。而這些更為先進(jìn)的視頻信號(hào)分辨率和壓縮格式則會(huì)大大提高對(duì)核心處理器中處理能力的需求。除了強(qiáng)大的處理能力之外,還需要平臺(tái)提供足夠的靈活性。

從目前來(lái)看,在壓縮格式方面雖然H.264最受業(yè)界青睞,有望成為未來(lái)幾年的的主流。但是,由于M-JPEG、H.263、MPEG4和H.264等編解碼算法各有優(yōu)勢(shì),再加上市場(chǎng)需求的多元化,這些標(biāo)準(zhǔn)將會(huì)在一段時(shí)間內(nèi)共存。

要使方案具有競(jìng)爭(zhēng)力,必須對(duì)盡可能多的標(biāo)準(zhǔn)給予支持。同時(shí),媒體處理格式和算法也在不斷更新,當(dāng)更為先進(jìn)的算法出現(xiàn)時(shí),工程師希望只需在原有解決方案基礎(chǔ)上進(jìn)行基于軟件的簡(jiǎn)便的升級(jí),而不是重新設(shè)計(jì)。同時(shí),視頻監(jiān)控又有其對(duì)保密性等安全技術(shù)的特殊要求,無(wú)論是商業(yè)還是家庭應(yīng)用,設(shè)備本身都存在著被非法侵入和黑客攻擊的威脅,要充分保障設(shè)備的安全性對(duì)產(chǎn)品設(shè)計(jì)無(wú)疑是很大的挑戰(zhàn)。

在這時(shí),內(nèi)置ISP的單芯片CMOS傳感器產(chǎn)品就顯示出先天不足的缺點(diǎn),因其尚不能完成如此復(fù)雜的功能,而要配備單獨(dú)的圖像處理器才能滿足要求。ASIC雖然具有成本優(yōu)勢(shì),但是在應(yīng)對(duì)媒體格式、算法的改進(jìn)和升級(jí)方面則具有天生的弊端,在音視頻標(biāo)準(zhǔn)不斷演進(jìn)以及算法不斷改進(jìn)的視頻監(jiān)控市場(chǎng),ASIC顯得遜色很多。

在這里,傳統(tǒng)的處理器供應(yīng)商如ADI、TI、NXP等具有不可替代的競(jìng)爭(zhēng)力。其中ADI公司專為滿足當(dāng)今嵌入式音視頻和通信應(yīng)用的計(jì)算要求及功耗約束條件而設(shè)計(jì)的新型嵌入式處理器Blackfin系列以其突出的性能表現(xiàn)而格外搶眼。[page]

Blackfin系列處理器在圖像處理方面有其獨(dú)特的技術(shù)優(yōu)勢(shì),包括:可以升級(jí)到最新的視頻標(biāo)準(zhǔn),向用戶提供處理所有現(xiàn)有標(biāo)準(zhǔn)和未來(lái)標(biāo)準(zhǔn)的能力;

動(dòng)態(tài)電源管理

所有的Blackfin處理器均采用了多種節(jié)能技術(shù)。Blackfin處理器基于一種選通時(shí)鐘內(nèi)核設(shè)計(jì),可按照逐條指令來(lái)選擇性地切斷功能單元的電源。還支持多種針對(duì)所需CPU動(dòng)作極少(或根本不需要CPU動(dòng)作)期間的斷電模式。該處理器還支持一種自含動(dòng)態(tài)電源管理電路,借助該電路即可對(duì)工作頻率和電壓進(jìn)行獨(dú)立控制,以滿足正在執(zhí)行的算法的性能要求。這些轉(zhuǎn)換可以在一個(gè)RTOS或用戶固件的控制之下連續(xù)出現(xiàn)。大多數(shù)Blackfin處理器都提供了片上內(nèi)核穩(wěn)壓電路,并可在低至0.8V的電壓條件下工作,因而特別適合于需要延長(zhǎng)電池使用壽命的便攜式應(yīng)用;

具有高性能處理器內(nèi)核

該處理器架構(gòu)基于一個(gè)10級(jí)RISCMCU/DSP流水線和一個(gè)專為實(shí)現(xiàn)最佳代碼密度而設(shè)計(jì)的混合16/32位指令集架構(gòu),該架構(gòu)很適合于高密度、大運(yùn)算量的圖像處理系統(tǒng);

高帶寬的DMA

圖像處理系統(tǒng)需要對(duì)大量的圖像數(shù)據(jù)進(jìn)行處理,這涉及到內(nèi)存數(shù)據(jù)存取,采用Blackfin的二維DMA控制器可以實(shí)現(xiàn)自動(dòng)數(shù)據(jù)傳輸,大幅度減少處理器的內(nèi)核開(kāi)銷;專用的視頻指令集,圖像處理中存在大量的視頻像素處理,Blackfin處理器具有專門(mén)為8位視頻數(shù)據(jù)以及常用的視頻像素處理算法設(shè)計(jì)的指令集,大大提高了處理速度;

分級(jí)的存儲(chǔ)空間

Blackfin具有L1和L2兩級(jí)Cache,對(duì)于一些不適合使用DMA操作的數(shù)據(jù),可以采用數(shù)據(jù)/代碼緩沖的模式來(lái)加快處理速度;

豐富的外設(shè)功能

Blackfin具有高速的串/并行數(shù)據(jù)接口,可以無(wú)縫的連接其它高速器件;

安全保護(hù)功能

安全方面,BlackfinLockboxSecureTechnology利用軟硬件相結(jié)合的方式來(lái)實(shí)現(xiàn)各種安全保護(hù)功能。對(duì)系統(tǒng)進(jìn)行鑒定的公共密鑰存儲(chǔ)于單次可編程(OTP)內(nèi)存中的用戶可編程區(qū)域,這種存儲(chǔ)方式可以由OEM來(lái)控制和定義。同時(shí)由于其具有可編程性,使指令集可實(shí)現(xiàn)豐富的軟件加密算法,意味著相同的裝置能支持多種內(nèi)容保護(hù)格式。故該技術(shù)可從來(lái)源的驗(yàn)證、內(nèi)容的完整性、機(jī)密性以及可更新性等多方面為整個(gè)視頻監(jiān)控設(shè)備提供一個(gè)安全環(huán)境;
低功耗、低成本也是Blackfin擁有突出性價(jià)比的制勝法寶。

基于以上技術(shù)特點(diǎn),同時(shí)由于其強(qiáng)大的多媒體處理能力、專業(yè)的算法支持、和嵌入式實(shí)時(shí)操作系統(tǒng),使Blackfin不僅能實(shí)現(xiàn)優(yōu)異的自動(dòng)對(duì)焦等3A1B算法,還能夠執(zhí)行復(fù)雜的如自動(dòng)精選代碼等計(jì)算密集型算法,尤其在對(duì)處理器要求極高的智能視頻監(jiān)控等產(chǎn)品中更發(fā)揮著出色的作用。

僅以智能視頻監(jiān)控產(chǎn)品為例,盡管已經(jīng)取得了巨大進(jìn)展,智能視頻分析領(lǐng)域目前仍無(wú)公認(rèn)的最優(yōu)方法。其自身研究?jī)?nèi)容的復(fù)雜性,使得算法復(fù)雜度高,適用范圍有限,研究方法和工具多樣,沒(méi)有魯棒性、準(zhǔn)確度、速度都符合需求的普遍方法。同時(shí),視頻監(jiān)控系統(tǒng)的網(wǎng)絡(luò)化和分布式處理的要求,以及大規(guī)模工程安裝對(duì)成本、體積和功耗的限制,使運(yùn)算能力和帶寬都在不斷提高的嵌入式處理器成為視頻監(jiān)控系統(tǒng)的主流選擇。而非標(biāo)準(zhǔn)化的智能視頻分析,正是DSP的用武之地。

Blackfin的幾十個(gè)DMA通道和可靈活配置的Cache很好地滿足了視頻監(jiān)控系統(tǒng)對(duì)大運(yùn)算量,高數(shù)據(jù)吞吐率的要求。10級(jí)流水線使得Blackfin有很強(qiáng)的指令并行執(zhí)行能力。零開(kāi)銷循環(huán)控制指令讓系統(tǒng)中的大量循環(huán)跳轉(zhuǎn)不再消耗任何處理器的時(shí)鐘周期。利用這些優(yōu)勢(shì),real解碼器的idct4×4算法在Blackfin上速度提高了7倍。

另外,視頻數(shù)據(jù)也有其自身的特性。在不同的顏色空間內(nèi),表示像素的每個(gè)分量通常是8位寬度。Blackfin的4個(gè)視頻算術(shù)運(yùn)算單元和視頻像素指令集大大加速了視頻運(yùn)算速度。一條視頻像素操作指令可以在一個(gè)周期內(nèi)完成4對(duì)視頻數(shù)據(jù)分量的加法、減法、加減混合、取平均值或者相減并求絕對(duì)值等11種視頻像素運(yùn)算。

這些運(yùn)算在編解碼算法中的運(yùn)動(dòng)估計(jì)、loopfilter和智能視頻分析的各種算法中大量應(yīng)用。在智能視頻分析的一些基礎(chǔ)算子中,如直方圖統(tǒng)計(jì),中值運(yùn)算,Sobel運(yùn)算,形態(tài)學(xué)中的膨脹運(yùn)算等都可以利用Blackfin的MIN,MAX指令來(lái)消除條件跳轉(zhuǎn),節(jié)省處理器周期。不僅如此,Blackfin還支持13種非視頻數(shù)據(jù)的向量運(yùn)算。

適當(dāng)?shù)卦O(shè)計(jì)數(shù)據(jù)結(jié)構(gòu),在前背景分離、閾值計(jì)算和更新等多個(gè)環(huán)節(jié)都可以運(yùn)用Blackfin的特色指令從而使智能視頻分析的算法更加快捷。這些有效的指令中,大部分指令都能并行執(zhí)行,使Blackfin的處理能力再加倍。

應(yīng)用方面,由南京新奕天科技有限公司與香港大學(xué)合作開(kāi)發(fā)出的基于Blackfin系列最新產(chǎn)品BF561的一流智能視頻監(jiān)控設(shè)備ThinkSmart已經(jīng)推向市場(chǎng)。其中BF561獨(dú)特的雙核設(shè)計(jì)使ThinkSmart在處理核上能獨(dú)立的運(yùn)行圖像處理和系統(tǒng)控制任務(wù),從而達(dá)到最佳的整體性能,使此款產(chǎn)品能夠簡(jiǎn)單而又有效檢測(cè)威脅或閑雜訪客,實(shí)現(xiàn)一系列智能化視頻監(jiān)控功能。

Blackfin系列處理器在圖像處理方面,尤其是應(yīng)對(duì)智能化的技術(shù)挑戰(zhàn)方面,是眾多應(yīng)用廠商的理想之選。ADI公司也在努力通過(guò)最新的CMOS深亞微米工藝尺度、更深的流水線、多內(nèi)核、每個(gè)核心更多的計(jì)算單元,以及充分利用信號(hào)處理加速引擎,繼續(xù)提高Blackfin系列的性能,增強(qiáng)其在性價(jià)比和性能功耗比方面的領(lǐng)先地位。
要采購(gòu)傳感器么,點(diǎn)這里了解一下價(jià)格!
特別推薦
技術(shù)文章更多>>
技術(shù)白皮書(shū)下載更多>>
熱門(mén)搜索
?

關(guān)閉

?

關(guān)閉