新的成像應(yīng)用正在蓬勃發(fā)展,從工業(yè) 4.0 中的協(xié)作機(jī)器人,到無(wú)人機(jī)消防或用于農(nóng)業(yè),再到生物特征面部 識(shí)別,再到家庭中的護(hù)理點(diǎn)手持醫(yī)療設(shè)備。出現(xiàn)這些新應(yīng)用程序的一個(gè)關(guān)鍵因素是,嵌入式視覺比以往任 何時(shí)候都更普及。嵌入式視覺不是一個(gè)新概念;它只是定義了一個(gè)系統(tǒng),其中包括一個(gè)視覺設(shè)置,在沒(méi)有 外部計(jì)算機(jī)的情況下控制和處理數(shù)據(jù)。它已廣泛應(yīng)用于工業(yè)質(zhì)量控制,最為人熟悉的例子比如“智能相機(jī)”。
近年源于消費(fèi)類市場(chǎng)經(jīng)濟(jì)適用硬件器件的開發(fā),相較于以往使用電腦的方案,這些器件大幅度減小了材料 清單(BOM)成本和產(chǎn)品體積。舉個(gè)例子,小型系統(tǒng)集成商或 OEM 現(xiàn)在能夠小批量采購(gòu)諸如 NVIDIA Jetson 的單板機(jī)或模塊系統(tǒng);而較大型的 OEM 則可以直接獲得如高通驍龍(Qualcomm Snapdragon)或英 特爾(Intel) Movidius Myriad 2 等圖像信號(hào)處理器。在軟件級(jí)方面,市面軟件庫(kù)能夠加快專用視覺系統(tǒng)的開 發(fā)速度,減小配置難度,即便是針對(duì)小批量生產(chǎn)。
第二個(gè)推動(dòng)嵌入式視覺系統(tǒng)發(fā)展的變化是機(jī)器學(xué)習(xí)的出現(xiàn),它使實(shí)驗(yàn)室中的神經(jīng)網(wǎng)絡(luò)能夠接受培訓(xùn),然后 直接上傳到處理器中,以便它能夠自動(dòng)識(shí)別特征,并實(shí)時(shí)做出決定。
能夠提供適用于嵌入式視覺系統(tǒng)的解決方案,對(duì)于面向這些高增長(zhǎng)應(yīng)用的成像企業(yè)來(lái)說(shuō)至關(guān)重要。圖像傳 感器由于能夠直接影響嵌入式視覺系統(tǒng)的效能和設(shè)計(jì),因而在大規(guī)模引進(jìn)中有重要角色,而它的主要推動(dòng) 因素可概括為:更小尺寸、重量、功耗和成本,英語(yǔ)簡(jiǎn)稱為“SWaP-C”(decreasing Size, Weight, Power and Cost)。
嵌入式視覺新應(yīng)用的加速推動(dòng)器是滿足市場(chǎng)需求的價(jià)格,而視覺系統(tǒng)成本正是實(shí)現(xiàn)這要求的一個(gè)主要制肘。
1.1. 節(jié)省光學(xué)成本
減小視覺模塊成本的第一個(gè)途徑是縮小產(chǎn)品尺寸, 原因有兩個(gè):首先是圖像傳感器的像素尺寸愈小,晶圓 便可以制造更多的芯片;另一方面傳感器可以使用更小更低成本的光學(xué)組件,二者都能夠降低固有成本。 例如 Teledyne e2v 的 Emerald 5M 傳感器把像素尺寸減小至 2.8μm,讓 S 口(M12) 鏡頭能夠用于五百萬(wàn) 像素全局快門傳感器上,帶來(lái)直接的成本節(jié)省──入門級(jí)的 M12 鏡頭的價(jià)格約為 10 美元,而較大尺寸的 C 口或 F 口鏡頭成本是其 10 到 20 倍。所以減小尺寸是降低嵌入式視覺系統(tǒng)成本的有效方法。
對(duì)于圖像傳感器制造商來(lái)說(shuō),這種降低的光學(xué)成本對(duì)設(shè)計(jì)有另一個(gè)影響,因?yàn)橐话銇?lái)說(shuō),光學(xué)成本越低, 傳感器的入射角越不理想。因此,低成本光學(xué)需要在像素上方設(shè)計(jì)特定的位移微透鏡,以補(bǔ)償來(lái)自廣角的 畸變和聚焦光。
1.2. 傳感器低成本接口
除了光學(xué)優(yōu)化,傳感器接口的選擇也間接影響視覺系統(tǒng)的成本。MIPI CSI-2 接口是實(shí)現(xiàn)節(jié)約成本的最合適 選擇(它最初是由 MIPI 聯(lián)盟為移動(dòng)行業(yè)開發(fā)的)。它已被大多數(shù) ISP 廣泛采用,并已開始在工業(yè)市場(chǎng)采 用,因?yàn)樗峁┝艘粋€(gè)從 NXP、Nvidia、高通公司或 Intel 等公司的低成本的片上系統(tǒng)(SOC)或模塊上 系統(tǒng)(SOM)的集成。設(shè)計(jì)一種具有 MIPI CSI-2 傳感器接口的 CMOS 圖像傳感器,無(wú)需任何中間轉(zhuǎn)換器 橋,直接將圖像傳感器的數(shù)據(jù)傳輸?shù)角度胧较到y(tǒng)的主機(jī) SOC 或 SOM,從而節(jié)省了成本和 PCB 空間,當(dāng) 然,在基于多傳感器的嵌入式系統(tǒng)(如 360 度全景系統(tǒng))中,這一優(yōu)勢(shì)更為突出。
不過(guò)這些好處受到一些限制,因?yàn)?MIPI 接口的連接距離限制為 20 cm,這在傳感器距離主機(jī)處理器較遠(yuǎn) 的遠(yuǎn)程設(shè)置中可能不是最佳的。在這些配置中,以犧牲小型化為代價(jià),使用集成更長(zhǎng)接口的相機(jī)板解決方 案是比較好的選擇。一些現(xiàn)成的解決方案可以集成,例如工業(yè)相機(jī)制造商(如 Flir、AVT、Basler 等)的 相機(jī)板通??稍?MIPI 或 USB3 接口中使用,后者能夠達(dá)到的范圍可以超過(guò) 3 米至 5 米。
1.3. 減小開發(fā)成本
在投資新產(chǎn)品時(shí),不斷上升的開發(fā)成本往往是一個(gè)挑戰(zhàn);它可能會(huì)在一次性開發(fā)費(fèi)上花費(fèi)數(shù)百萬(wàn)美元,并 給上市時(shí)間帶來(lái)壓力。對(duì)于嵌入式視覺,這種壓力變得更大,因?yàn)槟K化(即產(chǎn)品能否切換使用多種圖像 傳感器)是集成商的重要考慮。幸運(yùn)的是,通過(guò)在傳感器之間提供一定程度的交叉兼容性,例如,通過(guò)定 義共享相同像素體系結(jié)構(gòu)的組件系列以具有穩(wěn)定的光電性能,通過(guò)具有共用光學(xué)中心來(lái)共享單個(gè)前端機(jī)制, 以及通過(guò)兼容的 PCB 組件來(lái)簡(jiǎn)化評(píng)估,集成和供應(yīng)鏈,從而減小開發(fā)費(fèi)用。
為簡(jiǎn)化相機(jī)板設(shè)計(jì)(即使用于多款傳感器),有兩種方法設(shè)計(jì)傳感器封裝。針腳對(duì)針腳兼容是相機(jī)板設(shè)計(jì) 人員的首選設(shè)計(jì),因?yàn)樗苁苟喾N傳感器共享同一電路和控制,使得組裝完全不受 PCB 設(shè)計(jì)影響。另一 個(gè)選擇是采用尺寸兼容的傳感器,這樣同一 PCB 可以使用多款傳感器,但是這也意味著他們可能要應(yīng)付 每一款傳感器的接口和布線的差異狀況。
圖 1: 圖像傳感器可經(jīng)設(shè)計(jì)提供針腳兼容 ( 圖左 ) 或尺寸兼容 ( 圖右 ) 以實(shí)現(xiàn)專有 PCB布局設(shè)計(jì)
微型電池驅(qū)動(dòng)的設(shè)備是最明顯的受益于嵌入式視覺的應(yīng)用程序,因?yàn)橥獠坑?jì)算機(jī)阻止任何便攜式應(yīng)用程序 的發(fā)生。為了降低系統(tǒng)的能耗,圖像傳感器現(xiàn)在包含了多種功能,使系統(tǒng)設(shè)計(jì)者能夠節(jié)省電力。
從傳感器角度出發(fā),有多種方法減小嵌入式視覺系統(tǒng)功耗而不損采集幀率。最簡(jiǎn)單的方法是通過(guò)盡可能長(zhǎng) 時(shí)間使用待機(jī)或閑置模式,在系統(tǒng)級(jí)最小化傳感器本身的動(dòng)態(tài)操作。待機(jī)模式通過(guò)關(guān)閉仿真電路,把傳感 器的功耗降低到工作模式的 10%以下。而閑置模式則可把功耗減半,并讓傳感器在數(shù)微秒內(nèi)重新啟動(dòng)獲取 圖像。
而在傳感器設(shè)計(jì)集成節(jié)能的另一個(gè)方法是采用先進(jìn)光刻節(jié)點(diǎn)技術(shù)。技術(shù)節(jié)點(diǎn)越小,轉(zhuǎn)換晶體管所需的電壓 便越小,由于功耗與電壓成正比,這樣就能降低功耗。所以 10 年前使用 180nm 技術(shù) 生產(chǎn)的像素不單把晶體管縮小到 110nm,同時(shí)也把數(shù)字電路的電壓從 1.9 伏降到 1.2 伏。下一世代的傳感 器將使用 65nm 技術(shù)節(jié)點(diǎn),使得嵌入式視覺應(yīng)用更省能。
最后一點(diǎn)是,通過(guò)選擇合適的圖像傳感器,可以在某些條件下降低 LED 燈的能耗。有一些系統(tǒng)必須使用 主動(dòng)照明,例如三維地圖生成、動(dòng)作停頓、或是純粹使用順序脈沖指定波長(zhǎng)來(lái)提高反差。在這些情形下, 減低圖像傳感器在低亮度環(huán)境下的噪聲便能實(shí)現(xiàn)更低的功耗。減小了傳感器噪聲,工程人員便可決定減小 電流密度強(qiáng)度,或是減小集成進(jìn)嵌入式視覺系統(tǒng)的 LED 燈數(shù)目。在其他情況下,當(dāng)圖像捕獲和 LED 閃爍 由外部事件觸發(fā)時(shí),選擇適當(dāng)?shù)膫鞲衅髯x出結(jié)構(gòu)可以顯著節(jié)省電能。使用傳統(tǒng)卷簾快門傳感器,幀全曝光 時(shí) LED 燈必需全開,而全局快門傳感器則允許只在幀的某部份開動(dòng) LED 燈。所以如使用像素內(nèi)相關(guān)雙采 樣(CDS)應(yīng)用下,以全局快門傳感器替代卷簾快門傳感器就可以節(jié)省照明成本,同時(shí)仍保持與顯微鏡中使 用的 CCD 傳感器一樣低的噪聲。
嵌入式視覺的一些偏鋒延展概念,引導(dǎo)我們對(duì)圖像傳感器進(jìn)行全面定制,以 3D 堆疊方式集成所有處理功 能(芯片上的系統(tǒng)) 以實(shí)現(xiàn)優(yōu)化性能和功耗。不過(guò),開發(fā)這一類產(chǎn)品的成本十分高昂,能夠達(dá)到這一集成 水平的全定制傳感器長(zhǎng)遠(yuǎn)來(lái)說(shuō)并非完全不可能,而現(xiàn)在我們正處于一個(gè)過(guò)渡階段,包含將某些功能直接嵌 入到傳感器,以減省計(jì)算負(fù)載和加快處理時(shí)間。
例如在條形碼閱讀應(yīng)用, Teledyne e2v 公司已擁有專利技術(shù),將包含一個(gè)專有條形碼識(shí)別算法的嵌入式 功能加進(jìn)傳感器芯片,這算法可以找出每一幀幅內(nèi)的條形碼位置,讓圖像信號(hào)處理器只需聚焦于這些范圍, 提高數(shù)據(jù)處理效率。
圖二: Teledyne e2v Snappy 五百萬(wàn)像素芯片,自動(dòng)識(shí)別條形碼位置
另一個(gè)減少處理負(fù)載和優(yōu)化“良好”數(shù)據(jù)的功能是 Teledyne E2V 的專利快速曝光模式,該模式使傳感器能 夠自動(dòng)校正曝光時(shí)間,以避免照明條件變化時(shí)出現(xiàn)飽和。這項(xiàng)功能優(yōu)化了處理時(shí)間,因?yàn)樗m應(yīng)了單幀中 光照的波動(dòng),而且這種快速反應(yīng)最大限度地減少了處理器需要處理的“壞”圖像的數(shù)量。
這些功能通常是特定的,需要很好地理解客戶的應(yīng)用程序。只要對(duì)應(yīng)用程序有足夠的了解,就可以設(shè)計(jì)多 種其他片上功能來(lái)優(yōu)化嵌入式視覺系統(tǒng)。
嵌入式視覺系統(tǒng)的另一主要要求是能夠配合狹小空間,或是重量要小,以便用于手持式設(shè)備/或延長(zhǎng)電池推 動(dòng)產(chǎn)品的工作時(shí)間。這就是現(xiàn)在大部份嵌入式視覺系統(tǒng)使用只有 1MP 到 5MP 的低分辨率小型光學(xué)格式傳 感器的原因。
減小像素芯片的尺寸只是減小圖像傳感器占位面積和重量的第一步?,F(xiàn)在的 65nm 工藝讓我們能夠把全局 快門像素尺寸減小至 2.5μm 而不損光電性能。這種生產(chǎn)工藝使得諸如全高清全局快門 CMOS 圖像傳感器 能夠配合手機(jī)市場(chǎng)要求小于 1/3 英寸的規(guī)格。
減小傳感器重量和占位面積的另一主要技術(shù)是縮小封裝尺寸。芯片級(jí)封裝在過(guò)去數(shù)年在市場(chǎng)迅速成長(zhǎng), 在移動(dòng)、車載電子和醫(yī)療應(yīng)用中特別明顯。相較用工業(yè)市場(chǎng)常用的傳統(tǒng)陶瓷 (Ceramic Land Grid Array, 簡(jiǎn)稱 CLGA) 封裝,芯片級(jí)扇出封裝能夠?qū)崿F(xiàn)更高密度連接,因而是嵌入式系統(tǒng)圖像傳感器輕量化小型化 挑戰(zhàn)的出色解決方案。例如 Teledyne e2v 的 Emerald 2M 圖像傳感器芯片級(jí)封裝,側(cè)高只是陶瓷封裝的 一半,而尺寸則減小 30%。
圖 3 :同一芯片采用 CLGA 封裝 ( 圖左 ) 和晶圓級(jí)扇出有機(jī)封裝 ( 圖右 ) 的比較。后者能夠減少占位、厚 度和成本。 。
展望未來(lái),我們預(yù)期新的技術(shù)能進(jìn)一步實(shí)現(xiàn)嵌入式視覺系統(tǒng)所需的更小傳感器尺寸。
三維堆棧是讓半導(dǎo)體器件生產(chǎn)的創(chuàng)新技術(shù),它的原理是在不同晶圓上制造各種電路芯片,然后利用銅對(duì)銅 連接和過(guò)硅沖孔(Through Silicon Vias,簡(jiǎn)稱 TSV)技術(shù)進(jìn)行堆棧和互聯(lián)。三維堆棧因?yàn)槭嵌鄬又氐酒?允許器件實(shí)現(xiàn)比傳統(tǒng)傳感器更小的占位尺寸。而在三維堆棧傳感器中,讀出和處理芯片可以置于像素芯片 和行譯碼器的下方。這樣,傳感器的占位尺寸因縮小的讀出和處理芯片而減小,并且可以在傳感器中加入 更多處理資源以減小圖像信號(hào)處理器的載荷。
圖 4 :三維芯片堆棧技術(shù)有助于實(shí)現(xiàn)像素芯片、仿真和數(shù)字電路,甚至是用于專門應(yīng)用的附加處理芯片組合重迭,減小傳感器面積。
不過(guò),要讓三維堆棧技術(shù)在圖像傳感器市場(chǎng)獲得廣泛應(yīng)用,現(xiàn)在還面對(duì)著一些挑戰(zhàn)。首先這是一個(gè)新興的 技術(shù),其次是它的成本較高,因?yàn)樾枰郊拥墓に嚥襟E,使得芯片成本比使用傳統(tǒng)技術(shù)的芯片高三倍以上。 因?yàn)槿S埋迭將主要是高性能或非常小占位尺寸的嵌入式視覺系統(tǒng)的選擇。
總結(jié)而言,嵌入式視覺系統(tǒng)可以歸納為一種“輕量”視覺技術(shù),可以用于包括 OEM、系統(tǒng)集成商和標(biāo)準(zhǔn) 相機(jī)廠商等不同類型企業(yè)。“嵌入式 “是一個(gè)可用于不同應(yīng)用的概括性描述,因而不能開出列表說(shuō)明它的特 征。不過(guò)優(yōu)化嵌入式視覺系統(tǒng)有幾個(gè)適用法則,就是一般而言,市場(chǎng)推動(dòng)力并非來(lái)自超級(jí)快的速度或超高 的靈敏度,而是尺寸、重量、功耗和成本。圖像傳感器是這些條件的主要推手,所以需要小心選擇合適的 圖像傳感器,以便于優(yōu)化嵌入式視覺系統(tǒng)的總體性能。合適的圖像傳感器能為嵌入式設(shè)計(jì)人員帶來(lái)更多靈 活性,節(jié)省材料清單成本,減小照明和光學(xué)組件的占位面積。它也讓設(shè)計(jì)人員在無(wú)需面對(duì)更多復(fù)雜性的情 況下,選擇來(lái)自消費(fèi)市場(chǎng)的大量經(jīng)濟(jì)適用并具有優(yōu)化深度學(xué)習(xí)功能的圖像信號(hào)處理器。