戴瓊海研討團(tuán)隊(duì)：引領(lǐng)中國破體視頻技巧逾越式發(fā)展海外-T:12669

2015-03-11 12:52 來源：http://m.elinglong.com/ 閱讀：次

清華自動(dòng)化系戴瓊海傳授等完成的“立體視頻獲取與重建技術(shù)及裝置”項(xiàng)目獲2012年度國家技術(shù)創(chuàng)造獎(jiǎng)一等獎(jiǎng)

引領(lǐng)中國立體視頻技術(shù)逾越式發(fā)展

記者程曦實(shí)習(xí)記者白雪蕾

　　項(xiàng)目名稱：立體視頻重建與顯示技術(shù)及安裝

　　完成人：戴瓊海季朝陽劉燁斌曹汛戈張楊藝

　　名目先容：立體視頻是新一代信息獲取、傳布與顯示的前沿中心技術(shù)，存在高沉迷感、寬視場等特色。正在寰球范疇內(nèi)推進(jìn)數(shù)字媒體跟文明工業(yè)的進(jìn)級，引發(fā)世界各國在信息與顯示科技范疇發(fā)展新一輪角逐。

　　該項(xiàng)目繚繞立體視頻重建與顯示的關(guān)鍵技術(shù)獲得突破，授權(quán)發(fā)明專利51項(xiàng)。創(chuàng)立光照-視角協(xié)同采集裝置平臺，發(fā)明光度立體多視角配準(zhǔn)方法，突破運(yùn)動(dòng)周期性限制，率先實(shí)現(xiàn)自由運(yùn)動(dòng)對象的立體視頻光照重建；發(fā)明全自動(dòng)無標(biāo)記點(diǎn)運(yùn)動(dòng)捕獲與紋理驅(qū)動(dòng)立體視頻合成方法，率先攻克了復(fù)雜對象運(yùn)動(dòng)映射的任意視角立體視頻合成難題；發(fā)明了二維到三維視頻轉(zhuǎn)換的多元信息融合的深度計(jì)算方法，研制了“清立方”立體視頻轉(zhuǎn)換芯片和裝置；發(fā)明了無莫爾紋裸眼立體顯示方法及裝置，解決了寬視場逼真裸眼立體顯示難題。關(guān)鍵技術(shù)授權(quán)應(yīng)用于Sonic、東芝和索尼等企業(yè)，取得了顯著的經(jīng)濟(jì)與社會(huì)效益。

　　我們會(huì)一如既往、盡心竭力地推進(jìn)立體視頻技術(shù)的技術(shù)創(chuàng)新，為加速推進(jìn)立體視頻技術(shù)成果的應(yīng)用和產(chǎn)業(yè)化作出新的更大的貢獻(xiàn)；我們也將一直秉承清華“自強(qiáng)不息，厚德載物”的校訓(xùn)，在新的科學(xué)探索征途上義無反顧。獲獎(jiǎng)只是一個(gè)新的起點(diǎn)，創(chuàng)新路上還會(huì)有更多的挑戰(zhàn)與收成期待著我們。

——戴瓊海

圖為“清立方”立體處置芯片與裝置�！　�

圖為視角-光照協(xié)同采集裝置及協(xié)同掌握器。

　　走進(jìn)位于清華大學(xué)主樓7層一間一般的實(shí)驗(yàn)室，拉開帷幔，一個(gè)直徑6米的大“籠子”映入眼簾。按下節(jié)制板上的開關(guān)，瞬時(shí)光，位于64個(gè)平面上的600多盞LED燈交替閃耀，光影錯(cuò)綜，令人眼花。

　　這個(gè)“籠子”的大名叫“變光照的多視點(diǎn)動(dòng)態(tài)場景采集平臺”。暗藏在600多束點(diǎn)光源中的，還有間插耦合曝光的40臺相機(jī)，每8臺裝備一個(gè)把持器。通過這樣的協(xié)同相機(jī)陣列和LED光源陣列，能夠?qū)崿F(xiàn)三維對象的高精度建模，為立體影視制作供給要害的技術(shù)支持。自2010年以來，它始終是全球精度排名第一的三維建模裝備。

圖為戴瓊海與同窗們一起研究研究中碰到的問題。

　　它的創(chuàng)造者，是清華大學(xué)主動(dòng)化系副主任戴瓊海教學(xué)所率領(lǐng)的團(tuán)隊(duì)。10余年來，他們在國度天然迷信基金、“863”打算、以及省部級項(xiàng)目等支撐下，在立體視頻獲取、天生與顯示等應(yīng)用基礎(chǔ)理論和核心關(guān)鍵技術(shù)方面完成了具備自主知識產(chǎn)權(quán)的多項(xiàng)發(fā)現(xiàn)創(chuàng)新，打破了多個(gè)癥結(jié)技術(shù)，轉(zhuǎn)變了長期以來視頻核心技術(shù)重要依附引進(jìn)的傳統(tǒng)格式，實(shí)現(xiàn)了核心技術(shù)對外輸出。研發(fā)結(jié)果明顯加強(qiáng)了我國立體視頻核心技術(shù)的國際競爭力，構(gòu)建了實(shí)踐立異、關(guān)鍵技術(shù)沖破、工程化應(yīng)用和產(chǎn)業(yè)化的技術(shù)支撐平臺。

　　2013年1月，“立體視頻獲取與重建技術(shù)及裝置”項(xiàng)目獲2012年度國家技術(shù)發(fā)明獎(jiǎng)一等獎(jiǎng)。

占據(jù)立體視頻技術(shù)制高點(diǎn)

　　上世紀(jì)90年代末，數(shù)字媒體在信息產(chǎn)業(yè)中初露崢嶸頭角，國際上呈現(xiàn)大量流媒體編碼技術(shù)，但中國在這一領(lǐng)域卻缺少屬于自己的知識產(chǎn)權(quán)。中國企業(yè)每生成一臺DVD需支付的專利費(fèi)高達(dá)利潤的10.2倍，跨國公司僅專利費(fèi)每年就從中國獲利高達(dá)數(shù)十億美元。當(dāng)時(shí)正帶領(lǐng)團(tuán)隊(duì)從事流媒體研究的戴瓊�？丛谘劾�，痛在心上。

　　進(jìn)入21世紀(jì)，歐盟、美國、日本的立體視頻研討項(xiàng)目陸續(xù)啟動(dòng)，引發(fā)了世界各國在信息顯示技術(shù)領(lǐng)域新一輪的角逐。戴瓊海團(tuán)隊(duì)靈敏地感到到，立體視頻的時(shí)期行將到來，中國市場再次面臨“狼來了”的要挾，但這也是中國信息技術(shù)實(shí)現(xiàn)源頭創(chuàng)新、趕超發(fā)達(dá)國家的一次絕佳契機(jī)。

　　“我們覺得很難做，然而如果能‘撲上去’占到制高點(diǎn)，就可以掙本國人的錢，讓外國人用中國的知識產(chǎn)權(quán)。&rdquo,海外華商;恰是抱著這樣的信心，固然面臨內(nèi)容匱乏的窘境和技術(shù)路線的徘徊，戴瓊海和他的團(tuán)隊(duì)還是義無反顧地開端了立體視頻技術(shù)研究的漫漫征程。

　　立體視頻與平面視頻最大的差別，在于它不僅是一個(gè)簡單的解碼過程，而是須要采集多視角的信息，并且重形成擁有縱深感的視頻影像，栩栩如生地顯示在人們眼前。這其中波及從理論到應(yīng)用、從內(nèi)容到顯示的一系列難題。

　　對現(xiàn)實(shí)場景進(jìn)行重建與真實(shí)感繪制是立體視頻內(nèi)容生成的核心技術(shù)之一。通過調(diào)研，戴瓊海團(tuán)隊(duì)以為，突破傳統(tǒng)立體模型對3DMax等人工干涉量大的專業(yè)軟件的限度，轉(zhuǎn)而通過現(xiàn)實(shí)場景對象采集的多視圖像來重建高真實(shí)感的三維模型幾何和紋理，是成為準(zhǔn)確立體重建技術(shù)的必定發(fā)展趨勢。這其中，重要的核心問題就是如何進(jìn)步建模精度。

　　最初，團(tuán)隊(duì)嘗試搭建了包容64個(gè)相機(jī)的系統(tǒng)，雖然具備了一定的立體效果，但并不可能重現(xiàn)真正的立體感。接著他們又搭起一座鋼架，但精度的提高還是不顯著。國際同行的實(shí)際教訓(xùn)告知他們，相機(jī)越密，立體感就越好。但是相秘密度增添必然導(dǎo)致數(shù)據(jù)量異常宏大，很難處理。這一矛盾又如何解決呢？

　　經(jīng)由重復(fù)嘗試和研究，團(tuán)隊(duì)發(fā)現(xiàn)光的變更對立體重建的精度有必定影響。傳統(tǒng)方法是拍攝一系列視頻然落后行匹配，相似激光掃描，細(xì)節(jié)匹配不佳導(dǎo)致三維模型重建精度不高；而假如參加光照的因素，不斷變換光照并進(jìn)行拍攝，就可以通過入射與反射時(shí)拍攝的視頻信息找到法線的方向，從而得悉其絕對的地位關(guān)系。把這一“光度立體”的方法和多視圖匹配的方式結(jié)合起來，就可以得到精度十分高的三維重建辦法。

　　由此，戴瓊海團(tuán)隊(duì)在國際上首次提出了視覺場理論，樹立了視角、光照和事件的關(guān)系，本文開頭所描寫的“籠子”也由此出生，不僅減少了相機(jī)數(shù)量，而且使建模精度得到了質(zhì)的提升。到2010年，基于該體系實(shí)現(xiàn)的三維建模誤差僅小于0.3毫米，在由美國國家科學(xué)基金會(huì)（NSF）等多家威望機(jī)構(gòu)組織的國際評測中重建精度排名第一，至今未被超出。

“一定要做最具原創(chuàng)性的研究”

　　立體視頻的風(fēng)潮席卷全球，但是站在這一領(lǐng)域技術(shù)研究最前沿的戴瓊海卻始終告誡團(tuán)隊(duì)師生：“不要盲目隨著別人做，一定要做最具原創(chuàng)性的研究。”

　　當(dāng)今影視作品中往往包括大批非現(xiàn)實(shí)場景或?qū)ο�，既要看起�?ldquo;真”，又要看起來“活”，立體視頻制作中實(shí)在感紋理合成與運(yùn)動(dòng)自在控制的抵觸，長期以來一直是妨礙技術(shù)發(fā)展的共性困難。戴瓊海團(tuán)隊(duì)提出了一系列采樣、跟蹤及合成方法，實(shí)現(xiàn)了從“拍攝（反演）”到“創(chuàng)造”的突破，為立體影視制作提供了關(guān)鍵的技術(shù)支撐。形象地說，應(yīng)用他們的技術(shù)來拍大片，技術(shù)職員再也不必費(fèi)時(shí)費(fèi)勁在演員身材的各個(gè)關(guān)鍵節(jié)點(diǎn)上作出標(biāo)志，后期再逐一去除標(biāo)記；“武林高手”們再也不用穿上呼吸困頓的緊身衣，衣袂飄飄就可以把絕技演員的動(dòng)作“乾坤挪移”到本人身上，即便是懸崖峭壁這樣無比龐雜的環(huán)境也可以輕松實(shí)現(xiàn)動(dòng)作映射——多視角高速采集活動(dòng)對象，實(shí)現(xiàn)任意場景、任意衣飾下的三維運(yùn)動(dòng)跟蹤，將任意重建運(yùn)動(dòng)或創(chuàng)作運(yùn)動(dòng)映射至采集對象……與之比擬，當(dāng)年勇奪全球票房冠軍的3D巨制《阿凡達(dá)》所采用的技術(shù)都要遜色不少。

　　人們愛看立體視頻，但全新采集、制造的立體片源究竟數(shù)目極其有限。如何彌補(bǔ)這一宏大缺口？傳統(tǒng)平面影片的立體化轉(zhuǎn)換是一種有效的解決手腕。二維轉(zhuǎn)三維說來輕易，真正做起來可不是用拉伸等技能使對象看起來立體那么簡略，而是一個(gè)“源于現(xiàn)實(shí)，高于事實(shí)”的轉(zhuǎn)換進(jìn)程，通過對場景對象的邏輯關(guān)系、深度關(guān)聯(lián)進(jìn)行從新映射，到達(dá)晉升片子立體藝術(shù)品質(zhì)的后果，構(gòu)成技術(shù)與藝術(shù)的有效融會(huì)。

　　戴瓊海團(tuán)隊(duì)針對信息欠定前提下平面視頻立體轉(zhuǎn)換的問題，發(fā)現(xiàn)了透視幾何、遮擋關(guān)系、聚焦散焦等多元深度信息耦合機(jī)理，建立了紋理、光照與物理空間的關(guān)系模型與視角-紋理-運(yùn)動(dòng)相關(guān)的深度反演機(jī)制，提出了高維空間深度風(fēng)行表現(xiàn)理論與稀少光流跟蹤的視頻深度信息流傳方法。理論成果發(fā)表于2011年4月的《IEEE多媒體》（IEEE Multimedia）雜志，并作為2011年12月的領(lǐng)域“亮點(diǎn)”文章，登載于“本日計(jì)算”（Computing Now，IEEE計(jì)算機(jī)學(xué)會(huì)的新媒體出版物，包含13個(gè)IEEE期刊）的最新熱門研究首頁。

　　在立體視頻顯示方面，戴瓊海團(tuán)隊(duì)結(jié)合硬件高效性與軟件機(jī)動(dòng)性，揭示了莫爾紋與光柵參數(shù)之間的影響法則，提出了三維影像深度調(diào)節(jié)和自適應(yīng)濾波方法，突破面板尺寸和觀看間隔制約，實(shí)現(xiàn)了寬視場真切立體顯示，突破了制約裸眼立體顯示技術(shù)的固執(zhí)瓶頸。

　　2012年，戴瓊海在國際立體視頻大會(huì)上作了題為“視覺場捉拿和立體視頻應(yīng)用”（Vision Field Capturing and 3DTV Application）的呈文，成為第一個(gè)在該大會(huì)上展現(xiàn)原創(chuàng)性成果的中國專家。兩個(gè)半小時(shí)的終場講演，數(shù)百名歐美學(xué)者由衷敬仰地豎起大拇指，那一刻，每位團(tuán)隊(duì)成員都深深感到作為中國人、作為清華人的驕傲。

讓立體視頻走進(jìn)各行各業(yè)、千家萬戶

　　除了數(shù)字媒體和文化創(chuàng)意產(chǎn)業(yè)，立體視頻技術(shù)在軍事、航天、醫(yī)療、教導(dǎo)等領(lǐng)域也有相稱普遍的運(yùn)用遠(yuǎn)景。多年來，戴瓊海團(tuán)隊(duì)始終保持產(chǎn)學(xué)研親密聯(lián)合，密切接洽現(xiàn)實(shí)需要，讓立體視頻走進(jìn)各行各業(yè)、千家萬戶。

　　早在 2006年，在廣東省科技廳的支持下，團(tuán)隊(duì)就在清華大學(xué)深圳研究生院建立了廣東省-教育部立體視頻產(chǎn)學(xué)研基地。他們還與深圳超多維、北京凌云光電子等公司開展密切的產(chǎn)學(xué)研合作，讓前沿技術(shù)在信息產(chǎn)業(yè)中“落地生根”。

　　2010年，上海世博會(huì)中國館的兩大展區(qū)——“盼望大地”、“森林碳匯”讓前來參觀的各國游客記憶深入、流連忘返：步入展區(qū)，宛如置身于大做作的懷抱，“濕地”內(nèi)的水潭明澈見底，流水潺潺，可惡的小魚一會(huì)兒潛入水底，一會(huì)兒躍出水面……當(dāng)游客忍不住伸手觸摸時(shí)，才發(fā)明它實(shí)在是用3D多媒體虛構(gòu)技術(shù)所演繹的天然氣象。這塊采取高精度三維建模技巧實(shí)現(xiàn)的裸眼破體電視屏幕，由戴瓊海團(tuán)隊(duì)與上海大學(xué)等配合實(shí)現(xiàn)，成為科技辦博的一大亮點(diǎn)。

　　2010年8月，項(xiàng)目發(fā)明的平面視頻立體轉(zhuǎn)換技術(shù)通過美國有名數(shù)字多媒體軟件公司SONIC全球競標(biāo)后，應(yīng)用于其旗艦產(chǎn)品Raxio Creator立體視頻轉(zhuǎn)換編纂于播放平臺，支持全球首款立體視頻播放器，在北美市場同類產(chǎn)品中占領(lǐng)率高達(dá)62%。

　　2011年3月20日上午，我國完整領(lǐng)有自主常識產(chǎn)權(quán)的立體視頻芯片“清立方”在清華大學(xué)主樓招待廳發(fā)布研發(fā)成功并舉辦協(xié)作簽約典禮。目前，“清立方”已經(jīng)勝利實(shí)當(dāng)初電視機(jī)、機(jī)頂盒等產(chǎn)品中范圍化利用，在終端實(shí)現(xiàn)了高清平面視頻到立體視頻的實(shí)時(shí)重建�；ㄙM(fèi)者應(yīng)用多少塊錢一副的紅綠眼鏡，即可觀賞3D效果的電視畫面。

　　此外，項(xiàng)目發(fā)明的寬視場裸眼立體顯示系統(tǒng)應(yīng)用于東芝、索尼、華碩公司的產(chǎn)品且已成功推向市場。受權(quán)全球視覺盤算技術(shù)行業(yè)首領(lǐng)NVIDIA公司在其GeForce系列產(chǎn)品中支持裸眼立體顯示軟件驅(qū)動(dòng)，該芯片在個(gè)人電腦市場據(jù)有率達(dá)到了60%以上，授權(quán)著名多媒體軟件公司Cyberlink開發(fā)立體視頻播放器，占市場份額的70%以上。

　　項(xiàng)目發(fā)明的技術(shù)形成的相干產(chǎn)品自投放市場以來，成功應(yīng)用于消費(fèi)電子、國防軍事、城市三維丈量、影視動(dòng)漫、產(chǎn)業(yè)制作等領(lǐng)域，項(xiàng)目成果造成的產(chǎn)品應(yīng)用領(lǐng)域和市場份額正在不斷擴(kuò)展。

在新的科學(xué)征途上一往無前

　　立體視頻技術(shù)項(xiàng)目團(tuán)隊(duì)的發(fā)展強(qiáng)大，蘊(yùn)含了“老中青少”四代清華自動(dòng)化人的理想與激情。老先輩張乃堯、徐文立，與自己同樣人到中年的爾桂花，年少有為的季向陽、劉燁斌……說起多年來并肩作戰(zhàn)的團(tuán)隊(duì)骨干，戴瓊海滿懷快慰與感謝。

　　清華大學(xué)主樓724、725試驗(yàn)室是他們的主要“依據(jù)地”，團(tuán)隊(duì)中也由這兩個(gè)“番號”衍生出一個(gè)喜聞樂見的典故：“724”，就是放松每周7天、天天24小時(shí)的時(shí)間，盡力拼搏不放松；“725”則要在此基本上更進(jìn)一步，“把24小時(shí)當(dāng)成25小時(shí)來過”。高效再高效、斗爭再奮斗、集約再粗放、發(fā)明再創(chuàng)造，724和725見證了團(tuán)隊(duì)成員多年來一直奔馳的姿勢、不懈翻新的腳步。

　　從這個(gè)優(yōu)秀的群體中，先后走出了17名博士后（其中3名清華大學(xué)優(yōu)秀博士后）、8名博士（其中兩名清華優(yōu)良博士畢業(yè)生）和41名碩士。團(tuán)隊(duì)還為國家播送電視系統(tǒng)舉行了四屆工程碩士班，培育出百余名工程碩士。

　　“每當(dāng)我深夜走出主樓，回望還有良多亮著燈的實(shí)驗(yàn)室，我清楚我只是清華浩瀚星空中的一顆。在從前幾年的學(xué)術(shù)生涯中，我對清華人愛崗敬業(yè)，敢于創(chuàng)新的品德有了更加深切的感悟。”這是團(tuán)隊(duì)成員、自動(dòng)化系2009級博士曹汛在清華大學(xué)2012年研究生畢業(yè)儀式上的一段肺腑之言。年青的曹汛目前已是南京大學(xué)的一名副教授，秉承清華人“愛國貢獻(xiàn)，尋求出色”的傳統(tǒng)，在新的工作崗位上持續(xù)追揮灑著幻想與豪情。

　　面對國家技術(shù)發(fā)明一等獎(jiǎng)的聲譽(yù)，團(tuán)隊(duì)成員們想得更多的，仍是中國在這一領(lǐng)域的將來發(fā)展，他們更樂意把這次獲獎(jiǎng)看作是推動(dòng)政產(chǎn)學(xué)研用嚴(yán)密合作，加速立體視頻技術(shù)成果產(chǎn)業(yè)化的重要契機(jī)。“一方面，我們會(huì)判若兩人、盡力而為地推進(jìn)立體視頻技術(shù)的技術(shù)創(chuàng)新，為加速推進(jìn)立體視頻技術(shù)成果的應(yīng)用和產(chǎn)業(yè)化作出新的更大的奉獻(xiàn)；另一方面，我們也將一直秉承清華‘發(fā)奮圖強(qiáng)，厚德載物’的校訓(xùn)，在新的科學(xué)摸索征途上一往無前。獲獎(jiǎng)只是一個(gè)新的出發(fā)點(diǎn)，創(chuàng)新路上還會(huì)有更多的挑釁與播種等候著咱們。”戴瓊海動(dòng)搖地說。

（清華消息網(wǎng)1月19日電）

編輯：襄樺

相關(guān)的主題文章：