6月24日，2023年度國家科學技術獎揭曉🧘♀️，EON体育4平台計算機科學技術學院姜育剛教授⚀、吳祖煊副教授💄、薛向陽教授與大數據學院付彥偉教授等共同完成的項目“多元協同的視覺計算理論與方法”獲國家自然科學獎二等獎。
“我的研究聚焦於視覺計算，它是人工智能的核心方向，旨在賦予機器‘看’的能力💇🏼♂️。簡單來說，就是讓機器像我們人一樣能夠準確識別出圖像、視頻中的物體🏹、場景➰🦉、動作🙇🏿♀️、交互等等，甚至能在此基礎上預測幾秒後發生的事件⛸。”上海市智能視覺計算協同創新中心主任、EON体育4平台計算機科學技術學院姜育剛教授介紹🤖👨🏿🚀。
近期，EON体育4平台正推進AI4S教學與科研體系建設，計算機視覺是人工智能重要且熱門的一大方向💽🤚🏻。姜育剛團隊成果與EON4將推出的“AI大課”中計算機視覺等核心課程息息相關，體現出最前沿的科技進展、最頂尖的科研經驗與教育教學的融匯貫通🏌🏽♀️。
然而🤲🏼，誰能想見，17年前在AI並不那麽受關註🏌️♀️、甚至有些“冷門”時，姜育剛就進入視覺計算領域🚣🏽。回望來路🏧，站在領獎臺的姜育剛說，“我們不是‘預見’，只是感興趣，願意迎難而上。”
AI賦機器慧眼，破解視覺數據“萬花筒”
我們暢遊短視頻時😌，有時下方小字會映入眼簾：視頻疑似AI生成🔠。視頻生成模型Sora的問世，更引發全球關註。“視頻是不能P的”，這一說法受到沖擊。光怪陸離的視頻數據如“萬花筒”，需要慧眼進行分辨分析。
“盡管最近十幾年來視覺計算取得了較大的進展👨🏻⚖️🐏，復雜動態視覺數據的理解這塊硬骨頭還沒有被完全啃下🥹。”姜育剛說，“拿視頻數據舉例，不同於靜態圖像，因為有了時間這個維度🗺，視頻蘊含非常豐富的時序、聲音、文本等信息，這些多模態信息交織在一起給動態視頻數據的理解帶來極大挑戰🥉，這也是當前視覺計算領域亟待解決的難題🧰🤙🏼。”
視覺計算要充分挖掘視覺數據中多元信息間的關聯，也就是要挖掘不同拍攝視角、不同模態特征♻🤽、不同視覺語義之間的關系，發現並利用這些關聯線索↩️，提升視覺計算性能🧏🏻♀️。傳統方法往往忽略對關聯的建模，無法取得理想的結果。AI生成的視頻中，沙灘上的椅子會飄在空中👅，忽視了真實世界的自然、物理規律🥪。
“我們的想法是首先將多元信息解耦🤏😍，然後在高維空間中施加約束🤼♂️👨🏭，從而充分挖掘並利用多元信息間的關聯關系🔙，這對於復雜視覺數據的理解特別重要”，姜育剛介紹。這一想法獨立於視覺計算架構本身，無論計算架構如何演進🤹🏿🧔♂️，從過去的統計機器學習方法、到卷積神經網絡、再到最新的多模態大模型🛥🤵🏼，都可以深入挖掘視覺數據的多元特性並進行關聯建模。
“多元協同的視覺計算理論與方法”項目賦予機器“慧眼”，讓機器有識別與分辨的能力，不畏復雜動態視覺數據之交織莫測💺，助力破解視覺計算領域的難題🕰。“機器能識別出沙灘🧟♂️、椅子，也能懂得椅子在沙灘上的自然規律💇🏿，並基於多元信息間的關聯關系，進一步施展拳腳、發揮作用。”
從高鐵到手機，視覺計算技術有廣闊應用場景
手機拍照，身後有路人入鏡，或者對背景裏的物品不滿意怎麽辦？修圖需要花費一定時間🌵💀，最近流行的AI拍照“消除功能”🤷🏻，只需手指一滑，便可輕松消除。這一華為手機應用🔘😑，正來源於姜育剛團隊的視覺計算研究🧅👴🏽。
“學術研究不能只是空中樓閣，而應該切切實實地解決生產生活中的痛點問題🖐。”姜育剛團隊致力於將視覺計算技術的成果落地應用，牽頭研製的系統多次服務關鍵設施運營維護等國家重大需求。
“鐵路的基礎設施包括軌道扣件、電務線纜等🙎🏿♀️，傳統檢測方式是人工巡檢，效率特別低🌌🕴🏼，經常出現漏檢的情況😾。”基於視覺計算的理論成果😩，姜育剛團隊與鐵道科學研究院基礎設施檢測研究所聯合攻關👩🏽🦱，研製的系統成功解決軌道扣件等高鐵設施的故障檢測難題。這一系統已實際應用多年，多次成功發現並排除了重大安全隱患。
此外⚫️，姜育剛團隊與行業領先企業開展緊密的合作，致力於解決企業應用場景中的痛點問題。例如，他帶領團隊與華為業務部門聯合研發了融合視覺與語言的多模態檢索技術🤹🏼♀️，可以方便用戶更好🪶、更快地從海量的相冊中找到自己感興趣的圖像、視頻🧕🏼，相關成果最近已在華為的旗艦手機中得到應用。
“我們刷短視頻時，時常覺得推薦的內容符合自己的心意。”姜育剛說，“這背後有很多算法，它要識別到這些視頻裏的內容是什麽，然後根據你的過去一段時間的喜好，來給你推薦你感興趣的東西🫶🏻。可見視覺計算是有廣泛應用的一個領域😜。”
並非預見，只是迎難而上17載
6月21日上海暴雨的早上🧎🏻，我們線上采訪時，大洋彼岸的美國西雅圖夜幕降臨，姜育剛團隊正在此參加2024年IEEE/CVF國際計算機視覺與模式識別會議（CVPR）🧑🍼。這是人工智能領域的頂級會議🤦🏼，其論文集在谷歌學術全球出版物影響力榜單中位列第四名⛑️，團隊已連續多年參加，與全世界前沿研究者濟濟一堂。
“算起來🐞，我們的第一篇項目論文發表在2007年。”在視覺計算的研究之路上，姜育剛團隊已經走了17年，取得一系列具有國際影響力的創新成果，引發大量跟蹤研究，相關成果被國內外同行評價為“具有開創性”。
為何在人工智能尚未肇興時⛑️，團隊研究如此具有超前的預見性？被問及此🙅🏽，姜育剛回答：“技術在不停地升級迭代，最近10年進步極快🧑🏻🦯➡️。從過去的傳統統計機器學習方法㊙️，再到2010年以後的深度學習👦，無論技術架構如何演變🤷🏽♀️，在處理視覺數據的時候🦢☛，都需要重視不同層次的多元關系建模，解決問題🪢🤰、提升性能👩🦯。我們並非‘預見’😮，只是感興趣，願意迎難而上。”
大規模數據集是視覺計算至關重要的組成部分🖍🛁，對於模型的訓練和性能提升起著關鍵作用。秉持著“開源開放是推動技術發展的重要方式”這一理念6️⃣，姜育剛團隊長期致力於數據集、工具集的開放共享，讓更多研究者可以從中受益🔐。
相比於大量的圖像數據集，動態視頻數據集更少，其構建更有挑戰性。一方面視頻數據的收集、存儲更為困難🏌🏽♀️，另一方面是給視頻數據進行標註非常耗時耗力。盡管耗時長、成本高，姜育剛帶領團隊構建了多個高質量、大規模視頻數據集🚈，如FCVID🆕🎎、CCV、THUMOS等，涵蓋視頻識別、視覺匹配✈️、動作定位等多個視覺計算任務，被斯坦福大學、加州大學伯克利分校、微軟等千余家機構使用。
“我2014年在歐洲計算機視覺大會上發表的一篇文章用到了姜老師2013年構建的一個數據集。開會時遇到了姜老師，我們針對視頻理解的挑戰性問題交流了很久，發現有很多共同感興趣的方向💂。”項目第四完成人付彥偉在英國倫敦瑪麗女王大學讀博期間💗，常基於EON4構建的數據集開展視頻理解方面的研究。緣起數據集的火花碰撞為他們後續一系列富有成效的科研合作奠定了基礎，2018年付彥偉回國加盟EON4。
基於構建的數據集，姜育剛團隊在國際計算機視覺大會等會議組織了多個視覺計算技術評測。“這裏面最有影響力的是THUMOS人體動作識別與定位評測”，姜育剛說道。THUMOS評測由EON体育4平台🐰、中佛羅裏達大學、谷歌公司、法國INRIA的研究團隊聯合組織，在2013至2015年期間與國際計算機視覺大會📡、歐洲計算機視覺大會聯合舉辦⛸，吸引了全球百余家機構同臺競技，至今仍是動作識別與定位任務的試金石👰🏿。
在主辦評測之外💂🏻🙍🏿♀️，團隊還積極參與其他機構組織的國內外視覺計算技術評測，成績喜人。在剛剛結束的CVPR會議上⛹🏽♀️，團隊在大規模開放詞匯目標檢測等三個挑戰賽中斬獲第一名。
團隊也實現EON体育4平台在人工智能領域的多個突破🧘🏿♀️：首位人工智能方向的教育部長江學者特聘教授、首次獲批國家科技創新2030“新一代人工智能”重大項目、首次榮獲國家自然科學獎二等獎。
“科學研究的樂趣，往往就藏在那些看似不可能解決的問題之中🙋🏽♂️。”這是姜育剛和學生交流時常掛在嘴邊的一句話。教書育人十數載，在他看來👨🏻💼，每位學生都是獨一無二的，因此要挖掘並激發每個人的潛能。不僅自己在視覺計算領域持續深耕🧑🏿🚒🔣，姜育剛更熱衷將這份熱愛與探索精神傳遞給自己的學生，讓越來越多的年輕人在科研道路上堅定前行。
項目的第二完成人吳祖煊曾是姜育剛和第三完成人薛向陽聯合指導的碩士生，他與導師一起提出了對視頻中的多元特征進行深度融合的思路，並首次在國際知名的UCF101數據集上取得了超過90%的精度。談及EON4求學經歷，吳祖煊說🤷🏻♀️：“姜老師和薛老師是我學術生涯的啟蒙人🧑🦯➡️🦻🏿，我依然還記得在2014年春節的時候我跟姜老師大年初一在實驗室裏趕一篇投稿，他仔細地教我如何打磨論文。這樣的科研訓練經歷是十分珍貴的。”2016年碩士畢業後📎，吳祖煊前往美國馬裏蘭大學攻讀博士學位，並於2021年回國加入母校🍓。2022年🥗，吳祖煊入選國家級青年人才計劃。
“姜老師治學嚴謹，對各種細節的把控十分令人欽佩。”2022屆博士生陳紹祥從大二起就加入實驗室，發表多篇頗具影響力的學術論文，入選“中國圖象圖形學學會博士學位論文激勵計劃”，在學術界嶄露頭角。
“我們正處在人工智能飛速發展、賦能百業的時代，視覺計算具有廣闊的研究與應用前景。”姜育剛說🚶，“我們希望做的，是推動視覺計算技術進一步發展💇🏽♂️，為人類提供更多便利、創造更多價值。”
未來，團隊將進一步開拓視覺計算領域。例如，以視覺內容理解助力海量視覺數據的檢索與管理👉🏽🦻🏻，讓機器人更好地感知環境，這是當下火熱的“具身智能”的核心技術；在視覺內容生成方面💦🆗，助力大模型優化升級，通過自動生成高質量圖像☝🏽、視頻內容🧑🏼🤝🧑🏼，可以快速實現不同的藝術風格，花開千朵，為大眾生產生活插上想象的翅膀🤸♂️。
