學院動態

當前位置: 首頁 > 新聞公告 > 學院動態 > 正文

計算機學院博士生周號益等榮獲國際人工智能會議AAAI最佳論文獎

發布時間: 2021-02-06     作者:    點擊次數:

24日,第35屆人工智能國際會議AAAI在線召開,在開幕式上,組委會揭曉了本屆會議最佳論文獎(Best Paper Award),共三篇論文入選,其中首篇最佳論文由北京航空航天大學計算機學院、北京航空航天大學大數據與腦機智能高精尖創新中心博士生周號益(第一作者)、彭杰奇、張帥和李建欣教授(通訊作者)聯合UC Berkeley大學仉尚航博士、Rutgers大學熊輝教授等團隊所斬獲,論文題目為《Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting》。AAAI是世界人工智能領域最頂尖的國際學術會議之一,本屆會議提交論文數量達到9034篇,再次創下投稿量歷史新高。這是中國大陸42年來第二次、時隔近十年再次獲得人工智能領域頂級會議AAAI最佳論文獎項。同時,北航計算機學院碩士生郝雅茹和指導教師許可教授聯合微軟亞洲研究院董力、韋福如完成的論文“Self-Attention AttributionInterpreting Information interactions inside transformer”獲得AAAI最佳論文Runners Up獎。


1 面向長序列數據的Informer網絡結構示意圖


長時間序列分析預測一直是人工智能基礎理論研究的難點,對工業健康維護、疾病傳播預測、網絡安全分析等關鍵領域具有重要作用。獲獎論文指出傳統循環神經網絡因誤差逐層累積已不能滿足長序列數據分析的需求,并首次明確了Transformer神經網絡架構對長序列問題建模的重要意義。該架構的核心優勢是構建了自注意力機制來捕捉跨長度的前后相關性,但其伴隨的重大挑戰是自注意力操作具有隨輸入長度的二次時間復雜度,無法適用于長序列輸入和輸出。據此,該論文突破了傳統自注意力的計算復雜度限制,提出一種全新的從概率角度進行自注意力矩陣稀疏化的模型ProbSparse Attention。該模型可以允許以非啟發式的方式對自注意力計算進行長尾顯著性分析,摘取長序列中重要的前后相關性對,可以依采樣方案將計算復雜度降低至對數線性復雜度,令ProbSparse自注意力滿足長序列分析的建模要求。同時,該論文還提出了注意力蒸餾機制來允許構建更深的長序列堆疊模型,同時通過生成式解碼來實現長序列單次前向輸出。這是首次在長序列問題上運用Transformer神經網絡架構,依靠所提出的可分析稀疏化、注意力蒸餾和生成式解碼組成Informer網絡結構,可以在同樣硬件限制下顯著提高序列分析任務性能,為解決長序列問題提供了一種全新的解決方案。


北航計算機學院博士生周號益一直致力于人工智能理論與應用研究,解決工業、醫療等行業中真實問題。該同學與國家電網等合作,所研發設備故障預測算法在山東等省份應用,監測范圍覆蓋1300余座110kV500kV超高壓核心變壓器,輔助研判重型設備負載下工況,保障重大固定資產安全;與陳天宇等同學參加2020年工業和信息化部全國工業APP和信息消費大賽獲得一等獎,大賽共有包括中船重工、中國一汽、科大訊飛等2310支隊伍參賽。與北京大學第三醫院、北京大學腫瘤醫院、北京天壇醫院等持續合作,基于時空序列方法建立慢阻肺加重等預警模式,聯合項目于2019年獲評北京市首都轉化醫學創新大賽優秀獎。2020年,周號益作為學生負責人參與高精尖創新中心的新冠疫情大數據防控分析任務,國家衛健委傳染病智慧化多點觸發監測預警平臺規劃和試點驗證等工作,支撐國家疫情防控決策,得到了國務院辦公廳、北京市衛健委等專函致謝。


北京航空航天大學大數據與腦機智能高精尖創新中心:首批北京高校高精尖創新中心之一,該中心旨在圍繞復雜大數據可計算、群體智能可學習、多態跨域知識可關聯等科學問題,開創面向腦智能的數據科學、智能科學、認知科學三大研究方向,創建以數據建模、群智學習、知識圖譜為重點的大數據科學理論體系,研制自組織、自適應、自生長的腦機智能技術系統,創造以腦機智能為核心的機器腦社會腦,從而把中心建設成為國際一流的大數據科學與腦機智能創新研究高地和人才匯聚中心。(http://bdbc.buaa.edu.cn/


論文預刊印版本地址:https://arxiv.org/abs/2012.07436

論文項目地址:https://github.com/zhouhaoyi/Informer2020




最新无码专区在线视频_在线无码专区最新视频|最新无码在线专区视频-成人影片線上看