(網(wǎng)經(jīng)社訊)趨勢(shì)1：科學(xué)計(jì)算中的數(shù)據(jù)與機(jī)理融合建模
機(jī)器學(xué)習(xí)與科學(xué)計(jì)算的結(jié)合，即數(shù)據(jù)和機(jī)理的融合計(jì)算，為科學(xué)研究提供了新的手段和范式，成為了前沿計(jì)算的典型代表。從機(jī)理出發(fā)的建模以基本物理規(guī)律為出發(fā)點(diǎn)進(jìn)行演繹，追求簡(jiǎn)潔與美的表達(dá)；從數(shù)據(jù)出發(fā)的建模從數(shù)據(jù)中總結(jié)規(guī)律，追求在實(shí)踐中的應(yīng)用效果。這兩方面的建模方法都在科學(xué)史中發(fā)揮了重要作用。
近年來(lái)，科學(xué)計(jì)算發(fā)展的一個(gè)重要趨勢(shì)是由單純基于機(jī)理或數(shù)據(jù)的范式向數(shù)據(jù)與機(jī)理的融合建模與計(jì)算發(fā)展。眾多前沿科學(xué)領(lǐng)域中的許多重要問(wèn)題常常涉及多個(gè)發(fā)生在不同時(shí)空尺度上相互耦合的物理過(guò)程，具有高度的各向異性、奇異性、非均勻性以及不確定性等特征。人類(lèi)只能知道部分原理和數(shù)據(jù)，此時(shí)機(jī)理與數(shù)據(jù)結(jié)合的方式將成為研究這些問(wèn)題的有力手段。
趨勢(shì)2：深度學(xué)習(xí)理論迎來(lái)整合與突破
深度學(xué)習(xí)在應(yīng)用領(lǐng)域取得了令人矚目的成功，但其理論基礎(chǔ)仍十分薄弱，研究者對(duì)深度學(xué)習(xí)為何表現(xiàn)出比傳統(tǒng)機(jī)器學(xué)習(xí)方法更優(yōu)越的性能背后存在的機(jī)理尚不清楚。深度學(xué)習(xí)的理論分析需要從數(shù)學(xué)、統(tǒng)計(jì)和計(jì)算的不同角度，以及表示能力、泛化能力、算法收斂性和穩(wěn)定性等多個(gè)方面進(jìn)行探索和創(chuàng)新。當(dāng)前對(duì)深度學(xué)習(xí)理論碎片式的理解，將進(jìn)一步迎來(lái)整合與突破，從對(duì)淺層網(wǎng)絡(luò)和局部性質(zhì)的理解向深度網(wǎng)絡(luò)和全局性質(zhì)不斷深化，最終能夠完整解答關(guān)于深度學(xué)習(xí)能力與極限的重大理論問(wèn)題。
趨勢(shì)3：機(jī)器學(xué)習(xí)向分布式隱私保護(hù)方向演進(jìn)
當(dāng)前，全球多個(gè)國(guó)家和地區(qū)已出臺(tái)數(shù)據(jù)監(jiān)管法規(guī)，如HIPAA（美國(guó)健康保險(xiǎn)便利和責(zé)任法案）、GDPR（歐盟通用數(shù)據(jù)保護(hù)條例）等，通過(guò)嚴(yán)格的法規(guī)限制多機(jī)構(gòu)間隱私數(shù)據(jù)的交互。分布式隱私保護(hù)機(jī)器學(xué)習(xí)通過(guò)加密、分布式存儲(chǔ)等方式保護(hù)機(jī)器學(xué)習(xí)模型訓(xùn)練的輸入數(shù)據(jù)，是打破數(shù)據(jù)孤島、完成多機(jī)構(gòu)聯(lián)合訓(xùn)練建模的可行方案。
趨勢(shì)4：大規(guī)模自監(jiān)督預(yù)訓(xùn)練方法進(jìn)一步發(fā)展
GPT-3的出現(xiàn)激發(fā)了研究人員在視覺(jué)等更廣泛的范圍內(nèi)，對(duì)大規(guī)模自監(jiān)督預(yù)訓(xùn)練方法繼續(xù)開(kāi)展探索和研究，未來(lái)，基于大規(guī)模圖像、語(yǔ)音、視頻等多模態(tài)數(shù)據(jù)，以及跨語(yǔ)言的自監(jiān)督預(yù)訓(xùn)練模型將進(jìn)一步發(fā)展，研究人員也將持續(xù)探索解決當(dāng)前大規(guī)模自監(jiān)督預(yù)訓(xùn)練模型不具有認(rèn)知能力等問(wèn)題的方法。
趨勢(shì)5：基于因果學(xué)習(xí)的信息檢索模型與系統(tǒng)成為重要發(fā)展方向
人工智能算法是推薦系統(tǒng)、搜索引擎等智能信息檢索系統(tǒng)的核心技術(shù)，深刻地影響著億萬(wàn)互聯(lián)網(wǎng)產(chǎn)品用戶(hù)的工作和生活。當(dāng)前基于人工智能算法的信息檢索模型大多關(guān)注給定數(shù)據(jù)中變量間相關(guān)性的建立，而相關(guān)性與更為本源的因果關(guān)系并不等價(jià)，導(dǎo)致當(dāng)前信息檢索的結(jié)果存在較為嚴(yán)重的偏差，對(duì)抗攻擊的能力不佳，且模型往往缺乏可解釋性。
為了實(shí)現(xiàn)真正智能化的信息檢索系統(tǒng)，基于因果學(xué)習(xí)的檢索模型是必然要邁過(guò)的一道坎。因果學(xué)習(xí)能夠識(shí)別信息檢索中變量間的因果關(guān)系，厘清事物發(fā)展變化的前因后果，全面認(rèn)識(shí)用戶(hù)需求和檢索方法的本質(zhì)，修正檢索模型中的偏差，提升檢索系統(tǒng)的可解釋性、可操作性和可溯源性。
趨勢(shì)6：類(lèi)腦計(jì)算系統(tǒng)從“專(zhuān)用”向“通用”逐步演進(jìn)
以類(lèi)腦計(jì)算芯片為核心的各種類(lèi)腦計(jì)算系統(tǒng)，在處理某些智能問(wèn)題以及低功耗智能計(jì)算方面正逐步展露出優(yōu)勢(shì)。但從設(shè)計(jì)方法角度看，類(lèi)腦芯片往往根據(jù)目標(biāo)應(yīng)用要求通過(guò)歸納法來(lái)確定其硬件功能與接口，并定制化工具鏈軟件，導(dǎo)致軟硬件緊耦合、目標(biāo)應(yīng)用范圍受限等問(wèn)題。
類(lèi)腦計(jì)算芯片設(shè)計(jì)將從現(xiàn)有處理器的設(shè)計(jì)方法論及其發(fā)展歷史中汲取靈感，在計(jì)算完備性理論基礎(chǔ)上結(jié)合應(yīng)用需求實(shí)現(xiàn)完備的硬件功能。同時(shí)類(lèi)腦計(jì)算基礎(chǔ)軟件將整合已有類(lèi)腦計(jì)算編程語(yǔ)言與框架，提出與具體芯片無(wú)關(guān)的高層次編程抽象與統(tǒng)一開(kāi)發(fā)框架，針對(duì)目標(biāo)芯片研發(fā)類(lèi)腦計(jì)算編譯優(yōu)化與映射優(yōu)化技術(shù)，實(shí)現(xiàn)類(lèi)腦計(jì)算系統(tǒng)從“專(zhuān)用”向“通用”的逐步演進(jìn)。
趨勢(shì)7：類(lèi)腦計(jì)算從散點(diǎn)獨(dú)立研究向多點(diǎn)迭代發(fā)展邁進(jìn)
類(lèi)腦計(jì)算在諸多方面已經(jīng)取得了大量基礎(chǔ)性研究成果，但目前的研究仍呈現(xiàn)相對(duì)獨(dú)立狹窄的縱向分布特點(diǎn)，尚未形成相互促進(jìn)的橫向貫通局面。未來(lái)的類(lèi)腦計(jì)算將更加注重在單點(diǎn)獨(dú)立研究的同時(shí)與其他層面研究的結(jié)合，推動(dòng)類(lèi)腦計(jì)算的基礎(chǔ)理論算法、芯片硬件平臺(tái)、評(píng)估測(cè)試基準(zhǔn)、編程編譯工具以及系統(tǒng)應(yīng)用的相互協(xié)同和促進(jìn)，構(gòu)建更具全棧性的類(lèi)腦計(jì)算迭代發(fā)展生態(tài)，進(jìn)入良性前進(jìn)的軌道。
趨勢(shì)8：神經(jīng)形態(tài)硬件特性得到進(jìn)一步的發(fā)掘并用于實(shí)現(xiàn)更為先進(jìn)的智能系統(tǒng)
新型神經(jīng)形態(tài)器件，如RRAM（可變電阻式存儲(chǔ)器）、PCM（相變存儲(chǔ)器）等，目前已經(jīng)在人工智能領(lǐng)域發(fā)揮了重大作用，基于這些器件構(gòu)建的智能硬件系統(tǒng)已經(jīng)能夠有效地提升智能算法執(zhí)行的速度和能效，并保持算法的性能。
然而當(dāng)前大部分硬件智能系統(tǒng)僅僅利用了神經(jīng)形態(tài)器件的部分特性，如非易失性、線性等，缺乏對(duì)器件更豐富特性，如易失性、非線性、隨機(jī)性等特性的應(yīng)用。通過(guò)對(duì)器件的全面探究，下一代智能系統(tǒng)將會(huì)把算法的各種需求同器件的豐富特性緊密結(jié)合起來(lái)，從而進(jìn)一步拓展智能系統(tǒng)的功能和應(yīng)用范圍，提升系統(tǒng)的性能和效率。
趨勢(shì)9：人工智能從腦結(jié)構(gòu)啟發(fā)走向結(jié)構(gòu)與功能啟發(fā)并重
腦啟發(fā)的人工智能在強(qiáng)調(diào)對(duì)腦結(jié)構(gòu)和神經(jīng)形態(tài)模仿的同時(shí)，還需要了解人類(lèi)神經(jīng)元和神經(jīng)回路的功能與機(jī)制。這是因?yàn)槟X結(jié)構(gòu)與腦功能并不存在簡(jiǎn)單的一一對(duì)應(yīng)的關(guān)系，即類(lèi)似的結(jié)構(gòu)可能有著不同的功能。
例如，作為古老結(jié)構(gòu)的海馬體在人和動(dòng)物的大腦上有著類(lèi)似的結(jié)構(gòu)，但是它們采用了不同的記憶編碼方式。動(dòng)物的海馬體在編碼記憶時(shí)，采用的是“模式分離”的方式，即神經(jīng)元形成不同的神經(jīng)元群組來(lái)存儲(chǔ)記憶，以避免記憶的混淆。但是，人類(lèi)的海馬體則采用了“概念和聯(lián)想”的編碼方式，即同樣的一組神經(jīng)元可以?xún)?chǔ)存多個(gè)不同的記憶。人類(lèi)這種獨(dú)特的記憶編碼方式可能是人類(lèi)智能脫穎而出的一個(gè)關(guān)鍵因素，有助于解釋人類(lèi)相比于其它物種所具備的獨(dú)特的認(rèn)知能力，如人類(lèi)的抽象思維能力和創(chuàng)造性思維能力。
趨勢(shì)10：人工智能計(jì)算中心成為智能化時(shí)代的關(guān)鍵基礎(chǔ)設(shè)施
近年來(lái)，人工智能對(duì)算力的需求迅猛增長(zhǎng)，并成為最重要的計(jì)算算力資源需求之一。AI計(jì)算是智能時(shí)代發(fā)展的核心動(dòng)力，以人工智能算力為主的人工智能計(jì)算中心應(yīng)運(yùn)而生。
人工智能計(jì)算中心基于最新人工智能理論，采用領(lǐng)先的人工智能計(jì)算架構(gòu)，是融合公共算力服務(wù)、數(shù)據(jù)開(kāi)放共享、智能生態(tài)建設(shè)、產(chǎn)業(yè)創(chuàng)新聚集的“四位一體”綜合平臺(tái)，可提供算力、數(shù)據(jù)和算法等人工智能全棧能力，是人工智能快速發(fā)展和應(yīng)用所依托的新型算力基礎(chǔ)設(shè)施。未來(lái)，隨著智能化社會(huì)的不斷發(fā)展，人工智能計(jì)算中心將成為關(guān)鍵的信息基礎(chǔ)設(shè)施，推動(dòng)數(shù)字經(jīng)濟(jì)與傳統(tǒng)產(chǎn)業(yè)深度融合，加速產(chǎn)業(yè)轉(zhuǎn)型升級(jí)，促進(jìn)經(jīng)濟(jì)高質(zhì)量發(fā)展。
