熱頭條丨中國(guó)自然資源航空物探遙感中心，如何將大數(shù)據(jù)分析挖掘平臺(tái)應(yīng)用于科研與業(yè)務(wù)

來(lái)源：科技快報(bào)網(wǎng) | 時(shí)間：2022-10-13 20:04:35

伴隨著“新基建”的浪潮推動(dòng)科研數(shù)智化發(fā)展，深度學(xué)習(xí)等人工智能技術(shù)的引入成為了近年來(lái)研究者密切關(guān)注的熱點(diǎn)。高質(zhì)量的遙感影像在災(zāi)害監(jiān)測(cè)、氣象、軍事等諸多方面都有廣闊的應(yīng)用前景，AI 技術(shù)在圖像匹配方面有著比較好的特征提取和表達(dá)能力，便于從海量異構(gòu)的遙感數(shù)據(jù)中獲取豐富準(zhǔn)確的屬性信息，挖掘目標(biāo)區(qū)域的演變規(guī)律。

然而，AI 技術(shù)的深入應(yīng)用在協(xié)助研究者解決更加復(fù)雜的場(chǎng)景問(wèn)題的同時(shí)，也給傳統(tǒng)基礎(chǔ)設(shè)施與工作流帶來(lái)了挑戰(zhàn)，在此簡(jiǎn)單介紹以下三個(gè)方面。

(資料圖片僅供參考)

1. 基礎(chǔ)設(shè)施與計(jì)算資源

遙感圖像分辨率的提升、網(wǎng)絡(luò)深度的增加毋庸置疑會(huì)帶來(lái)性能的提升，但與之相伴的是龐大的模型、巨量的參數(shù)和緩慢的算法效率，本地臺(tái)式機(jī)的運(yùn)算能力很難滿足日益上升的需求，需要投入大量的硬件成本。同時(shí)，算法模型在訓(xùn)練時(shí)需要頻繁地調(diào)試參數(shù)，并將不同結(jié)果進(jìn)行可視化以提高調(diào)優(yōu)效率，也對(duì)內(nèi)存和性能提出了更大的要求。

2. 數(shù)據(jù)與工作流管理

遙感數(shù)據(jù)處理向云發(fā)展的趨勢(shì)除了改變傳統(tǒng)數(shù)據(jù)本地下載、處理、分析的模式外，也給研究者新的工作流搭建帶來(lái)了挑戰(zhàn)。遙感大數(shù)據(jù)具有豐富的數(shù)據(jù)源，云環(huán)境下除了需要完成對(duì)數(shù)據(jù)的分析外，對(duì)于多源數(shù)據(jù)的接入、存儲(chǔ)及高效管理也存在著切實(shí)需求。另外，傳統(tǒng)工作流在平臺(tái)間的遷移也將對(duì)模型的管理、研究項(xiàng)目任務(wù)的管理造成影響。

3. 數(shù)據(jù)、模型的開(kāi)放應(yīng)用

傳統(tǒng)遙感研究面臨的數(shù)據(jù)共享不足已成為制約其發(fā)展的重要瓶頸，不同行業(yè)的遙感用戶經(jīng)常會(huì)受到信息共享不暢的問(wèn)題困擾，盡管政策上支持跨領(lǐng)域融合，但國(guó)內(nèi)始終缺乏一個(gè)相對(duì)比較開(kāi)放的環(huán)境。此外，開(kāi)發(fā)的算法以源代碼的形式進(jìn)行分享應(yīng)用會(huì)給不同領(lǐng)域研究者之間的協(xié)同造成一定困難，模型在本地共享，環(huán)境之間兼容性低，算法集成難度大，不具備良好的可移植性和可復(fù)用性。

盡管存在著多方面瓶頸，近幾年，隨著技術(shù)的不斷革新及 AI 產(chǎn)業(yè)的生態(tài)發(fā)展，我們還是可以觀察到不少研究機(jī)構(gòu)在合適平臺(tái)的支持下，找到了遙感大數(shù)據(jù)與 AI 新技術(shù)融合應(yīng)用的可行性方案。

航遙中心 x ModelWhale：高可用、高并發(fā)的集成化開(kāi)發(fā)部署平臺(tái)

中國(guó)自然資源航空物探遙感中心作為航空物探遙感的科技領(lǐng)軍單位，希望打破目前遙感數(shù)據(jù)、模型算法、計(jì)算資源三者分離的局面，通過(guò)云端部署，完成對(duì)大規(guī)模數(shù)據(jù)的處理和分析，同時(shí)也希望能提高研究成果的轉(zhuǎn)化效率，促進(jìn)“政產(chǎn)學(xué)研用”的協(xié)同創(chuàng)新。

ModelWhale 為其進(jìn)行了平臺(tái)級(jí)工具的私有化部署，與航遙中心共同打造了高可用、高并發(fā)的集成化開(kāi)發(fā)部署平臺(tái)。

本地接入，高效調(diào)配，GPU 集群

隨著 AI 技術(shù)的大規(guī)模應(yīng)用，航遙中心從過(guò)去使用 ENVI-IDL 編程進(jìn)而引入了 GPU 加速，盡管提高了效率，但單機(jī)單卡和單機(jī)多卡仍是很快就滿載無(wú)法使用。而目前研究者針對(duì)數(shù)據(jù)密集型和計(jì)算密集型問(wèn)題普遍采用的方案是 GPU 集群，在進(jìn)行嘗試后，航遙中心發(fā)現(xiàn)這與其現(xiàn)實(shí)需求還是存在一定偏差。航遙中心內(nèi)部擁有相對(duì)充足的算力資源，既希望每個(gè)研究者都能有自己的實(shí)踐環(huán)境，又希望針對(duì)一些大型復(fù)雜計(jì)算問(wèn)題，可以把所有計(jì)算資源集中集合起來(lái)，因此，實(shí)際的需求是一個(gè)能幫助其整合、調(diào)度存儲(chǔ)與計(jì)算資源的平臺(tái)。

對(duì)此，ModelWhale 基于研究中心現(xiàn)有的基礎(chǔ)設(shè)施優(yōu)化結(jié)構(gòu)，將已有的、零散的本地計(jì)算硬件接入云端，利用平臺(tái)的云原生架構(gòu)進(jìn)行了安全、靈活、可控的集約化運(yùn)維和細(xì)粒度分割調(diào)配。

本地算力資源接入后，當(dāng)需要處理大規(guī)模計(jì)算任務(wù)時(shí)，ModelWhale 可將多機(jī)多卡的 GPU 組成集群算力以供使用。GPU 集群基于 Horovod 的并行計(jì)算，可以達(dá)到成倍計(jì)算效率，適用于遙感影像多層次并行處理，這也同時(shí)為航遙中心在如災(zāi)害監(jiān)測(cè)等具有時(shí)效性項(xiàng)目上進(jìn)行應(yīng)用提供了保障。

而在日常研究中，接入平臺(tái)的算力可以根據(jù)核數(shù)與內(nèi)存大小進(jìn)行拆分，分配至不同研究員和項(xiàng)目小組。平臺(tái)在項(xiàng)目運(yùn)行時(shí)會(huì)幫助研究員自動(dòng)調(diào)度匹配的機(jī)器實(shí)例，并自動(dòng)加載好所需的軟件環(huán)境、數(shù)據(jù)及文件。使用過(guò)程中，研究者可隨時(shí)查看算力、內(nèi)存、磁盤的使用情況，發(fā)現(xiàn)資源不夠就可以通過(guò)主動(dòng)發(fā)起申請(qǐng)獲得，這一自動(dòng)化流程極大地釋放了航遙中心內(nèi)部運(yùn)維的壓力。

最后，當(dāng)項(xiàng)目關(guān)閉，平臺(tái)將自動(dòng)釋放運(yùn)算資源，同時(shí)將項(xiàng)目文件持久化存儲(chǔ)，確保提升計(jì)算資源利用率的同時(shí)也能盡可能降低算力成本。借助 ModelWhale 強(qiáng)大的資源調(diào)度能力與完善的資源管理機(jī)制，航遙中心突破其底層架構(gòu)限制，實(shí)現(xiàn)了對(duì)本地算力資源的能耗最小化、效率最大化應(yīng)用。

ModelWhale 界面：多參數(shù)組創(chuàng)建離線任務(wù)

多參數(shù)云端托管，可視化對(duì)比結(jié)果

相較于自然圖像數(shù)據(jù)，遙感數(shù)據(jù)的構(gòu)成更加復(fù)雜，衛(wèi)星、傳感器等采集設(shè)備物理參數(shù)的不一致使得遙感數(shù)據(jù)源存在多方面差異，因此遙感實(shí)驗(yàn)研究過(guò)程中需要更加頻繁地調(diào)整參數(shù)，并且需要將數(shù)據(jù)處理的不同結(jié)果進(jìn)行可視化對(duì)比。而人為關(guān)注訓(xùn)練任務(wù)完成情況以保證實(shí)驗(yàn)的延續(xù)性既繁瑣又浪費(fèi)時(shí)間，因此航遙中心的研究人員希望利用技術(shù)和平臺(tái)使這個(gè)過(guò)程自動(dòng)化進(jìn)行，提高模型調(diào)優(yōu)的效率。

基于 ModelWhale，針對(duì)有較高計(jì)算量的訓(xùn)練任務(wù)，研究人員可以采用離線托管運(yùn)行 Notebook 或腳本項(xiàng)目文件，離線任務(wù)沒(méi)有運(yùn)行時(shí)長(zhǎng)限制，自動(dòng)在云端跑完，任務(wù)的發(fā)布也不會(huì)影響到研究人員繼續(xù)使用電腦投入其他工作。ModelWhale 提供通知接口，研究人員可以直接從郵件或社交軟件上接收訓(xùn)練完成的通知，而不用再時(shí)刻關(guān)注任務(wù)運(yùn)行情況。

結(jié)合遙感數(shù)據(jù)特點(diǎn)，為了選擇最有效的算法，研究人員也可以提前設(shè)置不同參數(shù)組合，同時(shí)啟用多臺(tái)機(jī)器完成不同參數(shù)配置下統(tǒng)一模型的訓(xùn)練，并結(jié)合 GPU 集群縮短訓(xùn)練時(shí)長(zhǎng)，平臺(tái)將記錄模型每次訓(xùn)練的超參數(shù)信息，提供可視化對(duì)比報(bào)告，從更多角度對(duì)比分析模型優(yōu)劣，助力研究者挑選出最合適的模型。任務(wù)運(yùn)行成功后，研究人員可以保存離線運(yùn)行的結(jié)果，輸出結(jié)果文件，也可以隨時(shí)調(diào)用訓(xùn)練中產(chǎn)出的過(guò)程文件。

ModelWhale 提供的離線訓(xùn)練與訓(xùn)練指標(biāo)對(duì)比功能，構(gòu)建起了高自動(dòng)化、高可視化的調(diào)優(yōu)流程，再結(jié)合算力資源的彈性調(diào)度，一體化縮短了遙感深度學(xué)習(xí)算法的開(kāi)發(fā)周期。

從數(shù)據(jù)到模型，高集成工作流管理

對(duì)于傳統(tǒng)工作流的重構(gòu)是航遙中心亟需解決的第二大問(wèn)題，規(guī)?；捎?AI 后，將工作遷移至 python 平臺(tái)盡管能與深度學(xué)習(xí)高度融合，卻無(wú)法對(duì)數(shù)據(jù)、算法、模型進(jìn)行統(tǒng)一管理并形成資產(chǎn)積累。航遙中心有時(shí)需要每天接入幾百景數(shù)據(jù)，龐大的數(shù)據(jù)量使得數(shù)據(jù)準(zhǔn)備階段的工作十分繁瑣。另外，即使后期形成了算法模型，遙感數(shù)據(jù)分析模型的部署和運(yùn)行又可能依賴于不同的軟硬件環(huán)境，包括操作系統(tǒng)、編譯器、支持庫(kù)等等，按需部署具有一定難度。

針對(duì)上述問(wèn)題，ModelWhale 以高集成度的開(kāi)發(fā)工具，助力航遙中心搭建起高效工作流。

基于平臺(tái)，航遙中心首先可以多種方式接入存放在本地、數(shù)據(jù)庫(kù)、對(duì)象存儲(chǔ)以及 NAS 空間中的各類數(shù)據(jù)并統(tǒng)一管理，平臺(tái)標(biāo)準(zhǔn)化的協(xié)同流可支持研究團(tuán)隊(duì)內(nèi)成員同步使用各類生產(chǎn)資料分析研究。其次，研究人員可根據(jù)遙感數(shù)據(jù)分析模型運(yùn)行和部署的需求自定義云端鏡像環(huán)境，所定制的環(huán)境皆可基于平臺(tái)規(guī)范描述，只需將鏡像分享給他人或幫助他人重構(gòu)即可從環(huán)境層面保證算法模型的異地復(fù)現(xiàn)。而遙感作為一門技術(shù)，常被應(yīng)用于不同領(lǐng)域問(wèn)題的解決，因此對(duì)于開(kāi)發(fā)完成的模型，平臺(tái)還提供了一鍵自動(dòng)化部署，簡(jiǎn)化模型從開(kāi)發(fā)到應(yīng)用的復(fù)雜度。

對(duì)于項(xiàng)目流程管理，ModelWhale 支持將課題拆解成多個(gè)階段任務(wù)進(jìn)行宏觀管控，各個(gè)領(lǐng)域的研究者可在細(xì)分任務(wù)中查看進(jìn)展情況，并明確每個(gè)人的職責(zé)分工。任務(wù)結(jié)果可以多種形式提交，其他成員在線同步查看，這有利于團(tuán)隊(duì)內(nèi)部的信息同步，把控整體節(jié)奏，提高研究課題的交付效率。

最后，研究人員可以選定運(yùn)行時(shí)的分析環(huán)境、數(shù)據(jù)集、算法代碼版本，將生產(chǎn)要素整合并補(bǔ)充一定文字說(shuō)明后，沉淀至組織內(nèi)部的成果庫(kù)中，便于后期隨時(shí)復(fù)現(xiàn)。另外，團(tuán)隊(duì)內(nèi)部的項(xiàng)目、數(shù)據(jù)、文件、視頻皆可用文件夾與標(biāo)簽的形式進(jìn)行整理，并沉淀至團(tuán)隊(duì)的知識(shí)庫(kù)中，供所有人調(diào)取使用。

ModelWhale 界面：團(tuán)隊(duì)知識(shí)庫(kù)管理