1 簡(jiǎn)介

　　有限元方法基本思想的提出，可以追溯到1943年R. Courant的工作，但由于當(dāng)時(shí)沒有求解大型聯(lián)立方程的計(jì)算工具，這種方法在長(zhǎng)期內(nèi)沒有實(shí)際應(yīng)用。到60年代，由于電子計(jì)算機(jī)的廣泛使用，有限元法開始得到快速發(fā)展。有限元法到現(xiàn)在40多年的發(fā)展，應(yīng)用領(lǐng)域也從航空，拓展到航天、汽車、船舶、核能、兵器、電子等各個(gè)行業(yè);從彈性材料問題，拓展到塑性、粘彈性、粘塑性、復(fù)合材料等問題。有限元方法的數(shù)值模擬已經(jīng)成為現(xiàn)代重要工程設(shè)計(jì)必須的環(huán)節(jié)。

　　幾乎在有限元法快速發(fā)展的同時(shí)，結(jié)構(gòu)力學(xué)的優(yōu)化理論也開始快速發(fā)展。雖然1854 年J.C. Maxwell和1905年J.H. Mitchell已經(jīng)開始研究桁架的最優(yōu)布局，但直到20世紀(jì)60年代初，利用電子計(jì)算機(jī)的現(xiàn)代結(jié)構(gòu)優(yōu)化理論與方法的出現(xiàn)，結(jié)構(gòu)優(yōu)化才真正在工程中開始應(yīng)用。首先也是在航空業(yè)得到應(yīng)用，然后推廣到汽車、建筑等行業(yè)。目前，結(jié)構(gòu)優(yōu)化商業(yè)軟件也已經(jīng)比較成熟，尤其在線彈性結(jié)構(gòu)優(yōu)化方面。

　　由于復(fù)雜非線性結(jié)構(gòu)有限元計(jì)算本身需要大量的硬件資源，很長(zhǎng)時(shí)間才能完成一次有限元計(jì)算。這導(dǎo)致計(jì)算時(shí)間成為工程優(yōu)化的主要障礙之一，使得復(fù)雜非線性結(jié)構(gòu)的優(yōu)化目前還僅處于學(xué)術(shù)研究階段，無法實(shí)際應(yīng)用于工程項(xiàng)目。Altair公司與中科院超算中心合作，將Altair公司的RADIOSS軟件安裝在中科院超算中心的深騰7000超級(jí)計(jì)算機(jī)上，首次在國(guó)內(nèi)于8分19秒完成100萬單元的整車正面80ms碰撞分析，這為未來進(jìn)行復(fù)雜非線性結(jié)構(gòu)的優(yōu)化鋪平了道路。

　　2 RADIOSS顯式方法高級(jí)功能

　　RADIOSS是Altair公司統(tǒng)一的多學(xué)科有限元求解器，具有顯式、隱式求解功能，擁有拉格朗日、歐拉、ALE、SPH 等算法，及有限元、有限體積、邊界元等數(shù)值處理技術(shù)，可以求解結(jié)構(gòu)線性、非線性，流體，流固耦合，多體動(dòng)力學(xué)等問題。相比傳統(tǒng)的隱式線性求解器，RADIOSS提供多種最新單元格式和嚴(yán)格的模型檢查功能，采用最新的數(shù)值計(jì)算方法和并行算法，從而確保了更高的仿真精度和更快的計(jì)算速度，得到客戶的廣泛認(rèn)可。在許多汽車OEM廠商，如通用、菲亞特等，RADIOSS已經(jīng)成功替代了傳統(tǒng)的線性求解器。相比其他顯式求解器，RADIOSS在并行計(jì)算的線性加速比，不同平臺(tái)的計(jì)算結(jié)果可重復(fù)性，以及多域求解控制等方面具有優(yōu)勢(shì)，并且具有許多自己獨(dú)特的、工業(yè)界驗(yàn)證的材料模型、失效模型和接觸模型，在汽車、機(jī)車碰撞安全分析，飛機(jī)鳥撞和迫降，軍工爆破穿甲等領(lǐng)域得到了大量的應(yīng)用。本文運(yùn)用了RADIOSS顯式有限元方法進(jìn)行高非線性的汽車碰撞分析。

　　2.1 高級(jí)質(zhì)量縮放

　　為了加快計(jì)算，在工程應(yīng)用的時(shí)間內(nèi)得到合理的結(jié)果，顯式有限元分析常常會(huì)應(yīng)用質(zhì)量縮放(mass scaling)方法，在一些時(shí)間步長(zhǎng)較小的單元節(jié)點(diǎn)上增加質(zhì)量，以此來增加模型求解的時(shí)間步長(zhǎng)，從而加快計(jì)算。在動(dòng)力學(xué)分析中，慣性力是很重要的一個(gè)影響因素。但是在質(zhì)量變化不大的情況下，慣性力的影響也在可接受的范圍內(nèi)。所以額外增加的質(zhì)量不能太大，也不能增加在關(guān)鍵的部位以致影響了局部變形結(jié)果，使用時(shí)需要分析人員來判斷。

　　為了進(jìn)一步加快計(jì)算，研究人員通過分析，提出了選擇質(zhì)量縮放技術(shù)(selective mass scaling)[4]。Altair公司發(fā)展了這個(gè)方法，將發(fā)展后的方法集成在RADIOSS軟件中，稱其為高級(jí)質(zhì)量縮放(advanced mass scaling)。RADIOSS中的高級(jí)質(zhì)量縮放的基本思想，是通過修改質(zhì)量矩陣非對(duì)角項(xiàng)來提高時(shí)間步長(zhǎng)。在通常的顯式分析中，高頻的能量不多，在這個(gè)區(qū)域人工增加質(zhì)量，在不顯著改變低頻的結(jié)構(gòu)響應(yīng)的情況下，可以大幅度提高時(shí)間步長(zhǎng)。使用高級(jí)質(zhì)量縮放可以提供更高的并行可擴(kuò)展性，對(duì)低頻影響很小，可以應(yīng)用于整車碰撞仿真中。雖然這一方法同時(shí)也會(huì)因?yàn)樾枰龇菍?duì)角質(zhì)量矩陣的求逆消耗一部分計(jì)算時(shí)間，但總體而言，通常可以將時(shí)間步長(zhǎng)提高10到20倍。

　　2.2 Hybrid-MPP

　　目前顯式有限元方法在求解大規(guī)模問題時(shí)，通常采用MPP(Massive parallel processing)方法。這種方法利用了多個(gè)計(jì)算節(jié)點(diǎn)(node)，每個(gè)計(jì)算節(jié)點(diǎn)的每個(gè)核(core)啟動(dòng)一個(gè)進(jìn)程，進(jìn)程之間通過MPI方式進(jìn)行通信。

　　隨著多核處理器被越來越多的應(yīng)用于計(jì)算集群，在每個(gè)CPU內(nèi)部仍然使用MPI通信顯然浪費(fèi)了CPU內(nèi)部架構(gòu)的快捷，上述MPP方式不能完全利用多核CPU的硬件資源。Altair公司在RADIOSS v11版本中使用Hybrid-MPP并行計(jì)算方法，這種方法就完全利用了現(xiàn)有的多核處理器的功能。Hybrid-MPP并行模式在每一個(gè)獨(dú)立的節(jié)點(diǎn)上使用OpenMP方式進(jìn)行通信，在節(jié)點(diǎn)之間通過MPI的方式進(jìn)行通信。通過使用優(yōu)化的消息傳遞機(jī)制有效減少節(jié)點(diǎn)和節(jié)點(diǎn)之間、節(jié)點(diǎn)內(nèi)部的消息量，從而在大規(guī)模的并行計(jì)算中有效發(fā)揮現(xiàn)有硬件架構(gòu)的整體性能。

　　圖1 RADIOSS的Hybrid-MPP示例：每個(gè)節(jié)點(diǎn)2個(gè)SMP線程

　　圖1為RADIOSS v11版本中使用Hybrid-MPP并行計(jì)算示例。每個(gè)節(jié)點(diǎn)(Node)共享內(nèi)存(對(duì)應(yīng)M1,M2)，每一個(gè)計(jì)算節(jié)點(diǎn)由2個(gè)CPU組成(對(duì)應(yīng)Socket1,Socket2)，而每一個(gè)CPU又有2個(gè)核(對(duì)應(yīng)C1,C2)，所有獨(dú)立的計(jì)算節(jié)點(diǎn)通過快速交換網(wǎng)絡(luò)設(shè)備進(jìn)行互聯(lián)。

　　3 本文采用的硬件環(huán)境

　　中科院超級(jí)計(jì)算中心(簡(jiǎn)稱中科院超算中心)是隸屬于中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心(CNIC)的支撐服務(wù)單位，主要從事超級(jí)計(jì)算機(jī)的運(yùn)行維護(hù)、并行計(jì)算的研究、實(shí)現(xiàn)及其應(yīng)用服務(wù)與技術(shù)支持，為大規(guī)模計(jì)算復(fù)雜技術(shù)和商業(yè)應(yīng)用提供解決方案。中心面向科學(xué)院乃至社會(huì)提供盡可能強(qiáng)的高性能計(jì)算能力和技術(shù)支持，為用戶提供7*24小時(shí)穩(wěn)定計(jì)算服務(wù)，從2009年6月正式運(yùn)行至今，已累計(jì)提供計(jì)算機(jī)時(shí)超過51,121,788.4 CPU?Hours。

　　- 中心擁有的深騰7000在2008年11月全球top500的超級(jí)計(jì)算機(jī)排名中，排名第19。

　　- 實(shí)現(xiàn)了1240個(gè)2-way薄結(jié)點(diǎn)和140個(gè)4-way厚結(jié)點(diǎn)的協(xié)同計(jì)算

　　- 國(guó)內(nèi)第一個(gè)實(shí)際性能突破每秒百萬億次的異構(gòu)機(jī)群系統(tǒng)

　　- 成功實(shí)現(xiàn)了基于1428個(gè)無盤結(jié)點(diǎn)的機(jī)群系統(tǒng)

　　- 世界上規(guī)模最大的一個(gè)結(jié)點(diǎn)無盤啟動(dòng)的機(jī)群系統(tǒng)

　　- 在線、近線、離線存儲(chǔ)容量超過PB級(jí)

　　- 國(guó)內(nèi)第一個(gè)實(shí)現(xiàn)PB級(jí)別的三級(jí)結(jié)構(gòu)海量存儲(chǔ)系統(tǒng)的機(jī)群系統(tǒng)

　　深騰7000百萬億次高性能計(jì)算機(jī)采用混合結(jié)構(gòu)的高性能計(jì)算集群架構(gòu)，由采用Intel Xeon處理器的集群部分與采用Intel Itanium2處理器的胖節(jié)點(diǎn)部分組成，適于不同的應(yīng)用計(jì)算。本次測(cè)試采用Intel Xeon處理器的集群部分。集群部分包括認(rèn)證服務(wù)器、前端機(jī)、管理節(jié)點(diǎn)、登陸節(jié)點(diǎn)、啟動(dòng)節(jié)點(diǎn)、I/O節(jié)點(diǎn)、備份節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)。其中，計(jì)算節(jié)點(diǎn)包括刀片和厚節(jié)點(diǎn)，配置如下：

　　- 指令字長(zhǎng)：64位

　　- 1140個(gè)普通(刀片)節(jié)點(diǎn)，每個(gè)刀片配置兩顆四核Xeon處理器E5450，主頻3.00GHz，32GB內(nèi)存

　　- 38個(gè)厚節(jié)點(diǎn)，IBM X3950M2服務(wù)器，每個(gè)厚節(jié)點(diǎn)配置16顆四核Xeon處理器X7350，主頻2.93GHz，512GB內(nèi)存

　　- 12個(gè)可視化節(jié)點(diǎn)(采用機(jī)架式服務(wù)器)，2顆Intel Xeon E5450，32GB內(nèi)存，Nvidia 9800GTS顯卡

　　- 其它節(jié)點(diǎn)配置與計(jì)算刀片相同，包括2個(gè)認(rèn)證服務(wù)器、2個(gè)前端機(jī)、2個(gè)管理節(jié)點(diǎn)、8個(gè)登錄節(jié)點(diǎn)、12個(gè)啟動(dòng)節(jié)點(diǎn)、120個(gè)IO節(jié)點(diǎn)、2個(gè)備份節(jié)點(diǎn)

　　- 磁盤容量：350TB 在線+ 63TB近線+ 1PB離線(≥ 200 TB)

　　- 互連網(wǎng)絡(luò)：節(jié)點(diǎn)間采用20Gbps的Infiniband，延遲1.6 μs (≤ 3μs)

　　- I/O聚合帶寬：52GB/s (≥ 50GB/s)

　　- 操作系統(tǒng)：Red Hat Enterprise Linux Server release 5.1

　　- 編程語言：C、C++、Fortran、Java

　　- 并行環(huán)境：MPI、OpenMP

　　- 高性能并行文件系統(tǒng): Lustre、SNFS、LPFS、GPFS

　　- 高效系統(tǒng)管理軟件：系統(tǒng)管理與監(jiān)控、系統(tǒng)部署、作業(yè)調(diào)度等

　　- 并行程序開發(fā)環(huán)境：數(shù)學(xué)庫(kù)、中間件、開發(fā)工具等

　　- 系統(tǒng)功耗：434KW(空載)~608KW(滿載) (≤ 800 KW)

　　圖2 百萬億次機(jī)的硬件結(jié)構(gòu)

　　4 測(cè)試結(jié)果

　　本文中將RADIOSS v11 Hybrid-MPP版本安裝在深騰7000的集群部分，利用Intel MPI進(jìn)行節(jié)點(diǎn)間通信，求解模型為Neon模型并進(jìn)行了網(wǎng)格細(xì)化，整個(gè)模型共有106萬單元，109萬節(jié)點(diǎn)。整車質(zhì)量1.2噸，初始速度為12.3米/秒，計(jì)算剛性墻正面碰撞80ms，采用了高級(jí)質(zhì)量縮放技術(shù)，利用128x8核計(jì)算，499秒完成整個(gè)仿真。有限元模型及變形結(jié)果如下圖所示。

　　圖3 Neon模型及仿真80ms之后的變形結(jié)果

　　5 結(jié)論

　　Altair公司與中科院超算中心合作，在國(guó)內(nèi)第一次實(shí)現(xiàn)了在500秒內(nèi)完成100萬單元的整車80ms正面碰撞仿真。

　　Altair公司是世界領(lǐng)先的CAE技術(shù)廠商，專注于CAE技術(shù)的開發(fā)，并將Altair公司領(lǐng)先的優(yōu)化技術(shù)同各學(xué)科仿真相結(jié)合，將并行計(jì)算性能及與高性能計(jì)算緊密結(jié)合，力求實(shí)現(xiàn)真正的多學(xué)科的仿真與優(yōu)化。RADIOSS求解器已經(jīng)得到了世界范圍的廣泛應(yīng)用，其線性求解功能是通用汽車全球的標(biāo)準(zhǔn)求解器，非線性顯式求解功能得到了福特、標(biāo)志雪鐵龍等著名汽車廠商的應(yīng)用。本文的測(cè)試表明，RAIDOSS的非線性顯式并行求解功能速度相當(dāng)快，可并行的處理器也可達(dá)到1024核以上，非常適合大規(guī)模并行計(jì)算。

　　目前工業(yè)界的整車碰撞有限元模型在100萬到200萬單元之間，進(jìn)行一次整車碰撞仿真時(shí)間在幾個(gè)小時(shí)到十幾個(gè)小時(shí)之間。這樣的時(shí)間使得整車級(jí)別的碰撞被動(dòng)安全優(yōu)化、穩(wěn)健性設(shè)計(jì)不可能進(jìn)行。

　　Altair公司與中科院超算中心下一步工作將是繼續(xù)加深合作，進(jìn)一步優(yōu)化RADIOSS在超級(jí)計(jì)算機(jī)上的并行效率，在超級(jí)計(jì)算機(jī)上結(jié)合Altair優(yōu)化軟件進(jìn)行碰撞優(yōu)化及穩(wěn)健性設(shè)計(jì)。

　　中科院超算中心同Altair公司以及硬件廠商共同為企業(yè)用戶提供高性能計(jì)算的高可用性平臺(tái)，可以做到：

　　1. 提供上萬核的計(jì)算能力和計(jì)算所需的大量?jī)?nèi)存，幫助企業(yè)在規(guī)定時(shí)間內(nèi)完成巨大的計(jì)算問題

　　2. 提供企業(yè)所需的安全性保障，憑借嚴(yán)格的權(quán)限控制和管理制度，保證所有數(shù)據(jù)不丟失不被竊取

　　3. 降低企業(yè)的運(yùn)營(yíng)成本，避免昂貴的計(jì)算平臺(tái)購(gòu)置和維護(hù)費(fèi)用

　　4. 提供友好的用戶界面和使用方式，讓工程師可以通過web、ftp、甚至圖形界面等各種方式使用計(jì)算機(jī)群提交作業(yè)、進(jìn)行前后處理和上傳下載數(shù)據(jù)，進(jìn)而集中精力在計(jì)算本身而不是復(fù)雜的命令行操作。

　　通過政府或公司出資，提供專門計(jì)算中心，軟件廠商提供計(jì)算軟件，通過互聯(lián)網(wǎng)訪問的方式，根據(jù)企業(yè)所需快速地提供計(jì)算資源，打包租用，避免企業(yè)重復(fù)的軟硬件投資，減輕企業(yè)負(fù)擔(dān)，這也是非常有實(shí)用價(jià)值的一種“云計(jì)算”應(yīng)用模式。