并行計算綜論

　　內(nèi)容簡介目錄這是一本全面介紹近年來并行計算研究進展的著作，主要按照并行性、并行應(yīng)用、軟件技術(shù)以及關(guān)鍵技術(shù)和算法等方面展開討論。關(guān)于并行性，主要概述了并行計算的各個方面并介紹其所依賴的軟、硬件平臺；關(guān)于并行應(yīng)用，主要介紹了并行計算在計算流體力學(xué)、環(huán)境與能源、計算化學(xué)，以及其他十幾個典型數(shù)值和非數(shù)值計算領(lǐng)域中的應(yīng)用；關(guān)于軟件技術(shù)，主要介紹了并行計算的軟件基礎(chǔ)，包括消息傳遞和線程、并行I/O、編程語言與編譯器、面向?qū)ο蟮牟⑿袔?、問題求解環(huán)境、性能調(diào)整與程序調(diào)試工具等；關(guān)于關(guān)鍵技術(shù)和算法，主要介紹了在大量應(yīng)用領(lǐng)域廣泛使用的并行計算技術(shù)和并行算法，包括可重用軟件與算法、高性能科學(xué)模擬中的圖剖分問題、網(wǎng)格剖分、模板與數(shù)值線性代數(shù)、PDE可擴展求解軟件、并行連續(xù)優(yōu)化、科學(xué)計算路徑追蹤和自動微分等。本書還列出了近年來與并行計算相關(guān)的上千篇參考文獻。本書是一本綜合性很強的并行計算專著，可供對并行計算感興趣的高等院校、研究所、工業(yè)和商業(yè)部門等各應(yīng)用領(lǐng)域的研究和工程技術(shù)人員參考。并行計算具有將計算能力從單個處理機無縫地擴展到無窮多個處理機的潛力。然而，應(yīng)用程序的性能仍無法與并行機的峰值性能相匹配，并行機上的編程任務(wù)仍然相當(dāng)繁重，而且在編程時還需要盡可能挖掘應(yīng)用程序的并行性。當(dāng)前，在并行機上獲取高可擴展并行性的諸多工作仍然是由應(yīng)田開發(fā)人員承擔(dān)的?！恫⑿杏嬎憔C論》-書收集了60多位從事并行計算的杰出研究人員的知識和經(jīng)驗，主要按照并行性、并行應(yīng)用、軟件技術(shù)，以及關(guān)鍵技術(shù)和算法等方面展開討論，為相關(guān)領(lǐng)域的學(xué)生、科學(xué)家和工程師們提供了一本內(nèi)容豐富的讀本。本書主要特點·由研究并行工具、語言、技術(shù)等領(lǐng)域的專家編寫?！y試可用的并行技術(shù)并指導(dǎo)學(xué)生和技術(shù)人員如何選擇和獲取實用的技術(shù)?！ぬ峁┒鄠€應(yīng)用領(lǐng)域中的實例，其中包括化學(xué)、圖像處理、數(shù)據(jù)挖掘、海洋模擬和地震模擬等。·探討了并行計算技術(shù)未來發(fā)展方向及其所能支持的應(yīng)用類型。譯者序 10多年前， 在大規(guī)模并行計算機， 尤其是分布式存儲并行計算機上， 如何開發(fā)高效可移植的并行算法和并行應(yīng)用程序， 曾經(jīng)是困擾科學(xué)與工程計算應(yīng)用部門的一個最大難題， 也束縛了高性能并行計算在國內(nèi)的普及推廣應(yīng)用. 如今， 隨著高性能并行機的日益普及， 尤其是低價格高性能比的微機機群的推廣應(yīng)用， 以及并行編程標(biāo)準(zhǔn)， 尤其是消息傳遞MPI和共享存儲OpenMP的統(tǒng)一， 高性能并行計算已經(jīng)成為加速我國科學(xué)與工程應(yīng)用數(shù)值模擬的一種關(guān)鍵支撐技術(shù)， 是從事科學(xué)與工程計算專業(yè)的研究人員或者學(xué)生想學(xué)習(xí)的一門基礎(chǔ)課程. 特別是近幾年以來， 我國在對計算需求較大的應(yīng)用部門. 研究所和大學(xué)以及許多大城市中， 相繼成立了高性能計算中心， 配備了每秒峰值超過萬億次浮點運算， 包含上千個處理器的大規(guī)模高性能并行機. 國家863計劃也啟動了國家高性能計算網(wǎng)格環(huán)境， 希望共享各個高性能計算中心的資源， 加速提高我國的數(shù)值模擬水平. 應(yīng)該說， 目前我國高性能并行計算硬件平臺已經(jīng)比較先進， 開展高性能并行計算研究的條件已經(jīng)非常成熟. 自從并行計算機在我國誕生并應(yīng)用以來， 我國關(guān)鍵應(yīng)用部門. 大學(xué). 研究所和工業(yè)部門就已經(jīng)對并行計算進行了長期的研究. 但是， 從總體水平上， 尤其是并行應(yīng)用軟件的開發(fā)水平上， 我國還遠遠落后于美國等國家， 這一差距比計算機硬件落后的差距大得多. 如何在現(xiàn)有高性能并行計算機硬件平臺和軟件支撐環(huán)境上， 結(jié)合各個應(yīng)用部門的具體應(yīng)用和數(shù)值方法的特點， 通過移植. 改進和設(shè)計高效的并行算法， 將現(xiàn)有的大量應(yīng)用程序移植到高性能可擴展并行機上運行， 甚至直接重新設(shè)計高效的并行應(yīng)用軟件， 并開發(fā)相應(yīng)的輔助軟件工具， 以簡化并行應(yīng)用程序的開發(fā)， 縮短軟件開發(fā)周期， 提高軟件的計算效率， 將是從事并行科學(xué)與工程計算研究的人員必須面對的一個關(guān)鍵問題. 只有解決了這個問題， 才能真正用好大規(guī)模并行計算機， 縮短我國與國外的應(yīng)用差距. 因此， 為了達到以上目的， 我們在做好并行計算的普及推廣工作的同時， 希望能盡快學(xué)習(xí)國外并行應(yīng)用軟件開發(fā)的先進經(jīng)驗， 加速提高我們的研制能力. 可喜的是， 該書全面總結(jié)了美國國家科學(xué)基金并行計算研究中心近10多年來在并行計算研究和并行應(yīng)用程序開發(fā)方面所做的工作， 正好可用于填補我國在這方面的不足， 值得我們學(xué)習(xí)和借鑒. 該書是一本全面介紹近10多年來并行計算研究進展的著作， 內(nèi)容涵蓋了高性能并行計算研究和應(yīng)用的各個方面， 包括并行計算研究依賴的并行機硬件平臺. 并行應(yīng)用開發(fā). 并行編程軟件技術(shù). 并行計算關(guān)鍵技術(shù)和算法等. 該書的作者是多位長期從事高性能并行計算研究的國際知名并行計算專家， 其中包括Jack Dongarra， Ian Foster， Geoffrey Fox， William Gropp等， 他們長期領(lǐng)導(dǎo)著國際并行計算的前沿工作. 因此， 該書也是對他們多年來工作的一個系統(tǒng)總結(jié)， 是一本難得的既有學(xué)術(shù)水平， 又有實際應(yīng)用價值的綜合性書籍. 同時， 該書也注意到它的參考價值， 列出了近年來涉及并行計算研究的上千篇文獻， 這對我們無疑是非常有用的. 鑒于以上原因， 我們組織了該書的翻譯工作. 為了保證該書的翻譯質(zhì)量， 在莫則堯研究員的組織下， 具體分為3個小組， 分別由莫則堯研究員. 陳軍和曹小林副研究員負(fù)責(zé). 其中， 陳軍負(fù)責(zé)第一部分和第二部分， 翻譯了第1章. 第3章. 第9章. 第10章. 第11章和第16章， 羅紅兵翻譯了第12章. 第13章和第14章， 張曉霞翻譯了第2章和第15章， 莫則堯負(fù)責(zé)第三部分， 翻譯了第8章（其中， 陳虹翻譯了8. 7節(jié)）， 張愛清翻譯了第4章. 第6章和第7章， 左風(fēng)麗翻譯了第5章， 曹小林負(fù)責(zé)第四部分和第五部分， 翻譯了第X章到第25章， 廖麗翻譯了第17章. 第19章和第21章， 徐小文翻譯了第20章， 金光浩翻譯了第18章. 譯稿完成后， 為了確保翻譯質(zhì)量， 我們首先在組內(nèi)相互閱讀譯稿并校對， 然后在組間相互閱讀譯稿并校對， 接下來由莫則堯和陳軍閱讀全書譯稿， 以確保譯文前后的一致性， 最后由李曉梅教授負(fù)責(zé)審校全書譯稿. 感謝北京應(yīng)用物理與計算數(shù)學(xué)研究所高性能計算中心提供的良好條件， 使本書的翻譯得以順利完成. 感謝北京應(yīng)用物理與計算數(shù)學(xué)研究所張寶琳研究員和中科院計算數(shù)學(xué)研究所張林波研究員關(guān)于翻譯的一些有益討論. 由于譯者水平有限， 如果有不確切或錯誤之處， 望讀者不吝賜教.前言 并行計算研究中心（CRPC：Centerfor Researchon Parallel Computation）是美國國家科學(xué)基金（NSF：National Science Foundation）資助的科學(xué)和技術(shù)中心. 并行計算研究中心自成立以來， 一直致力于并行計算研究和技術(shù)開發(fā)， 并使并行計算"真正有用". 其間， 通過移植. 改進和設(shè)計新的高效算法， 已經(jīng)將一大批現(xiàn)有應(yīng)用程序移植到可擴展并行機上運行， 并開發(fā)了大量相應(yīng)的輔助工具軟件. 所有這些工作源自CRPC內(nèi)部和業(yè)界廣泛的應(yīng)用需求. 盡管這些策略和工具已被并行應(yīng)用專業(yè)開發(fā)人員所熟悉， 但據(jù)我們所知， 目前還沒有相關(guān)資料為新涉足該領(lǐng)域的人詳細介紹這些內(nèi)容. 為此， 本書意圖填補這項空白， 將詳細介紹這些應(yīng)用以及移植它們所使用的技術(shù). 本書旨在幫助新涉足并行計算領(lǐng)域的人員盡快了解如何使用這些技術(shù). 本書也適合從事計算科學(xué)的學(xué)生和研究人員了解與掌握高性能并行計算中的基礎(chǔ)理論和實際技能. 這里， 我們假設(shè)讀者已經(jīng)較好地了解了應(yīng)用科學(xué)或計算科學(xué)， 但缺少并行計算的基礎(chǔ)知識， 因此本書包括了大量教學(xué)資料. 同時， 我們希望本書成為從事并行應(yīng)用程序開發(fā)的人員的一本實用參考書， 為此書中深入剖析了并行計算中有用的特殊技術(shù)和方法. 如果讀者希望粗略了解這些方法， 可以閱讀每個部分開頭的應(yīng)用概述或技術(shù)概述章節(jié). 希望讀者能從我們過去15年的積累中獲取一些有用的經(jīng)驗， 避免再犯與我們在獲取這些經(jīng)驗時所犯的同樣錯誤. 本書的內(nèi)容 本書由五個部分組成. 第一部分并行性 這個部分介紹了并行計算及其所依賴的軟. 硬件環(huán)境. 其中， 分別概述了并行計算的各個方面， 深入闡述了現(xiàn)代并行機體系結(jié)構(gòu)， 討論了并行編程必須考慮的一些問題. 第二部分并行應(yīng)用 這個部分幫助初級開發(fā)人員理解如何將高性能計算應(yīng)用到大量特定領(lǐng)域， 注重于如何選擇合適的軟件和算法及其具體實現(xiàn). 其中， 分別討論了計算流體力學(xué). 環(huán)境與能源. 計算化學(xué)等領(lǐng)域的應(yīng)用與實現(xiàn)， 并用單獨的一章（給出了11幅彩圖）介紹了并行計算在其他領(lǐng)域的成功應(yīng)用. 這些內(nèi)容涵蓋了廣泛的科學(xué)領(lǐng)域和數(shù)值方法. 后續(xù)章節(jié)將再次引用這些應(yīng)用， 并將深入討論并行應(yīng)用開發(fā)所需的軟件技術(shù)和算法. 第三部分各種軟件技術(shù) 這個部分介紹了并行應(yīng)用開發(fā)過程中用到的一些軟件技術(shù)的進展， 包括消息傳遞庫. 用于并行計算的運行時庫（例如HPC++類庫， 類似HPF的語言， Co-ArrayFORTRAN， 和HPC++）. 類似poblo的性能分析與調(diào)整工具以及高級程序設(shè)計系統(tǒng)等. 這個部分的目的是為讀者選擇正確的并行計算技術(shù)提供指導(dǎo)信息. 第四部分關(guān)鍵技術(shù)與算法 這個部分討論了大量科學(xué)與工程應(yīng)用問題數(shù)值模擬計算中廣泛使用的并行數(shù)值算法， 包括線性代數(shù). 連續(xù)和離散最優(yōu)化等. 其中， 每一章針對不同算法進行了深入討論， 主要為應(yīng)用開發(fā)人員在尋求不同問題的最佳算法的過程中提供可用的資源. 第五部分結(jié)論 這個部分總結(jié)了上述內(nèi)容， 并討論了高性能科學(xué)與工程計算業(yè)界將要面臨的重要問題， 包括網(wǎng)格環(huán)境下的分布式計算. 本書的使用方式 讀者可以從以下幾個方面來使用本書. 新涉足并行計算領(lǐng)域的人員可以先閱讀第一部分的所有章節(jié)， 然后閱讀第4章. 第9章. 第16章. 第17章和第25章. 第4章. 第9章和第17章分別概要介紹了第二部分. 第三部分和第四部分的內(nèi)容， 為那些對其中某些內(nèi)容感興趣的讀者指明了需要進一步閱讀的章節(jié). 如果讀者是特定領(lǐng)域的開發(fā)人員， 想了解對自己有所幫助的技術(shù)， 可以從第二部分開始閱讀. 這個部分介紹了大量的應(yīng)用和并行技術(shù). 如果讀者找到了與自己正在研究的領(lǐng)域相似的應(yīng)用， 可以通過交叉參考第三部分和第四部分中的內(nèi)容， 找到有用的策略和技術(shù). 最后， 并行計算專家可以將本書作為參考文獻. 每個部分的引言為該部分的其他內(nèi)容提供了指導(dǎo)信息. 本書也可以作為系統(tǒng)用戶的一本指南， 這些系統(tǒng)包括從小型桌面對稱多處理機和PC機群， 到價值上億美元甚至更昂貴的高端超級計算機. 本書主要介紹軟件技術(shù)以及使用這些技術(shù)的大規(guī)模應(yīng)用程序. 在每個議題中， 首先一般性地討論了該領(lǐng)域的狀況， 然后詳細描述了其中的關(guān)鍵技術(shù)或方法. 在某些議題中， 例如消息傳遞編程， 直接采用消息傳遞界面來展開討論， 在其他議題中， 例如問題求解環(huán)境， 我們選擇了具有代表性的系統(tǒng)來闡述其中的概念. 致謝 本書汲取了自CRPC成立以來高性能并行計算界所取得的研究進展. CRPC是美國國家科學(xué)基金資助的科學(xué)和技術(shù)中心， 包括了萊斯大學(xué)， 加利福尼亞技術(shù)研究所， 美國Argonne國家實驗室， 美國Losalalnos國家實驗室， Syracuse大學(xué)， 田納西大學(xué)Knoxville分校和得克薩斯大學(xué)奧斯汀分校的相關(guān)人員. 美國國家科學(xué)基金的資助使本書得以問世. 本書中的研究工作得到了美國國家科學(xué)基金， 美國能源部， 美國國防部（特別是國防先進研究項目機構(gòu)）和美國航空航天局的贊助， 另外還得到了CRPC所屬研究所. 每章作者所在的研究機構(gòu)的贊助. 在美國國家科學(xué)基金資助結(jié)束后， 萊斯大學(xué)提供了基金資助， 這項基金用于為本書的完成償付技術(shù)支持費用. 我們也非常感謝那些幫助我們完成本書的人們. Teresa Parks利用他的編輯與技術(shù)技巧修正了原始手稿. Sarah Gonzales提供了技術(shù)支持以及出版用的圖形. Gail Pieper校對了其中一些章節(jié). 在我們使用LaTex的過程中得到Keith Cooper的指導(dǎo)和建議. Ellen Butler和Shil-iang Chang匯編了本書的目錄. Penny Anderson為本書的出版做了大量工作， 包括匯集作者的簡介， 并收集版權(quán)表格， 以及獲取關(guān)于使用帶版權(quán)資料的許可權(quán). Ellen Butler， Kahryn O'Brien， Penny Anderson和Theresa Chatman組織了會議和遠程電信會議. 處理信件. 管理郵件列表， 并在別人需要幫助時慷慨相助. 我們非常感謝他們， 沒有他們的努力， 這本書將難以出版. 另外， 我們還要感謝Denise Penrose. 他是Morgan Kaufmann出版社專門負(fù)責(zé)本書的編輯， 他在手稿準(zhǔn)備方面提出了有用的建議， 并為我們的手稿組織了單獨的評論文章， 這對我們非常有用. Emilia Thiuri為即將出版的最后手稿提供了編輯支持并提出了寶貴意見. 制作編輯Howard Severson使本書的出版得以緊湊地進行， 并在此期間始終保持其幽默的言談. 所有這些出版人員， 包括校對編輯Barbara Kohl和Carol Leyba， 索引編輯Steve Rath， 均為本書的高質(zhì)量完成做出了貢獻. 我們也感謝那些為本書提供鮮亮外表的人們和工具：提供文字設(shè)計的DettaPenna，提供封面設(shè)計的FrancesBaca， 用于制作插圖的Dartmouth Publishing工具和用于排版的Windfall Software工具. 尤其感謝排版人員的努力， 將我們在后期所做的有關(guān)數(shù)字方面的改動修正到出版物中. 最后， 評論人員為本書提供了許多充滿智慧并且非常實用的評注， 這對本書的結(jié)構(gòu). 內(nèi)容和質(zhì)量都有著重要的影響. 對所有這些人以及每一章的作者， 我們表示衷心的感謝. 第一部分 并行性 第1章 引言 1.1 并行計算硬件 1.2 并行應(yīng)用 1.3 軟件和算法 1.4 并行計算科學(xué) 第2章 并行機體系結(jié)構(gòu) 2.1 單處理機體系結(jié)構(gòu) 2.2 并行體系結(jié)構(gòu) 2.3 并行體系結(jié)構(gòu)的未來趨勢 2.4 小結(jié) 第3章 并行編程面臨的問題 3.1 體系結(jié)構(gòu) 3.2 程序并行分解 3.3 并行性能優(yōu)化 3.4 存儲層次管理 3.5 并行調(diào)試 3.6 性能分析與調(diào)整 3.7 并行I/O 3.8 小結(jié) 第二部分 并行應(yīng)用 第4章 一般應(yīng)用問題 4.1 一個簡單例子的應(yīng)用特征 4.2 求解泊松方程的雅可比方法的通信結(jié)構(gòu) 4.3 一般計算格式的通信開銷 4.4 基本復(fù)合系統(tǒng)應(yīng)用模型 4.5 時間步進模擬和事件驅(qū)動模擬 4.6 應(yīng)用問題的時間結(jié)構(gòu) 4.7 基本復(fù)合系統(tǒng)并行模型小結(jié) 4.8 元計算問題 4.9 小結(jié) 第5章 計算流體力學(xué)中的并行計算 5.1 計算流體力學(xué)概述 5.2 不可壓流 5.3 可壓流 5.4 小結(jié) 第6章 環(huán)境和能源科學(xué)中的并行計算 6.1 地下流建模 6.2 IPARS和NetSolve網(wǎng)格計算 6.3 IPARS的跟蹤與交互式模擬 6.4 地表水模擬 6.5 利用ADR實現(xiàn)流體和輸運耦合模擬 6.6 小結(jié) 第7章 并行計算化學(xué)：NWChem綜述 7.1 分子量子化學(xué) 7.2 NWChem體系結(jié)構(gòu) 7.3 NWChem中的并行計算支撐模塊 7.4 NWChem中的化學(xué)相關(guān)模塊 7.5 NWChem在計算化學(xué)領(lǐng)域中的地位 7.6 計算化學(xué)算法的共同特征 7.7 小結(jié) 第8章 應(yīng)用綜述 8.1 數(shù)值廣義相對論 8.2 格子量子色動力學(xué)的數(shù)值模擬 8.3 海洋建模 8.4 地震模擬 8.5 宇宙結(jié)構(gòu)的形成 8.6 計算電磁學(xué) 8.7 數(shù)據(jù)挖掘中的并行算法 8.8 信號和圖像處理中的高性能計算 8.9 確定型Monte Carlo方法及其并行化 8.10 光子源擬實時X射線微成像實驗 8.11 基于WebHLA的部隊建模與仿真元計算環(huán)境 8.12 應(yīng)用的計算結(jié)構(gòu) 8.13 小結(jié) 第三部分 各種軟件技術(shù) 第9章 軟件技術(shù) 9.1 并行編程技術(shù)的選擇 9.2 如何獲得正確和有效的執(zhí)行 9.3 小結(jié) 第10章 消息傳遞和線程 10.1 消息傳遞編程模型 10.2 多線程編程 10.3 小結(jié) 第11章 并行I/O 11.1 并行I/O框架 11.2 MPI-IO 11.3 并行I/O優(yōu)化 11.4 如何獲得高的I/0性能 11.5 小結(jié) 第12章 編程語言與編譯器 12.1 自動并行 12.2 高性能FORTRAN：數(shù)據(jù)并行編程 12.3 OpenMP：共享存儲并行編程 12.4 Co-Array FORTRAN：SPMD編程 12.5 支持技術(shù) 12.6 發(fā)展趨勢 12.7 小結(jié) 第13章 面向?qū)ο蟮牟⑿袔?13.1 面向?qū)ο蟮牟⑿袔?13.2 Java中的面向?qū)ο蟛⑿芯幊?13.3 C++多線程計算 13.4 遠程函數(shù)調(diào)用. 全局指針和Java RMI 13.5 基于組件的軟件設(shè)計 13.6 小結(jié) 第14章 問題求解環(huán)境 14.1 NetSolve：基于網(wǎng)絡(luò)的解法器： 14.2 基于WebFlow對象的Web計算 14.3 WebPDELab 14.4 其他網(wǎng)格計算環(huán)境 14.5 小結(jié) 第15章 性能調(diào)整和程序調(diào)試工具 15.1 正確性和性能監(jiān)測的基本概念 15.2 測試與調(diào)試實現(xiàn)上面臨的問題 15.3 編譯器的高度集成 15.4 軟件工具的界面和使用 15.5 軟件工具實例 15.6 面臨的挑戰(zhàn)和開放性問題 15.7 小結(jié) 第16章 二維泊松問題 16.1 數(shù)學(xué)模型 16.2 簡單算法 16.3 泊松方程的并行求解 16.4 增加全局操作 第四部分 關(guān)鍵技術(shù)與算法 第17章 可重用的軟件和算法 17.1 模板：并行軟件的設(shè)計模式 17.2 通信器和中性數(shù)據(jù)結(jié)構(gòu) 17.3 標(biāo)準(zhǔn)的庫和組件 17.4 自動微分 17.5 模板和數(shù)值線性代數(shù) 17.6 小結(jié) 第18章 高性能科學(xué)模擬的圖剖分技術(shù) 18.1 網(wǎng)格剖分與圖 18.2 靜態(tài)圖剖分技術(shù) 18.3 自適應(yīng)計算的負(fù)載平衡 18.4 并行圖剖分 18.5 多約束和多目標(biāo)圖剖分 18.6 小結(jié) 第19章 網(wǎng)格生成 19.1 網(wǎng)格生成的策略和技術(shù) 19.2 網(wǎng)格生成過程和幾何預(yù)處理 19.3 自適應(yīng)網(wǎng)格生成 19.4 并行網(wǎng)格生成 19.5 網(wǎng)格生成軟件 19.6 網(wǎng)格結(jié)構(gòu) 19.7 與網(wǎng)格生成有關(guān)的網(wǎng)址 19.8 幾何/網(wǎng)格生成的主要困難 19.9 未來發(fā)展方向 19.10 小結(jié) 第20章 模板和數(shù)值線性代數(shù) 20.1 稠密線性代數(shù)算法 20.2 計算機體系結(jié)構(gòu)對性能的影響 20.3 稠密線性代數(shù)庫 20.4 稀疏線性代數(shù)方法 20.5 稀疏直接法 20.6 稀疏迭代法 20.7 稀疏特征值問題 20.8 小結(jié) 第21章 可擴展的偏微分方程解法軟件 21.1 偏微分方程簡介 21.2 并行偏微分方程計算的難點 21.3 并行求解策略 21.4 PETSc軟件中并行求解偏微分方程的方法 21.5 PDE軟件 21.6 小結(jié) 第22章 并行連續(xù)最優(yōu)化 22.1 局部最優(yōu)化 22.2 全局最優(yōu)化 22.3 直接搜索方法 22.4 相連子系統(tǒng)最優(yōu)化 22.5 變量與約束分布 22.6 小結(jié) 第23章 科學(xué)計算中的路徑追蹤及其在AUTO上的實現(xiàn) 23.1 局部連續(xù) 23.2 全局連續(xù)和度理論 23.3 折疊和分歧 23.4 實際的路徑追蹤方法 23.5 分歧點處的分支選擇 23.6 計算實例：AUTO 23.7 并行AUTO 23.8 小結(jié) 第24章 自動微分 24.1 自動微分概述 24.2 自動微分實現(xiàn)技術(shù) 24.3 自動微分軟件 24.4 消息傳遞并行代碼的自動微分 24.5 自動微分的高級用法 24.6 小結(jié) 第五部分 結(jié) 論 第25章 結(jié)論和未來發(fā)展方向 25.1 計算資源 25.2 應(yīng)用 25.3 軟件 25.4 模板. 算法和技術(shù) 25.5 未來發(fā)展方向 參考文獻 術(shù)語表

暫缺《并行計算綜論》作者簡介