超级计算机

• 超級计算机通常產生大量的高熱，冷卻超級计算机[註 1]是一個很大的問題。
• 因為資料传送的速度不能比光快，幾公尺的距离導致了幾十奈秒的延遲，而克雷著名的环型设计保持了最短距离。
• 超级计算机在短时间內消耗及生产大量的数据，需要投入很多资源确保资讯妥善传送及存取。

因超级计算机而开发的技术：

• 处理器和张量处理器
• 水冷技术
• 非均匀访存模型

处理因超级计算机而建立并用于高性能运算。处理技术後来被用于普通计算机内的信号处理架构及单指令流多数据流，例如：电视游乐器及通用圖形處理器等。[5]

一般的超級计算机都使用Unix或类Unix操作系统，但在講求絕對高效能的操作環境時，超級计算机開發人員會動用特別的輕量級核心（Light Weight Kernel－LWK），減少中断请求、行程間通訊等開銷以提高效能。[6]

輕量級核心包括Cray XT3的Catamount[7]，Cray XT4的CNL (Compute Node Linux)[8]， 以及IBM藍色基因的CNK（Compute Node Kernel）。[9]

訊息傳遞介面及較舊的並列虛擬機器（PVM）常用於非共享內存系統（Distributed Memory System），而OpenMP常用於共享內存並行系統。[10][11]

傳統上Fortran的编译器可以產生比C或C++更高效能目的碼，所以Fortran仍然被使用作科学。

超級计算机需要編譯器優化技術以產生優佳的目的碼，現今的優化編譯器都對向量化（Vectorization）、程式迴圈、記憶體階層及數據局部性進行優化。[12][13][14]

此外，優化編譯器都以高層次的中間表示（Intermediate Representation）優化程式 － 包括Open64編譯器的WHIRL、[15]IBM XL編譯器的Wcode。[16]

超級计算机主要執行科學運算等擁有大量向量及矩陣浮點計算的程式，因此優化常用的數學函数會提高運算效能。BLAS函数庫使向量及矩陣浮點計算效能大大提高，[17][18]而優佳化數學函数庫則提高三角函數及平方根等數學運算。[19]

平行檔案系統屬於分散式檔案系統的一類，支援多客戶端節點、多檔案系統伺服器，以及支援平行I/O（如MPI-IO、HDF5）；現今流行的平行檔案系統包括Lustre和PVFS。[20]

超級计算机節點之間的通信一般都需要使用高性能的網路介面，現今大多TOP500的超級计算机使用乙太網路（44.8%）及InfiniBand（41.8%）。[21]

傳統上InfiniBand比乙太網路有更高的頻寬，同時因作業系統呼叫省略（Operating System Bypass）而提供更低的延遲時間（latency）；然而2011年思科系統開發VFIO技術於超級计算机和叢集應用，使一般的乙太網路介面也能提供低延遲時間，從而提升乙太網路在超級计算机的應用層面。[22]

超级计算机速度以每秒浮點運算次數"FLOPS"（floating-point operations per second）来作量度单位，常见的表示计算机中的峰值或速度用的单位英汉对照如下：

• 一個MFLOPS（megaFLOPS）等於每秒100萬（=10⁶）次的浮點運算
• 一個GFLOPS（gigaFLOPS）等於每秒10億（=10⁹）次的浮點運算
• 一個TFLOPS（teraFLOPS）等於每秒1兆（=10¹²）次的浮點運算
• 一個PFLOPS（petaFLOPS）等於每秒1千兆（=10¹⁵）次的浮點運算
• 一個EFLOPS（exaFLOPS）等於每秒100京（=10¹⁸）次的浮點運算

此外，由於浮點積和熔加運算或乘積累加是兩次的浮點運算（每條FMA指令包括加/減及乘），因此當處理器支援FMA指令時，峰值是兩倍每秒所能執行FMA指令的數目。[25]

截至2022年6月1日，目前全球最快的超級電腦AMD與美國能源局橡樹嶺實驗室合作打造的超級電腦「Frontier」，運算能力是1.102 ExaFLOPS，和二名的日本理化學研究所（Riken）與富士通（Fujitsu）共同研發的「富岳」（Fugaku）運算能力415.53 PFLPOS約2.6倍。「Frontier」採用AMD代號「Milan」的第三代EPYC伺服器處理器，搭配OCP加速器模組設計的Instinct MI250X加速繪圖卡構成，這也是超級電腦再次由x86架構奪下第一名。[26]

截至2017年11月14号，世界上最节能的超级计算机是日本国立理化学研究所的菖蒲超级计算机B型。[24]

IBM藍色基因

• 2009年10月，中国研制的第一台千万亿次超级计算机在湖南長沙亮相，全系统峰值性能为每秒1.206PFlops。这台名为天河一号的计算机位居同日公布的中国超级计算机前100强之首，也是當時世界上最快的超級计算机。天河一号的研製成功使中国成为继美国之后世界上第二个能够研制千万亿次超级计算机的国家。
• 2008年11月，IBM的Roadrunner成為當時最快的超級计算机，運算能力為1.105PFlops。
• 2008年11月16日，克雷公司推出美洲虎系列，運算能力為1.059PFlops，採用45376顆四核心的Opteron處理器，362太字節的記憶體，傳輸總頻寬284GB/Sec，硬碟容量超過10拍字節，內部的資料匯流排頻寬532太字節/秒。這台计算机將放置在美國的國家高速计算机中心，並開放給各界有需要的團體申請使用。
• 2007年11月，IBM的Blue Gene/L，运算能力為478.2 TFlops，安装了32768個处理器。它是PowerPC架构的修改版本，正式运作版本被推出到很多地点，包括罗兰士利物摩亚国家实验室。
• 在Blue Gene/L之前，最快的超级计算机是日本电气株式会社在横滨地球科学学院的地球模拟器。它由640个特别设计的8阶处理器根据NEC SX-6架构所组成的丛集，使用Unix的修改版本。
• 在地球模拟器之前，最快的超级计算机是美国加州罗兰士利物摩亚国家实验室的ASCI White，它的冠军位置维持了2.5年。

日本富士通和理化学研究所開發的超级计算机京，已於2019年8月30日退役

• 某些分布式运算把丛集超级运算推至极限。例如SETI@home计划现在平均有667.716 TeraFLOPS运算能力。[27].
• 2009年4月，Folding@home声称拥有超過8PFLOPS运算能力。[28]
• GIMPS运算能力也高达18TFLOPS。
• Google的搜寻引擎系统Google數據中心总处理能力界乎于126及316TFLOPS之间。Tristan Louis估计这个系统等于32000至79000台双2 GHzXeon计算机[29]。由于散热问题，Google的搜寻引擎系统应该属于网格运算。