Kailangan mo ba ng isang makina na maaaring makapaghatid ng daan-daang trilyong mga pagkalkula na lumulutang-point bawat segundo? O nangangailangan ka ba ng isang kwentong pang-bar tungkol sa kung paano nabaluktot ng isang supercomputer sa iyong basement ang isang breaker? Ang pagbuo ng iyong sariling kumpol ng Mataas na Pagganap ng Compute, isang supercomputer ng a.k.a, ay isang hamon sa sinumang dalubhasa na geek na may isang walang katapusan na oras sa katapusan ng linggo at ilang cash na masusunog ay maaaring matugunan. Sa teknikal na pagsasalita, ang isang moderno, multi-processor supercomputer ay isang network ng mga computer na nagtutulungan nang magkasama upang malutas ang isang problema. Maikli ilarawan ng artikulong ito ang bawat hakbang sa proseso, na nakatuon sa hardware at software.
Mga hakbang
Hakbang 1. Tukuyin muna ang mga sangkap ng hardware at mga mapagkukunan na kinakailangan
Kakailanganin mo ang isang head node, hindi bababa sa isang dosenang magkapareho na mga node ng compute, isang switch ng Ethernet, isang yunit ng pamamahagi ng kuryente, at isang rak. Tukuyin ang pangangailangan ng elektrisidad, paglamig at kinakailangang puwang. Magpasya din sa kung anong IP address ang gusto mo para sa iyong mga pribadong network, kung ano ang pangalanan ang mga node, kung anong mga software packages ang nais mong mai-install, at kung anong teknolohiya ang nais mong ibigay ang mga kakayahan sa parallel computing (higit pa sa paglaon).
- Bagaman mahal ang hardware, lahat ng software na nakalista sa kung paano ito ay libre, at ang karamihan ay bukas na mapagkukunan.
- Kung nais mong makita kung gaano kabilis ang iyong supercomputer magiging teoretikal, gamitin ang tool na ito:
Hakbang 2. Buuin ang mga compute node
Kakailanganin mong tipunin ang mga node ng compute o kumuha ng mga pre-build server.
- Pumili ng isang chassis ng server ng computer na nag-maximize ng espasyo, paglamig, at kahusayan ng enerhiya.
- O maaari mong magamit ang isang dosenang o higit pa na ginagamit, hindi napapanahong mga server - na ang kabuuan ay mas malaki kaysa sa kabuuan ng kanilang mga bahagi ngunit nai-save ka ng isang malaking sukat ng cash. Ang lahat ng mga processor, adaptor sa network, at mga motherboard ay dapat na magkapareho para sa buong sistema upang makapaglaro nang maayos. Siyempre, huwag kalimutan ang tungkol sa RAM at imbakan para sa bawat node at hindi bababa sa isang optical drive para sa head node.
Hakbang 3. I-install ang mga server sa rack
Magsimula mula sa ibaba, kaya't ang rak ay hindi mabibigat sa itaas. Kakailanganin mo ang isang kaibigan upang matulungan ka sa mga ito - ang mga siksik na server ay maaaring maging napakabigat at paggabay sa mga ito sa daang-bakal na humahawak sa kanila sa rak ay mahirap.
Hakbang 4. I-install ang switch ng Ethernet sa itaas ng chassis ng server
Dalhin ang sandaling ito upang mai-configure ang switch: payagan ang mga laki ng jumbo frame na 9000 bytes, itakda ang IP address sa static address na napagpasyahan mo sa hakbang 1, at patayin ang mga hindi kinakailangang mga router sa pagruruta tulad ng SMTP Snooping.
Hakbang 5. I-install ang PDU (Power Distribution Unit)
Nakasalalay sa kung gaano karaming kasalukuyang maaaring kailanganin ng iyong mga node ang maximum na pag-load, maaaring kailanganin mo ng 220 volts para sa mataas na pagganap ng computing.
Hakbang 6. Sa lahat ng naka-install, maaari mong simulan ang proseso ng pagsasaayos
Ang Linux ay ang de facto OS para sa mga kumpol ng HPC – hindi lamang ito ang mainam na kapaligiran para sa pang-agham na pag-compute, ngunit hindi gastos ang isang bagay upang mai-install ito sa daan-daang o kahit libu-libong mga node. Isipin kung magkano ang magastos upang mai-install ang Windows sa lahat ng mga node na iyon!
- Magsimula sa pag-install ng pinakabagong bersyon ng motherboard BIOS at firmware, na dapat pareho sa lahat ng mga node.
- I-install ang iyong ginustong linux distro sa bawat node, na may isang graphic na UI para sa head node. Kasama sa mga tanyag na pagpipilian ang CentOS, OpenSuse, Scientific Linux, RedHat, at SLES.
- Masidhing inirerekomenda ng may-akda na gamitin ang Pamamahagi ng Rocks Cluster. Bilang karagdagan sa pag-install ng lahat ng mga tool na kinakailangan para sa isang compute cluster upang gumana, ang Rocks ay gumagamit ng isang mahusay na pamamaraan para sa 'pamamahagi' ng maraming mga pagkakataon ng sarili nito sa mga node nang napakabilis gamit ang PXE boot at ang Red Hat 'Kick Start' na pamamaraan.
Hakbang 7. I-install ang interface na dumadaan sa mensahe, manager ng mapagkukunan, at iba pang mga kinakailangang aklatan
Kung hindi mo na-install ang Rocks sa nakaraang hakbang, kakailanganin mong manu-manong i-setup ang kinakailangang software upang paganahin ang mga parallel na mekanismo ng computing.
- Una kakailanganin mo ang isang portable bash management system, tulad ng Torque Resource Manager, na nagbibigay-daan sa iyo upang mag-break-up at ipamahagi ang mga gawain sa maraming machine.
- Ipares ang Torque sa Maui Cluster scheduler upang makumpleto ang pag-set up.
- Susunod kakailanganin mong i-install ang interface ng pagpasa ng mensahe, kinakailangan para sa mga indibidwal na proseso sa magkakahiwalay na mga node ng compute upang ibahagi ang parehong data. OpenMP ay isang walang utak.
- Huwag kalimutan ang mga multi-threading library ng matematika at tagatala upang buuin ang iyong mga parallel na programa sa computing. Nabanggit ko ba na dapat mo lamang i-install ang Rocks?
Hakbang 8. I-network ang mga node ng compute nang magkasama
Ang head node ay nagpapadala ng mga gawain sa compute sa mga compute node, na siya namang dapat ibalik ang resulta, pati na rin ang pagpapadala ng mga mensahe sa bawat isa. Ang mas mabilis mas mahusay.
- Gumamit ng isang pribadong network ng ethernet upang ikonekta ang lahat ng mga node sa kumpol.
- Ang head node ay maaari ring kumilos bilang isang NFS, PXE, DHCP, TFTP, at NTP server sa Ethernet network.
- Dapat mong paghiwalayin ang network na ito mula sa mga pampublikong network, na tinitiyak na ang mga broadcast packet ay hindi makagambala sa iba pang mga network sa iyong LAN.
Hakbang 9. Subukan ang kumpol
Ang huling bagay na maaaring nais mong gawin bago ilabas ang lahat ng kapangyarihan na ito sa pag-compute sa iyong mga gumagamit ay subukan ang pagganap nito. Ang benchmark ng HPL (High Performance Lynpack) ay isang tanyag na pagpipilian para sa pagsukat ng bilis ng computational ng kumpol. Kakailanganin mong ipunin ito mula sa mapagkukunan gamit ang lahat ng posibleng mga pag-optimize na inaalok ng iyong tagatala para sa arkitekturang napili mo.
- Dapat, syempre, mag-ipon mula sa mapagkukunan kasama ang lahat ng posibleng mga pagpipilian sa pag-optimize para sa iyong platform. Halimbawa, kung gumagamit ng mga AMD CPU, sumulat kasama ang Open64 na may antas na -0fast na pag-optimize.
- Ihambing ang iyong mga resulta sa TOP500.org upang ihambing ang iyong kumpol sa pinakamabilis na 500 supercomputers sa buong mundo!
Video - Sa pamamagitan ng paggamit ng serbisyong ito, maaaring ibahagi ang ilang impormasyon sa YouTube
Mga Tip
- Para sa talagang mataas na bilis ng network, tumingin sa mga interface ng InfiniBand network. Maging handa upang magbayad ng mga premium na presyo bagaman.
- Maaaring gawing madali ng IPMI ang pangangasiwa ng isang malaking kumpol sa pamamagitan ng pagbibigay ng KVM-over-IP, remote power cycling, at marami pa.
- Gumamit ng Ganglia upang subaybayan ang mga pagkarga ng computational sa mga node.
