POČÍTAČE
/ COMPUTERS

Pohledem na histogramy si ověřte aktuální zatížení procesorů a disků v našem klastru nebo sledujte časový vývoj zátěže procesorů. Projděte si poznámky k našemu hardwaru a zahleďte se na seznam softwaru dostupného na strojích s Linuxem i Windows. Zkuste, zda nenaleznete něco užitečného dole mezi návody.

CPU usage (load/cores) Disk usage
guptime gdf
(guptime) Zatížení uzlů klastru. Zelené sloupce naznačují nepřetížené uzly, sloupce žluté a červenající upozorňují na hrozící přetížení, fialovou barvu naberou sloupce po překročení 210procentní meze zátěže. Sloupce vypnutých či padlých strojů zčernají. Procenta zátěže na osách se vztahují k poměru počet běžících úloh ku počtu jader uzlu (load/cores), počet běžících úloh je vyznačen u horního okraje sloupce, počet jader uzlu v popisku sloupce. Svislá čára u vrcholu sloupce charakterizuje tendenci vývoje počtu úloh, vyznačuje maximum z průměrů za posledních 5 a 15 minut, zatímco výška barevného sloupce odpovídá průměru za poslední 1 minutu. Pro nové úlohy volte stroje se zeleným sloupcem nebo údajem 0.0 na dolní ose, nebo počkejte na klidnější časy, nebo oslovte počítající kolegy (k jejich identifikaci použijte na uzlu příkaz top). (gdf) Obsazenost síťových disků na strojích karel, lojzik, vaclav, geof10−90, geof-xyz a v diskovém poli. Do zaplnění 80 % kapacity disku svítí sloupec zeleně, pak žloutne a rudne. Procenta zaplnění jsou uvedena u horního okraje sloupce, velikost disku v TB stojí v popisku.

Obrázky se aktualizují s minutovou periodou (v prohlížeči je ovšem třeba je obnovovat, např. klávesou F5 nebo pomocí webového osvěžovače). Zde jsou položeny ve vektorovém formátu svg, při zvětšování tedy získávají na čitelnosti, pokud ovšem prohlížeč svg formátu rozumí. Dostatečně velké png varianty se zobrazí po kliknutí na ploše obrázků. Data pro obrázky jsou získávána pomocí skriptů guptime a gdf, dostupných na každém uzlu klastru. (Zdrojové skripty pro gnuplot: 1, 2.)

Obrázky časového vývoje zátěže procesorů na jednotlivých uzlech i souhrnně hledejte na samostatné stránce.

Aktuality / News

News
Přehled uzlů

Přehled uzlů klastru

Na 1 listu (aktuální stav): PDF
Na 3 řádcích (listopad 2019): 10 8jádrových i9 stanic, 7 6jádrových i7 stanic, 12 12jádrových i9 nebo Xeon serverů, 3 24jádrové Xeon servery, 12 stranou stojících strojů a 1 diskové pole. Celkem 40 strojů, 380 CPU jader, 27k GPU jader. Paměť 2+ TB, disky 250+ TB. Ubuntu Linux 14.04

Další 8jádrové stroje s procesory Intel i9 Coffee Lake Refresh

(Říjen 2019) Pět 8jádrových procesorů Intel i9-9900KF doplnilo srpnový upgrade, takže rychlé (až 5GHz-ové) procesory jsou nyní ve všech deseti strojích geof*0.

Nové 8jádrové a 12jádrové stroje s procesory Intel i9 Coffee Lake Refresh a Skylake-X

(Srpen 2019) Pět 8jádrových procesorů Intel i9-9900K (turbo frekvence 5,0 GHz) nahradilo předchozí hardware ve strojích geof60, geof70, ... geof00 a tři 12jádrové procesory Intel i9-9920X občerstvily servery geofx1, geofx2 a geofx3. Paměť dotčených strojů je 32 až 64 GB (PDF). Shromažďujeme dojmy, zda paralelizovaným aplikacím přinese více užitku (levnější) rychlejší 8jádro nebo (dražší) pomalejší 12jádro.

Nové grafické akcelerátory Nvidia

(Březen a srpen 2019) Na strojích geof10, geof20 a (později) geof30 se objevily výpočetní akcelerátory (GPUs) Nvidia Geforce RTX 2070, nejvýkonnější GPUs našeho klastru. Každý z těchto akcelerátorů disponuje 36 multiprocesory s celkem 2304 (SP) jádry a 8 GB paměti. Doplňují tak o něco starší Nvidia Geforce GTX 1070 Ti na geof40 a geof50, a nově (srpen 2019) se k týmu připojila další výkonná Nvidia Geforce GTX 1660 Ti na geof00. Užitek aktuálně přinášejí pro software využívající direktiv OpenACC poskytovaných překladači firmy PGI (pgfortran, pgcc).

Nové 24jádrové servery s procesory Intel Xeon Broadwell

(Prosinec 2018) Tři nové servery, každý s dvěma 12jádrovými procesory Intel Xeon E5-2650 v4, získaly jména geofw1, geofw2 a geofw3. Servery geofw překonávají naše ostatní stroje počtem jader (24, resp. 48 v HT režimu) i velikostí paměti (po řadě 128, 128 a 256 GB).

Nové stroje s procesory Intel Skylake

(Červen 2016) Dva single stroje (geofhk Míšy Káňové a geoflh Katky Sládkové) dostaly soudobý hardware. Procesory jsou sice jen 4jádrové, ale už šesté generace Intel Core zvané Skylake. V našem klastru jsou jako takové první, a to i se svou frekvencí 4,0 GHz a DDR4 pamětí o frekvenci 2,4 GHz.

Stěhování do nové serverovny

(Únor a březen 2016) Započali a dokončili jsme přesun většiny strojů klastru do nové fakultní serverovny. Bude jim tam snad lépe než v dosavadní katederní, je tam chládek. (V katederní serverovně teď už také.) Přestěhovali jsme 23 počítačů (12 geof-xyz, 10 geof-0 a 1 geoffg) a InfiniBand switch.

Nová stanice: geof00. Staronové servery: geofx

(Říjen 2015) Grantové zdroje daly vzniknout nové 6jádrové stanici geof00 v konfiguraci obdobné jako ostatní geof-0 stroje. Znovu zprovozněny byly tři 2procesorové servery o 8 jádrech pod staronovými jmény geofx1, geofx2 a geofx3 (Xeon E5520). 12jádrové servery nyní tvoří řadu geofy* (Xeon X5650) a geofz* (Xeon E5-2630v2).

Upgrade na uzlech klastru: Ubuntu 14.04

(Srpen 2015) Téměř na všech uzlech klastru proběhl upgrade Linuxu na verzi Ubuntu 14.04. Po jistý čas zůstane starší Ubuntu 12.04 zachováno na stanici karel. Aktuální stav přechodu zachycuje přehled uzlů.

Software instalovaný v nové konfiguraci je sepsán níže. Jsou tam uvedeny i příkazy, kterými je třeba aktivovat některé aplikace nebo jejich specifické verze (MATLAB, COMSOL, Sepran, Intel MPI, LAPACK, IMSL, CULA, Gnuplot verze 5, GMT verze 5). Ad OpenMP (a také Intel MKL): proměnné OMP_NUM_THREADS a MKL_NUM_THREADS jsou nastaveny explicitně na 1, pro vláknové běhy je žádoucí hodnotu jedné z proměnných zvýšit (př.: export OMP_NUM_THREADS=6).

Při prvním ssh logování na upgradované stroje se objevuje výstraha, které není třeba věnovat pozornost. Výjimkou je spojení Linux-Linux, kdy je třeba pročistit nebo vymazat soubor ~/.ssh/known_hosts.

Katedrální web

(Březen 2015) Webové stránky katedry prošly za 20 let existence řadou proměn (viz Wayback Machine). K nedávným (leden 2013) patří oddělení obsahu (hypertext, HTML) a formy (kaskádové styly, CSS), což mělo usnadnit budoucí změny vizuálního stylu. A snad i usnadnilo, když v březnu 2015 stránky získaly nová záhlaví, zápatí, dlaždice a barvy.

Nové záhlaví přineslo originální grafiku, kde na řezech ortografické projekce modelu Země jsou autorsky ztvárněny jak seismické vlny šířící se pláštěm, tak plášťová konvekce s vzestupnými plášťovými chocholy a zanořující se litosférickou deskou, a v okolí planety jsou naznačeny Van Allenovy radiační pásy. Textové dlaždice pod záhlavím odkazují na významné prvky stránky a jiná relevantní místa, při pravém okraji domácí stránky upoutávají k následujícímu obsahu i grafické dlaždice. Zápatí sdružuje praktické odkazy: G-kalendář, webmail, zatížení počítačového klastru, lokální vyhledávání, statistiku přístupů a archivní snímky stránek.

Byl rozšířen obsah stránek: obohaceny jsou upoutávky na geofyzikální témata, občerstveny informace o studiu na katedře, přidány rozcestník seminářů a stránka o počítačové infrastruktuře, více stránkám je doplněna ilustrační grafika.

Web sestává ze statických XHTML a CSS souborů, jejich dynamické generování a zpracování cookies je připraveno, zatím neaktivováno. Jisté dynamičnosti je dosaženo automatizovaným obměňováním několika obrázků v čase a pohotovou ruční editací aktualit. Stránky jsou otestovány na trojici populárních prohlížečů a dávají smysl na mobilních zařízeních, s vypnutým stylem i při tisku.

Devátý server

(Březen 2015) Konec března přinesl součástky pro devátý server skupiny geof-xyz: geofz3. Jeho parametry (procesory, paměť a disk) jsou shodné s geofz1/z2 a bude s nimi tvořit trojici našich nejsilnějších 12jádrových strojů (generace Ivy Bridge, 22nm technologie). Servery geof-xy jsou výkonem srovnatelné, ale patří k předchozí generaci (Gulftown, 32 nm). Server geoflh je pomalejší, jen 8jádrový 45nanometrový Gainestown, bez InfiniBandu, a stojí proto poněkud stranou, nově jako desátý z deseti. Update: geofz3 v provozu.

Hardware

Intel CPU

Hardware klastru

Počítačový klastr katedry zahrnuje 15 serverů (geofXYZW s procesory Intel i9/Xeon o 12 až 24 jádrech) a 15 stanic (karel, lojzik, vaclav, geof*0, geofb* s 6 až 8jádrovými Intel Core i7/i9). Klastr doplňuje několik strojů starší generace a diskové pole (geofds) na kapacitu téměř 400 CPU jader a přes 250 TB diskového prostoru. Některé stroje jsou vybaveny výpočetními koprocesory (Nvidia GPU, Intel MIC/Xeon Phi), servery jsou propojeny vysokorychlostní sítí (InfiniBand). Na strojích běží linuxová distribuce Ubuntu verze 14.04. Údaje o procesorech, paměti, síťových discích a výpočetních koprocesorech shrnuje aktuální přehled uzlů klastru.

Přístup ke strojům

Ke strojům se přistupuje pomocí textových nebo grafických relací. Ze strojů s Linuxem to typicky bývá příkazem ssh, resp. (pro grafickou relaci) ssh -X, ze strojů s Windows textově pomocí aplikace PuTTY nebo graficky pomocí softwaru NoMachine (NX Client); s podporou X-serveru ve Windows (např. VcXsrv) lze otevírat grafické aplikace i z textového PuTTY. Pro přenos dat slouží v Linuxu příkaz scp, sshfs atp., ve Windows univerzálně (tj. z katedry i světa) např. software WinSCP nebo stejnojmenný plugin v Altap Salamanderu. Lokálně, tedy mezi uzly klastru a ze strojů katedry, lze pro datové přenosy používat NFS spoje a z Windows lze k síťovým diskům přistupovat pomocí Samba spojů (Map Network Drive, Folder: //server/shared-folder), rychlejších než šifrované WinSCP.

Spouštění úloh

Uživatelé mají obvykle přístup ke všem uzlům a na každém síťovém disku mají svůj adresář. Spouštění úloh není řízeno žádným systémem, je na uživatelích, aby si pomocí skriptů guptime a gdf nebo jejich grafických variant (viz nahoře) nalezli nepřetížený stroj, tedy stroj s aktuálním počtem běžících úloh menším než je počet jader (12−24 u serverů, 8 nebo méně u pracovních stanic). Stroje podporují hyperthreading, tedy může (ale nemusí) přinést užitek zatížit stroj až na 200 %. (Na 8jádrových stanicích může 16 paralelních úloh doběhnout mírně rychleji než po sobě spuštěné dvojice 8 paralelních úloh.) Není vhodné přetěžovat karla, na kterém běžně pracuje několik živých uživatelů interaktivně a který nese web server. Stroje jsou připojeny k samostatnému síťovému přepínači (Gigabit Ethernet), servery navíc ke 40násobně rychlejšímu přepínači (InfiniBand), přesto bývá typičtější (odolnější proti výpadkům uzlů a sítě) číst a psát data na lokálním disku stroje.

Software − Linux

Ubuntu

Na uzlech klastru běží operační systém Linux v distribuci Ubuntu 14.04 (Trusty Tahr), jako rezerva zůstává stroj karel s verzí 12.04 (Precise Pangolin). Níže v seznamech je uveden dostupný software; ne vše, zvláště jde-li o komerční licence, je na všech strojích. Uváděná čísla verzí se vztahují k Ubuntu 14.04 [v hranatých závorkách k 12.04].

Programovací jazyky, numerické modelování

Paralelizace a numerické knihovny

Vizualizace

a další balíčky...

Software − Windows

Windows

Stroje s Windows umístěné v počítačové laboratoři, posluchárně a po kancelářích mohou obsahovat mj. níže uvedený licencovaný nebo volně dostupný software. Za zdůraznění stojí, že leccos máme k dispozici jak v Linuxu, tak pro Windows: překladače GNU, g95, Intel i Portland, také Python a Octave s mnoha balíčky, numerické knihovny LAPACK, Intel MKL, IMSL, CULA, UMFPACK i Pardiso, grafický software GIMP, ImageMagick, Inkscape, gnuplot, GMT a ParaView a samozřejmě LaTeX. S GNU překladači (ve variantě MinGW) se do Windows dostane i ke stovce linuxových nástrojů, včetně bash, make a awk. Možnost vyvíjet a ladit v prostředí Windows aplikace snadno přenositelné na linuxové stroje (nebo naopak) se tak stala docela průstupnou.

K Fortranu: Překladače GNU (gfortran, gcc, g++) se ovládají primárně z příkazového řádku, lze k nim přidat grafické vývojová prostředí (NetBeans, Code::Blocks, Geany). Intel překladače pro Windows mají také řádkový režim (ifort, icpc), obvyklejší je však využívat instalovanou podporu pro Microsoft Visual Studio. Téhož jsou schopny i překladače Portlandu (pgfortran, pgcc, pgcpp). Překladač Microsoft Fortran PowerStation (fl32) je 20 let starý, což je na něm znát. Překladače GNU, Intel a Portland umožňují vláknovou paralelizaci (OpenMP), v Intelu lze programovat výpočetní koprocesory MIC a v Portlandu grafické procesory Nvidia (CUDA Fortran a OpenACC direktivy). O MPI paralelizaci ve Windows se nesnažíme, ale je myslitelná.

Dostupný software

Návody

Další návody jsou k nalezení na stránkách semináře o softwaru pro geofyziky.