POČÍTAČE
/ COMPUTERS

Pohledem na histogramy si ověřte aktuální zatížení procesorů a disků v našem klastru nebo sledujte časový vývoj zátěže procesorů. Projděte si poznámky k našemu hardwaru a zahleďte se na seznam softwaru dostupného na strojích s Linuxem i Windows. Zkuste, zda nenaleznete něco užitečného dole mezi návody.

CPU usage (load/cores) Disk usage
guptime gdf
(guptime) Zatížení uzlů klastru. Zelené sloupce naznačují nepřetížené uzly, sloupce žluté a červenající upozorňují na hrozící přetížení, fialovou barvu naberou sloupce po překročení 210procentní meze zátěže. Sloupce vypnutých či padlých strojů zčernají. Procenta zátěže na osách se vztahují k poměru počet běžících úloh ku počtu jader uzlu (load/cores), počet běžících úloh je vyznačen u horního okraje sloupce, počet jader uzlu v popisku sloupce. Svislá čára u vrcholu sloupce charakterizuje tendenci vývoje počtu úloh, vyznačuje maximum z průměrů za posledních 5 a 15 minut, zatímco výška barevného sloupce odpovídá průměru za poslední 1 minutu. Pro nové úlohy volte stroje se zeleným sloupcem nebo údajem 0.0 na dolní ose, nebo počkejte na klidnější časy, nebo oslovte počítající kolegy (k jejich identifikaci použijte na uzlu příkaz top). (gdf) Obsazenost síťových disků na strojích karel, lojzik, vaclav, geof10−90, geof-xyz a v diskovém poli. Do zaplnění 80 % kapacity disku svítí sloupec zeleně, pak žloutne a rudne. Procenta zaplnění jsou uvedena u horního okraje sloupce, velikost disku v TB stojí v popisku.

Obrázky se aktualizují s minutovou periodou (v prohlížeči je ovšem třeba je obnovovat, např. klávesou F5 nebo pomocí webového osvěžovače). Zde jsou položeny ve vektorovém formátu svg, při zvětšování tedy získávají na čitelnosti, pokud ovšem prohlížeč svg formátu rozumí. Dostatečně velké png varianty se zobrazí po kliknutí na ploše obrázků. Data pro obrázky jsou získávána pomocí skriptů guptime a gdf, dostupných na každém uzlu klastru. (Zdrojové skripty pro gnuplot: 1, 2.)

Obrázky časového vývoje zátěže procesorů na jednotlivých uzlech i souhrnně hledejte na samostatné stránce.

Aktuality / News

News
Přehled uzlů

Přehled uzlů klastru

Na 1 listu: PDF
Na 3 řádcích: 3+10+2 6jádrové i7 stanice, 3 8jádrové a 9 12jádrových Xeon serverů, 6 stranou stojících strojů a 1 diskové pole. 242 CPU jader, 100+ MIC jader, 14k GPU jader. Paměť 1+ TB, disky 140 TB. Ubuntu Linux 14.04.

Nové stroje s procesory Intel Skylake

(Červen 2016) Dva single stroje (geofhk Míšy Káňové a geoflh Katky Sládkové) dostaly soudobý hardware. Procesory jsou sice jen 4jádrové, ale už šesté generace Intel Core zvané Skylake. V našem klastru jsou jako takové první, a to i se svou frekvencí 4,0 GHz a DDR4 pamětí o frekvenci 2,4 GHz.

Stěhování do nové serverovny

(Únor a březen 2016) Započali a dokončili jsme přesun většiny strojů klastru do nové fakultní serverovny. Bude jim tam snad lépe než v dosavadní katederní, je tam chládek. (V katederní serverovně teď už také.) Přestěhovali jsme 23 počítačů (12 geof-xyz, 10 geof-0 a 1 geoffg) a InfiniBand switch.

Nová stanice: geof00. Staronové servery: geofx

(Říjen 2015) Grantové zdroje daly vzniknout nové 6jádrové stanici geof00 v konfiguraci obdobné jako ostatní geof-0 stroje. Znovu zprovozněny byly tři 2procesorové servery o 8 jádrech pod staronovými jmény geofx1, geofx2 a geofx3 (Xeon E5520). 12jádrové servery nyní tvoří řadu geofy* (Xeon X5650) a geofz* (Xeon E5-2630v2).

Upgrade na uzlech klastru: Ubuntu 14.04

(Srpen 2015) Téměř na všech uzlech klastru proběhl upgrade Linuxu na verzi Ubuntu 14.04. Po jistý čas zůstane starší Ubuntu 12.04 zachováno na stanici karel. Aktuální stav přechodu zachycuje přehled uzlů.

Software instalovaný v nové konfiguraci je sepsán níže. Jsou tam uvedeny i příkazy, kterými je třeba aktivovat některé aplikace nebo jejich specifické verze (MATLAB, COMSOL, Sepran, Intel MPI, LAPACK, IMSL, CULA, Gnuplot verze 5, GMT verze 5). Ad OpenMP (a také Intel MKL): proměnné OMP_NUM_THREADS a MKL_NUM_THREADS jsou nastaveny explicitně na 1, pro vláknové běhy je žádoucí hodnotu jedné z proměnných zvýšit (př.: export OMP_NUM_THREADS=6).

Při prvním ssh logování na upgradované stroje se objevuje výstraha, které není třeba věnovat pozornost. Výjimkou je spojení Linux-Linux, kdy je třeba pročistit nebo vymazat soubor ~/.ssh/known_hosts.

Katedrální web

(Březen 2015) Webové stránky katedry prošly za 20 let existence řadou proměn (viz Wayback Machine). K nedávným (leden 2013) patří oddělení obsahu (hypertext, HTML) a formy (kaskádové styly, CSS), což mělo usnadnit budoucí změny vizuálního stylu. A snad i usnadnilo, když v březnu 2015 stránky získaly nová záhlaví, zápatí, dlaždice a barvy.

Nové záhlaví přineslo originální grafiku, kde na řezech ortografické projekce modelu Země jsou autorsky ztvárněny jak seismické vlny šířící se pláštěm, tak plášťová konvekce s vzestupnými plášťovými chocholy a zanořující se litosférickou deskou, a v okolí planety jsou naznačeny Van Allenovy radiační pásy. Textové dlaždice pod záhlavím odkazují na významné prvky stránky a jiná relevantní místa, při pravém okraji domácí stránky upoutávají k následujícímu obsahu i grafické dlaždice. Zápatí sdružuje praktické odkazy: G-kalendář, webmail, zatížení počítačového klastru, lokální vyhledávání, statistiku přístupů a archivní snímky stránek.

Byl rozšířen obsah stránek: obohaceny jsou upoutávky na geofyzikální témata, občerstveny informace o studiu na katedře, přidány rozcestník seminářů a stránka o počítačové infrastruktuře, více stránkám je doplněna ilustrační grafika.

Web sestává ze statických XHTML a CSS souborů, jejich dynamické generování a zpracování cookies je připraveno, zatím neaktivováno. Jisté dynamičnosti je dosaženo automatizovaným obměňováním několika obrázků v čase a pohotovou ruční editací aktualit. Stránky jsou otestovány na trojici populárních prohlížečů a dávají smysl na mobilních zařízeních, s vypnutým stylem i při tisku.

Devátý server

(Březen 2015) Konec března přinesl součástky pro devátý server skupiny geof-xyz: geofz3. Jeho parametry (procesory, paměť a disk) jsou shodné s geofz1/z2 a bude s nimi tvořit trojici našich nejsilnějších 12jádrových strojů (generace Ivy Bridge, 22nm technologie). Servery geof-xy jsou výkonem srovnatelné, ale patří k předchozí generaci (Gulftown, 32 nm). Server geoflh je pomalejší, jen 8jádrový 45nanometrový Gainestown, bez InfiniBandu, a stojí proto poněkud stranou, nově jako desátý z deseti. Update: geofz3 v provozu.

Nový Full HD datový projektor

(Březen 2015) Péčí F. G. jsme bezplatně získali nový datový projektor Acer P1510. Oproti Sony VPL-CX150 (s rozlišením 1024x768) instalovanému v posluchárně roku 2008 má vyšší rozlišení (1920x1080) a poněkud bílejší bílou, udávaný světelný tok mají oba 3500 lm. Je však širokoúhlý (takové jsou dnes málem všechny) a to znamená, že buď projektor umístíme pod stropem tak, že na naše 4:3 plátno budeme vysílat širokoúhle 16:9 a standardní prezentace 4:3 (zobrazované uvnitř osvěcované 16:9 oblasti) využijí jen 9/16 (56 %) plochy plátna, nebo díru do stropu vyvrtáme a PC v posluchárně nastavíme tak, abychom vysílali 4:3 na celé plátno. Pak se však projektor s každým notebookem sám chytře přepne na 16:9, čímž se 25 % obrazu ocitne mimo plátno. Můžeme uvážit pořízení nového širokoúhlého plátna, pokud by se však zobrazovaná plocha 4:3 prezentací neměla oproti současnosti zmenšit, nové plátno by zakrylo zbytek našich tabulí. Výhody širokoúhlého projektoru jsou tedy (pro teď) bohatě překryty nevýhodami a zdá se, že bude zatím sloužit jako mobilní rezerva (jak bylo ostatně plánováno). Názory jsou vítány.

Hardware

Intel CPU

Hardware klastru

Počítačový klastr katedry zahrnuje 12 dvouprocesorových serverů (geof-xyz s 4/6jádrovými procesory Intel Xeon) a 15 jednoprocesorových pracovních stanic (karel, lojzik, vaclav, geof10−90, geof00 ad. s 6jádrovými Intel Core i7). Klastr doplňuje několik strojů starší generace se 4jádrovými procesory a diskové pole (geofds) na kapacitu více než 200 CPU jader a přes 130 TB diskového prostoru. Některé stroje jsou vybaveny výpočetními koprocesory (Intel MIC/Xeon Phi, Nvidia GPU), servery jsou propojeny vysokorychlostní sítí (InfiniBand). Na strojích běží linuxová distribuce Ubuntu verze 14.04. Údaje o procesorech, paměti, síťových discích a výpočetních koprocesorech shrnuje aktuální přehled uzlů klastru.

Přístup ke strojům

Ke strojům se přistupuje pomocí textových nebo grafických relací. Ze strojů s Linuxem to typicky bývá příkazem ssh, resp. (pro grafickou relaci) ssh -X, ze strojů s Windows textově pomocí aplikace PuTTY nebo graficky pomocí softwaru NoMachine (dřívější NX Client); s podporou X-serveru ve Windows (např. Xming) lze otevírat grafické aplikace i z textového PuTTY. Pro přenos dat slouží v Linuxu příkaz scp, sshfs atp., ve Windows univerzálně (tj. z katedry i světa) např. software WinSCP. Lokálně, tedy mezi uzly klastru a ze strojů katedry, lze pro datové přenosy používat NFS spoje a z Windows lze k síťovým diskům přistupovat pomocí Samba spojů (Map Network Drive, Folder: //server/shared-folder), rychlejších než šifrované WinSCP.

Spouštění úloh

Uživatelé mají obvykle přístup ke všem uzlům a na každém síťovém disku mají svůj adresář. Spouštění úloh není řízeno žádným systémem, je na uživatelích, aby si pomocí skriptů guptime a gdf nebo jejich grafických variant (viz nahoře) nalezli nepřetížený stroj, tedy stroj s aktuálním počtem běžících úloh menším než je počet jader (12 u serverů, 6 nebo méně u pracovních stanic). Stroje podporují hyperthreading, tedy může (ale nemusí) přinést užitek zatížit stroj až na 200 %. (Na 6jádrových stanicích může 12 paralelních úloh doběhnout mírně rychleji než po sobě spuštěné dvojice 6 paralelních úloh.) Není vhodné přetěžovat karla, na kterém běžně pracuje několik živých uživatelů interaktivně a který nese web server. Většina strojů je připojena k samostatnému síťovému přepínači (Gigabit Ethernet), servery navíc ke 40násobně rychlejšímu přepínači (InfiniBand), přesto bývá typičtější (odolnější proti výpadkům uzlů a sítě) číst a psát data na lokálním disku stroje.

Software − Linux

Ubuntu

Na uzlech klastru běží operační systém Linux v distribuci Ubuntu 14.04 (Trusty Tahr), jako rezerva zůstává stroj karel s verzí 12.04 (Precise Pangolin). Níže v seznamech je uveden dostupný software; ne vše, zvláště jde-li o komerční licence, je na všech strojích. Uváděná čísla verzí se vztahují k Ubuntu 14.04 [v hranatých závorkách k 12.04].

Programovací jazyky, numerické modelování

Paralelizace a numerické knihovny

Vizualizace

a další balíčky...

Software − Windows

Windows

Stroje s Windows umístěné v počítačové laboratoři, posluchárně a po kancelářích mohou obsahovat mj. níže uvedený licencovaný nebo volně dostupný software. Za zdůraznění stojí, že leccos máme k dispozici jak v Linuxu, tak pro Windows: překladače GNU, g95, Intel i Portland, také Python a Octave s mnoha balíčky, numerické knihovny LAPACK, Intel MKL, IMSL, CULA, UMFPACK i Pardiso, grafický software GIMP, ImageMagick, Inkscape, gnuplot, GMT a ParaView a samozřejmě LaTeX. S GNU překladači (ve variantě MinGW) se do Windows dostane i ke stovce linuxových nástrojů, včetně bash, make a awk. Možnost vyvíjet a ladit v prostředí Windows aplikace snadno přenositelné na linuxové stroje (nebo naopak) se tak stala docela průstupnou.

K Fortranu: Překladače GNU (gfortran, gcc, g++) se ovládají primárně z příkazového řádku, lze k nim přidat grafické vývojové prostředí NetBeans. Intel překladače pro Windows mají také řádkový režim (ifort, icpc), obvyklejší je však využívat instalovanou podporu pro Microsoft Visual Studio. Téhož jsou schopny i překladače Portlandu (pgfortran, pgcc, pgcpp). Překladač Microsoft Fortran PowerStation (fl32) je 20 let starý, což je na něm znát. Překladače GNU, Intel a Portland umožňují vláknovou paralelizaci (OpenMP), v Intelu lze programovat výpočetní koprocesory MIC a v Portlandu grafické procesory Nvidia (CUDA Fortran a OpenACC direktivy). O MPI paralelizaci ve Windows se nesnažíme, ale je myslitelná.

Dostupný software

Návody

Další návody jsou k nalezení na stránkách semináře o softwaru pro geofyziky.