Nadeszła era AI. Superkomputer Frontier działający w Oak Ridge National Laboratory w Stanach Zjednoczonych, oparty na najnowszych akceleratorach EX235a marki HPE Cray Supercomputing i procesorach AMD EPYC 64C 2 GHz, jest pierwszym na świecie systemem eksaskalowym. Z wynikiem High-Performance Linpack (HPL) wynoszącym 1194 EFlop/s, pozostaje liderem w 63 wydaniu listy Top500 superkomputerów. Nauka i biznes są przyspieszane do nowych, wcześniej nieosiągalnych prędkości również przez wiele superkomputerów przedeksaskalowych. W pierwszym z serii artykułów na naszym blogu poświęconym rozwiązaniom HPC Cray Supercomputing omówimy system LUMI, wykorzystywany do złożonych symulacji naukowych, rozwoju AI i LLM oraz analizy Big Data.
Czy wiesz coś o LUMI? Large Unified Modern Infrastructure (LUMI) to ogólnoeuropejskie przedsięwzięcie, w ramach którego dziesięć krajów i inicjatywa EuroHPC Joint Undertaking (EuroHPC JU) zainwestowały około 200 mln EUR w jeden system. Połowa funduszy pochodzi z Unii Europejskiej, a druga połowa z krajów uczestniczących. Kraje należące do konsorcjum LUMI to Belgia, Czechy, Dania, Estonia, Islandia, Norwegia, Polska, Szwecja, Szwajcaria i Finlandia. System działa w najnowocześniejszym centrum danych w Kajaani w Finlandii.
Chociaż LUMI jest technicznie systemem przedeksaskalowym, pomaga w badaniach, tworzeniu miejsc pracy, poprawie konkurencyjności i innowacyjności w całej Europie. Jest również jedną z najbardziej zaawansowanych platform AI na świecie. LUMI jest piątym najszybszym systemem na świecie według ostatniej listy Top500. Jego stabilna moc obliczeniowa wynosi 380 petaflopów (HPL, High-Performance Linpack) i odpowiada łącznej wydajności 1,5 mln najnowszych laptopów.
System LUMI powstał, aby pomóc Europejczykom lepiej radzić sobie z najtrudniejszymi wyzwaniami ludzkości. Jego moc obliczeniowa jest wykorzystywana do prowadzenia najnowocześniejszych badań w różnych dziedzinach wymagających przetwarzania dużej ilości danych i dużej mocy obliczeniowej, od nauki o klimacie i strukturach subatomowych po genomikę i fizykę kwantową. Jest dostępny dla naukowców oraz organizacji prywatnych i publicznych, zwłaszcza start-upów.
Na przykład możliwości LUMI w zakresie sztucznej inteligencji umożliwiają programowi sieci neuronowej wczesne wykrywanie raka i szybką symulację skuteczności działania leków. Dzięki takiemu narzędziu patolog może szybko i precyzyjnie zdiagnozować rozwój nowotworu i symulować reakcje pacjenta na różne metody leczenia. W efekcie pacjenci otrzymują najlepiej spersonalizowaną opiekę tak szybko, jak to możliwe.
LUMI wspiera inicjatywę Destination Earth, której celem jest zdobycie wiedzy umożliwiającej przystosowanie się do zmian klimatycznych i potencjalną zmianę ich przebiegu. Naukowcy pracujący nad złagodzeniem ich niszczycielskich skutków mogą teraz odtworzyć ekosystem Ziemi z dokładnością do kilometra kwadratowego, co wcześniej było niemożliwe.
Zespoły dużych modeli komputerowych zbudowane za pomocą LUMI są również wykorzystywane do symulacji przepływów lodu na Antarktydzie. Pomoże to odpowiedzieć na pytanie o udział pokrywy lodowej Antarktydy we wzroście globalnego poziomu mórz w nadchodzących stuleciach. Na przykład, możliwe będzie określenie stopnia prawdopodobieństwa, że poziom morza podniesie się o 1 metr do 2100 roku, jeśli paliwa kopalne będą nadal spalane w dużej ilości. Takie oszacowania są istotną informacją dla decydentów. Skala LUMI jest potrzebna do uruchamiania modelu komputerowego setki razy przy użyciu setek procesorów. Każda nowa symulacja jest małym krokiem w kierunku ilościowego określenia przyszłej niepewności co do wpływu Antarktydy na globalny poziom mórz.
Warto zauważyć, że w tym przypadku szewc w butach chodzi. Według listy Green500 (opublikowanej w listopadzie 2023 r.), LUMI jest siódmym najbardziej ekologicznym superkomputerem na świecie. Wykorzystuje w 100% energię wodną, a powstające ciepło odpadowe jest wykorzystywane do ogrzewania setek gospodarstw domowych w mieście Kajaani. Odpowiada za 20% całego ciepła wykorzystywanego do ogrzewania w mieście.
Jak to zrobiliśmy?
LUMI bazuje na superkomputerze EX marki HPE Cray Supercomputing z procesorami AMD EPYC™ nowej generacji i akceleratorami AMD Instinct™. Zajmuje prawie 400 m2 miejsca i waży prawie 150 000 kg.
Partycja GPU składa się z 2978 węzłów. Każdy węzeł ma 64-rdzeniowy procesor AMD Trento i cztery procesory graficzne AMD MI250X. Łączna liczba procesorów graficznych AMD wynosi 11 912. Ponadto każdy węzeł ma cztery karty sieciowe modułu połączeniowego o przepustowości 200 Gb/s. Oznacza to przepustowość wejściową 800 Gb/s. Pojedyncza karta MI250X zapewnia 42,2 TFLOP/s wydajności w testach porównawczych HPL.
Partycja GPU nie jest jedyną partycją w systemie LUMI. Kolejną jest LUMI-C, która wykorzystuje węzły samych procesorów CPU. Każdy węzeł ma 64-rdzeniowe procesory AMD EPYC™ trzeciej generacji oraz min. 256 GB i maks. 1024 GB pamięci. Łącznie jest 2048 dwugniazdowych węzłów CPU. Oznacza to, że wykorzystywanych jest 4096 procesorów AMD Milan, czyli ponad 262 000 rdzeni. System posiada również partycję z dużymi węzłami pamięci. Partycja ta ma 32 TB pamięci. Do wizualizacji obciążeń roboczych LUMI wykorzystuje 64 procesory graficzne Nvidia A40.
System pamięci masowej LUMI składa się z trzech komponentów. Pierwszy z nich to 10-petabajtowy system Lustre w technologii all-flash. Jest on używany do krótkoterminowego przechowywania z szybkim dostępem. Drugim jest bardziej tradycyjny, 80-petabajtowy system Lustre z tradycyjnymi dyskami twardymi do długoterminowego przechowywania. W celu łatwego udostępniania danych i ich przechowywania przez cały okres trwania projektu LUMI posiada 30 petabajtów pamięci masowej opartej na Ceph. Partycje — obliczeniowa i pamięci masowej — są połączone szybkim modułem połączeniowym HPE Slingshot o przepustowości 200 Gb/s.
LUMI nie jest pierwszym systemem zbudowanym przez HPE w Europie. Właściwie jest to drugi system. Pierwszym był system Euro_I4TI dla Narodowego Centrum Superkomputerowego IT4Innovations w Ostrawie. Jest to najpotężniejszy superkomputer w Czechach.
Firma HPE rozszerzyła również swój łańcuch dostaw superkomputerów w Europie, produkując opcje bezpośredniego chłodzenia cieczą (DLC) do systemów superkomputerowych HPE Cray i systemów HPE Apollo w swojej fabryce w Kutnej Horze w Czechach. Założyliśmy również Centrum Doskonałości, które oferuje narzędzia badawczo-rozwojowe i wiedzę specjalistyczną potrzebną do opracowywania i testowania aplikacji, programowania, procesorów i innych rozwiązań wymaganych do zbudowania programu gotowości na eksaskalę.
----------------------
Konsultacja ekspercka: Volodymyr Saviak, Phil Lora
