HPE Alletra MP X10000 wysokowydajna macierz obiektowa dla analizy i zabezpieczania danych

[PiotrDrag]

Na początku 2023 roku firma HPE wprowadziła na rynek modularne rozwiązanie do zarządzania danymi pod marką HPE Alletra Storage MP. Najpierw w formie blokowej, po roku w plikowej. Teraz przyszedł czas na dane przechowywane w formie obiektów – HPE Alletra Storage MP X10000. Rozwiązanie to, podobnie jak jego blokowy i plikowy odpowiednik, wsparte jest stworzoną od podstaw ustandaryzowaną i modularną platformą sprzętową HPE Alletra Storage MP.  Szczegółowy opis platformy HPE Alletra Storage MP można przeczytać tutaj.

HPE Alletra MP X10000: nowoczesne podejście do analityki i zabezpieczania danych

Nowa obiektowa pamięć masowa HPE Alletra Storage MP X10000 została zaprojektowana z myślą o wielkich zbiorach danych nieustrukturyzowanych i zoptymalizowana, aby umożliwić przedsiębiorstwom szybsze przechowywanie i przetwarzanie danych w formie obiektowej. Wyjątkowa wydajność X10000 jest idealna dla jezior danych (ang. Data Lakes) i nowoczesnej ochrony danych, gdzie liczy się wysoka wydajność przetwarzania oraz krótkie czasy dostępu do danych.

Dzięki tej nowej ofercie HPE jeszcze bardziej upraszcza zarządzanie pamięcią masową w oparciu o zunifikowaną modularną architekturę dla pamięci blokowej, plikowej i obiektowej oraz intuicyjnemu zarządzaniu w na platformie chmurowej HPE GreenLake.

Co więcej, HPE współpracuje z firmą NVIDIA, aby udostępnić funkcjonalność bezpośredniego dostępu do pamięci (DMA) między pamięcią GPU, pamięcią systemową i X10000 za pomocą protokołu obiektowego S3, co ma kluczowe znaczenie dla aplikacji wykorzystujących sztuczną inteligencję. Ta bezpośrednia ścieżka dostępu dodatkowo zwiększy przepustowość systemu, zmniejszy opóźnienia i zwiększy poziom wykorzystania kart GPU. Będzie to wyjątkowe rozwiązanie na rynku, gdyż dotychczas tego typu dostęp jest zapewniany tylko przez protokoły plikowe.

Elastyczność i skalowalność

Jedną z kluczowych zalet HPE Alletra Storage MP X10000 jest elastyczność i skalowalność. Dzięki zastosowaniu nowatorskiego podejścia do rozproszonej macierzy plikowo-obiektowej opartej o tzw. architekturę zdezagregowaną czy też modularną (ang. „disaggregated”), użytkownicy mogą łatwo dostosowywać pojemność przechowywania w zależności od zmieniających się potrzeb biznesowych. Ta elastyczność pozwala uniknąć nadmiernych inwestycji w infrastrukturę, zapewniając jednocześnie możliwość szybkiego reagowania na zmiany w wymaganiach dotyczących przechowywania danych. Co więcej, podejście to zapewnia wysoką wydajność niespotykaną we wcześniejszych systemach. To kluczowe dla wszystkich firm i instytucji, które obsługują duże ilości danych, wymagają szybkiego dostępu do nich, jak też dynamicznego przydzielania mocy obliczeniowej.

Kolejnym wyróżnikiem jest wykorzystanie bazy danych typu klucz-wartość (ang. ‘key-value”) do przechowywania danych. Pozwala on z jednej strony na przyspieszenie operacji zapisu i odczytu obiektów. Z drugiej strony umożliwia dodawanie szerokiej gamy metadanych do każdego obiektu, bez negatywnego wpływu na wydajność czy spójność danych nawet przy wielkich, idących w petabajty, zbiorach danych.

 Architektura systemu

Bezpieczeństwo danych

Kluczowym elementem zabezpieczania danych na macierzy HPE Alletra Storage MP X10000 jest RAID Triple Parity, który pozwala na zabezpieczenie potrójnym parytetem danych w ramach jednej matrycy. Zastosowanie tej technologii zabezpieczenia danych mocno wpływa na wzrost wydajności pojemnościowej (pojemność użyteczna stanowi ~75% zainstalowanej fizycznej pojemności dyskowej). Gwarantuje ona również wysoki poziom bezpieczeństwa oraz dostępu do danych. Wyliczanie 3 parytetów danych dla każdej grupy RAID (w praktyce grupa RAID=półka dyskowa), zapewnia możliwość utraty do trzech dysków w każdej półce złożonej z 24 dysków, bez utraty całego zbioru danych, które się na nich znajdują.

HPE Alletra Storage MP – fundament sprzętowy HPE Alletra Storage MP X10000

HPE Alletra Storage MP jest zbudowana w oparciu o tzw. zdezagregowaną definiowaną programistycznie pamięć masową (Software Defined Storage). Człon „zdezagregowany” oznacza w tym przypadku możliwość niezależnej rozbudowy części obliczeniowej i pojemności na dane, a co za tym idzie, pełniejsze wykorzystanie zasobów oraz brak potrzeby utrzymania znacznej nadmiarowości. Po prostu kupujemy tyle, ile potrzebujemy teraz, a w przyszłości rozbudowujemy o tyle, ile wymaga sytuacja. Taką platformę sprzętową można zatem wykorzystywać do różnych zastosowań. W tym artykule skupiamy się na jej wcieleniu obiektowym, czyli HPE Alletra Storage MP X10000. O macierzy blokowej HPE Alletra Storage B10000 można przeczytać tutaj. Natomiast o macierzy plikowej HPE GreenLake for File Storage tutaj.

Podstawowe cechy HPE Alletra Storage MP X10000 sprzętowe to:

• Obudowa 2U z 24 gniazdami na dyski NVMe SSD
• Dwa rodzaje węzłów:

- Węzeł obliczeniowy („Compute node”) z dwoma lub jednym kontrolerem

- Węzeł pojemnościowy/półka dyskowa („Storage node”)

• Moduł IO/kontroler (tzw. IOM) oparte na procesorach AMD:

- Każdy węzeł posiada dwa moduły

- Single socket multi-core CPU - 64-rdzeniowy w węzłach obliczeniowych, 8-rdzeniowy w węzłach pojemnościowych

- Różne konfiguracje pamięci RAM - 512GB RAM w węzłach obliczeniowych, 64GB RAM w węzłach pojemnościowych

- 2 adaptery OCP na każdy moduł i po dwa 100Gb porty w każdym adapterze (maks. 8 portów na jeden węzeł)

• Uniwersalny nośnik dysków dla wszystkich formatów SSD, które mogą się pojawić w przyszłości (U.2, E3.S 1T, E3.L 1T itp.)
• 24 dyski NVMe TLC (1,92TB, 3,84TB, 7,68TB, 15,36TB, 30,72TB) na każdą półkę dyskową
• Dwa przełączniki 100Gb (32 porty) do obsługi macierzy rozproszonej
• Układ TPM (Trusted Platform Module)
• Moduł wykrywania obudowy przez HPE GreenLake Cloud Platform

Minimalna konfiguracja składa się z dwóch węzłów obliczeniowych wyposażonych w 3 kontrolery, jednego węzła pojemnościowego i dwóch przełączników. Z punktu widzenia pojemności mówimy o min. 100TB pojemności użytecznej w konfiguracji startowej.

Zarządzanie

Wreszcie, może i najważniejsze założenie architektury systemu. Zarządzanie każdym systemem pamięci masowej ma się odbywać z jednej konsoli HPE DSCC (Data Services Cloud Console) umiejscowionej na platformie HPE GreenLake. Zapewni to klientom ujednolicone doświadczenie użytkownika bez względu na rodzaj rozwiązania czy skalę działalności. Co więcej, sama konsola jest na tyle prosta i łatwa w zarządzaniu, że praktycznie eliminujemy potrzebę inwestowania w specjalistyczną wiedzę techniczną dla obsługi wszystkich rodzajów pamięci masowych. Z punktu widzenia całej firmy czy organizacji, otrzymujemy globalną widoczność całego środowiska do zarządzania danymi.

Tak to wygląda z punktu widzenia administratora IT.

Administrator najpierw loguje się do konsoli HPE DSCC, gdzie wybierze odpowiednią aplikację do zarządzania wybranym rodzajem pamięci masowej (np. blokową, plikową czy obiektową). Wszystkie czynności będzie mógł wykonać w ramach danej aplikacji, którą w pełni utrzymuje i aktualizuje HPE. Sprzęt jest praktycznie ukryty pod warstwą konsoli HPE DSCC. Administratora interesuje tylko zapewnienie odpowiedniego poziomu wydajności dla swoich aplikacji oraz bezpieczeństwo całego środowiska, w tym zarządzanie dostępami.

Oprogramowanie

Mózgiem systemu HPE Alletra Storage MP X10000 jest napisane od podstaw oprogramowanie oparte o model bazy klucz-wartość (ang. „key-value store”).  W modelu tym baza klucz-wartość implementuje przechowywanie fragmentów (tzw. chunks) obiektów i opisujących je metadanych niezależnie od protokołu przesyłania danych, stanowiąc podstawową warstwę danych. Jest on zoptymalizowany pod kątem dostępu do pamięci typu „flash”, redukując tzw. amplifikację zapisu dzięki podejściu opartemu o strukturę dziennika („log-structured”) i na zakresach („extent-based”).

W bazie klucz-wartość znajdują się warstwy przestrzeni nazw („namespace”) specyficzne dla poszczególnych protokołów, takich jak np. S3/Object. Te warstwy protokołów są zoptymalizowane pod kątem semantyki konkretnego protokołu, traktując każdy z nich jako pierwszorzędny. Pozwala to systemowi HPE Alletra Storage MP X10000 wykorzystać zalety każdego protokołu, bez dziedziczenia wad innego lub uruchamiania protokołów jeden na drugim (jak protokół obiektowy na plikowym lub odwrotnie).

Od strony programistycznej cały system jest zbudowany przy użyciu kontenerów. Jest to przydatne z punktu widzenia elastyczności i skalowalności i otwiera wiele możliwości dla wykorzystania mocy obliczeniowej systemy w przyszłości. Dysponując szybkimi węzłami obliczeniowymi o dużej wydajności można będzie wdrożyć aplikacje do analizy danych bezpośrednio na nich (np. Apache Iceberg, Kafka itp.)

HPE Alletra Storage MP X10000 jest zaprojektowany, aby zapewniać zrównoważoną wydajność odczytu i zapisu, zarówno dla wysokiej przepustowości, jak i małych operacji transakcyjnych. Oznacza to, że dla obciążeń z dużą liczbą operacji zapisu nie jest potrzebny ogromny klaster. Skutkuje to zoptymalizowaną wydajnością niezależnie od obciążenia i umożliwia osiąganie celów wydajnościowych bez marnotrawstwa. Jednym z założeń projektowych macierzy HPE Alletra Storage MP X10000 było zapewnienie wysokiej początkowej wydajności nawet przy stosunkowo małym środowisku startowym (czyli 3 moduły obliczeniowe i jedna półka dyskowa).

 Diagram architektury systemowej HPE Alletra Storage MP X10000

Zastosowanie

Obciążenia związane z nieustrukturyzowanymi danymi są niezwykle zróżnicowane. Nawet w ramach określonej kategorii zastosowań, takiej jak sztuczna inteligencja, charakterystyka obciążeń może znacznie się różnić. Podczas gdy wiele systemów obiektowych priorytetowo traktuje wydajność zorientowaną na przepustowość, HPE Alletra Storage MP X10000 zapewnia wysoką wydajność zorientowaną na IOPS dla małych obiektów, a także dużą przepustowość dla większych obiektów i małe opóźnienia dla operacji GET i PUT (< 2 ms).

W przypadku pamięci obiektowych koszyki S3 (ang. S3 buckets) są użyteczną strukturą. Jednakże, w przypadku pewnych rozwiązań dotyczących obiektów, często konieczne jest użycie wielu koszyków S3, aby uzyskać maksymalną wydajność systemu. Typowe nieustrukturyzowane obciążenia, takie jak analizy i ochrona danych, wymagają często pojedynczego koszyka lub ich niewielkiej liczby na jednostkę charakterystyczną dla danej aplikacji, taką jak pojedynczy magazyn danych lub łańcuch kopii zapasowych.

Dla HPE Alletra Storage MP X10000 nie stanowi to problemu. Nawet pojedynczy koszyk wystarczy, aby uzyskać maksymalną wydajność systemu. Dzięki temu eliminujemy złożoność związaną z dodatkową konfiguracją mającą na celu zwiększenie wydajności systemu. Jest to szczególnie odczuwalne przy operacjach zapisu (PUT). W porównaniu z wybranymi rozwiązaniami konkurencji, możemy być nawet 60 razy szybsi przy operacjach PUT dla małych obiektów, wykorzystując pojedynczy koszyk.

Zdolność HPE Alletra Storage MP X10000 do liniowego skalowania pojedynczego koszyka oznacza, że indywidualne aplikacje korzystają ze zdolności do skalowania X10000 w takim samym stopniu, jak duża liczba aplikacji lub użytkowników.

Patrząc na powyższe, HPE Alletra Storage MP X10000 idealnie sprawdzi się do obsługi różnorodnych aplikacji, wymagających wysokiej wydajności i niskich czasów dostępu do danych - od tradycyjnych aplikacji służących do analizy danych, po nowoczesne, chmurowe i kontenerowe środowiska. System ten będzie też doskonały dla scenariuszy szybkiego odzyskiwania wielkich zbiorów danych po awarii czy też ich utracie.

Analiza danych

HPE Alletra Storage MP X10000 zapewnia szybszy dostęp do danych obiektowych na ogromną skalę. Dzięki wysokowydajnej macierzy obiektowej typu all-flash wykorzystującą zdezagregowaną, współdzieloną architekturę pamięci masowej, użytkownicy aplikacji do analizy danych są w stanie wykorzystać jedną platformę sprzętową do przechowywania danych, które mogą być udostępniane różnym aplikacjom (np. Apache Kafka, Spart, Iceberg itp.). Co więcej wysokowydajne węzły obliczeniowe oraz architektura oparta o bazę klucz-wartość umożliwiają automatyczne dodawanie do obiektów metadanych wymaganych przez konkretne aplikacje czy użytkowników.

Szybkie odzyskiwanie danych

HPE Alletra Storage MP X10000 zapewnia ogromną przepustowość przywracania, umożliwiając szybsze odzyskiwanie nawet wielkiej ilości utraconych danych w celu szybkiego przywrócenia do działania aplikacji o kluczowym znaczeniu. Interfejs obiektowej pamięci masowej kompatybilny z S3 i deduplikacja oparta o protokół HPE Catalyst pozwalają wielokrotnie zredukować ilość przechowywanych danych oraz usprawniają integrację z dowolnym rozwiązaniem do tworzenia kopii zapasowych. HPE Alletra Storage MP X10000 jest certyfikowany do tworzenia kopii zapasowych przez wiodących w branży dostawców, w tym Commvault i Veeam® i jest weryfikowany z kolejnymi.

Podsumowanie

HPE Alletra Storage MP X10000 to zaawansowane rozwiązanie do zarządzania danymi, zaprojektowane z myślą o nowoczesnych przedsiębiorstwach i instytucjach, które potrzebują elastyczności, wydajności i skalowalności w zakresie przechowywania danych. System ten oferuje zunifikowaną platformę obsługującą różnorodne obciążenia, od tradycyjnych aplikacji biznesowych po nowoczesne, chmurowe i kontenerowe środowiska. Dzięki zaawansowanym funkcjonalnościom, takim jak automatyzacja zarządzania, optymalizacja wydajności oraz integracja z chmurą, HPE Alletra Storage MP X10000 umożliwia organizacjom efektywne zarządzanie danymi na dużą skalę, jednocześnie minimalizując złożoność i koszty operacyjne.

HPE utrzymuje niezmienny kurs mający na celu uproszczenie zarządzania danymi. Wprowadzone rozwiązanie pamięci masowych opartych na modularnej platformie sprzętowej HPE Alletra Storage MP charakteryzuje się kilkoma unikatowymi cechami, które dają ich użytkownikom kilka niezaprzeczalnych korzyści:

• Standaryzacja na jednej platformie sprzętowej HPE Alletra Storage MP dla każdego rodzaju pamięci masowej (blokowej, plikowej, obiektowej) -> ułatwienie planowania, rozbudowy, serwisowania, większa dostępność i szybsze dostawy
• Zdezagregowana definiowana programistycznie architektura rozwiązania -> możliwość niezależnej rozbudowy części obliczeniowej i powierzchni dyskowej, pełniejsze wykorzystanie zasobów, brak potrzeby znacznej nadmiarowości (kupujemy tyle ile potrzebujemy teraz i w przyszłości rozbudowujemy o tyle, ile wymaga sytuacja)
• Zarządzanie każdym systemem pamięci masowej z jednej konsoli na HPE GreenLake Cloud Platform -ujednolicone doświadczenie użytkownika, bez względu na rodzaj rozwiązania i skalę działalności, brak potrzeby inwestowania w specjalistyczną wiedzę techniczną dla obsługi pamięci masowych, globalna widoczność całego środowiska do zarządzania danymi, możliwość wykupienia dodatkowych usług zarządzania danych i ich ochrony

Zainteresowanych HPE Alletra Storage MP X10000 zapraszam do obejrzenia filmiku wprowadzającego do tej technologii.