Zwiększenie skalowalności i automatyzacji Kubernetes za pomocą COSI i HPE Alletra Storage

[PiotrDrag]

Hewlett Packard Enterprise (HPE) zwiększa skalowalność i możliwości automatyzacji środowisk opartych o Kubernetes dzięki Container Object Storage Interface (COSI) i HPE Alletra Storage MP X10000. Kubernetes, choć popularny w zarządzaniu kontenerami, napotyka trudności w zarządzaniu pamięcią masową, szczególnie w przypadku pamięci obiektowej. COSI, inicjatywa w ramach społeczności Kubernetes, ma na celu rozwiązanie tych problemów poprzez standaryzację zarządzania i korzystania z pamięci obiektowej w środowiskach Kubernetes.

HPE Alletra MP X10000: nowoczesna platforma danych dla środowisk Kubernetes

Nowa pamięć obiektowa HPE Alletra Storage MP X10000 została zaprojektowana z myślą o dużych, niestrukturyzowanych zbiorach danych i zoptymalizowana, aby umożliwić przedsiębiorstwom szybsze przechowywanie i przetwarzanie danych obiektowych. Wyjątkowa wydajność X10000 jest idealna dla jezior danych i nowoczesnej ochrony danych, gdzie wysoka wydajność przetwarzania i krótkie czasy dostępu do danych są kluczowe.

Ponadto HPE współpracuje z firmą NVIDIA, aby zapewnić funkcjonalność bezpośredniego dostępu do pamięci (DMA) pomiędzy pamięcią GPU, pamięcią systemową i X10000 za pośrednictwem protokołu obiektowego S3, co jest kluczowe dla aplikacji opartych na sztucznej inteligencji. Ta bezpośrednia ścieżka dostępu zwiększy przepustowość systemu, zmniejszy opóźnienia i poprawi wykorzystanie GPU. Będzie to unikalne rozwiązanie na rynku, ponieważ dostęp jest obecnie zapewniany tylko przez protokoły plikowe.

W przeciwieństwie do tradycyjnych rozwiązań pamięci masowej, X10000 jest platformą pamięci obiektowej typu „all-flash”, zgodną z S3, zaprojektowaną dla najbardziej wymagających obciążeń, w tym aktywnych jezior danych, repozytoriów cyfrowych i skalowalnych przepływów pracy dotyczących ochrony danych. Jego rozproszona architektura zapewnia niezależne skalowanie wydajności i pojemności, eliminując wąskie gardła i utrzymując wysoką wydajność.

Obecnie HPE zintegrowało Container Object Storage Interface (COSI) z HPE Alletra Storage MP X10000, umożliwiając bezproblemowe udostępnianie i zarządzanie pamięcią obiektową w środowiskach Kubernetes. Ta integracja pozwala deweloperom i administratorom na automatyzację zadań związanych z pamięcią masową, poprawę skalowalności i efektywniejsze zarządzanie zasobami pamięci masowej. Wykorzystując COSI z rozwiązaniami pamięci masowej HPE, organizacje mogą uzyskać bardziej zaawansowane i elastyczne środowisko Kubernetes, co ostatecznie prowadzi do większej wydajności i efektywności w ich aplikacjach natywnych dla chmury.

Środowiska Kubernetes dynamicznie skalują się w zależności od zapotrzebowania aplikacji, a COSI wypełnia lukę między aplikacjami natywnymi dla Kubernetes a wysokowydajną, zautomatyzowaną pamięcią obiektową. Oto jak to działa:

• Bezproblemowa integracja pamięci obiektowej: COSI umożliwia w pełni zautomatyzowane udostępnianie zasobników i zarządzanie cyklem życia pamięci obiektowej w Kubernetes, co zmniejsza złożoność zarządzania pamięcią.
• Skalowalność bez wąskich gardeł: Rozproszona konstrukcja X10000 skalowalna jest w sposób niezakłócony, co gwarantuje, że aplikacje Kubernetes nigdy nie napotkają limitów pamięci.
• Optymalizacja przepływów pracy dla aplikacji AI/ML i analizy danych: Wysokowydajna, niskolatencyjna pamięć obiektowa zapewnia przetwarzanie danych w czasie rzeczywistym bez kompromisów.

HPE CSI Driver

COSI wywodzi się z Container Storage Interface (CSI), który jest znormalizowanym interfejsem opracowanym w celu umożliwienia dostawcom pamięci masowej tworzenia wtyczek, które mogą być używane przez systemy do zarządzania kontenerami, takimi jak np. Kubernetes. CSI abstrahuje szczegóły systemów pamięci masowej, umożliwiając bezproblemową integrację i zarządzanie różnymi rozwiązaniami pamięci masowej bez konieczności wprowadzania zmian w podstawowej platformie do zarządzania. Ta standaryzacja ułatwia przenoszenie, poprawia elastyczność i skalowalność w zarządzaniu zasobami pamięci masowej w różnych środowiskach, zwiększając ogólną efektywność aplikacji skonteneryzowanych.

Sterownik HPE Container Storage Interface (CSI) dla Kubernetes umożliwia korzystanie z Container Storage Provider (CSP) do wykonywania operacji zarządzania danymi na zasobach pamięci masowej. Architektura sterownika CSI pozwala dostawcom pamięci masowych na implementację CSP. Z kolei architektura sterownika CSI zapewnia pełne rozdzielenie zadań pomiędzy podstawową wersją Kubernetes, Special-Interest-Group ds. Pamięci Masowej (właściciele CSI), autorem sterownika CSI (HPE) oraz deweloperem backend’u CSP.

 Architektura HPE CSI driver

 Aby uzyskać bardziej szczegółowe informacje na temat działania sterownika HPE CSI, proszę obejrzeć ten filmik.

 Container Object Storage Interface COSI

Container Object Storage Interface (COSI) jest uważany za lepiej przystosowany do zarządzania pamięcią obiektową w porównaniu do Container Storage Interface (CSI), ponieważ COSI jest specjalnie zaprojektowany do obsługi unikalnych cech i wymagań pamięci obiektowej. Oto kilka powodów, dla których COSI jest lepszy w zastosowaniach z pamięcią obiektową:

1. Specjalizacja w pamięci obiektowej: W przeciwieństwie do CSI, który jest głównie skupiony na pamięci blokowej i plikowej, COSI jest dostosowany do zarządzania pamięcią obiektową, obsługując takie potrzeby jak tworzenie pojemników (ang. buckets), polityki dostępu i zarządzanie cyklem życia obiektów.
2. Standaryzowane zarządzanie zasobnikami: COSI oferuje znormalizowane interfejsy API do tworzenia, zarządzania i usuwania pojemników pamięci obiektowej. To upraszcza integrację i zarządzanie pamięcią obiektową w środowiskach Kubernetes, ułatwiając deweloperom pracę z pamięcią obiektową.
3. Zautomatyzowane udostępnianie i kontrola dostępu: COSI umożliwia automatyczne tworzenie pojemników pamięci obiektowej oraz integruje mechanizmy kontroli dostępu, redukując potrzebę ręcznej konfiguracji i minimalizując ryzyko błędnych konfiguracji.
4. Zwiększona przenośność w środowiskach wielochmurowych: COSI abstrahuje warstwy pamięci, zapewniając spójny dostęp do pamięci obiektowej w hybrydowych i wielochmurowych klastrach Kubernetes. Ułatwia to przenoszenie i zwiększa elastyczność przy wdrażaniu aplikacji w różnorodnych środowiskach.
5. Bezproblemowa integracja z Kubernetes: COSI jest zaprojektowany, aby działać natywnie w środowisku Kubernetes, pozwalając na zarządzanie zasobami pamięci obiektowej w taki sam sposób jak innymi zasobami Kubernetes przy użyciu standardowych narzędzi, takich jak „kubectl”. Prowadzi to do bardziej ujednoliconego i uproszczonego zarządzania.
6. Poprawiona skalowalność: COSI wspiera dynamiczne skalowanie pamięci obiektowej w zależności od obciążeń, umożliwiając efektywne zarządzanie zmiennymi rozmiarami danych i wymaganiami aplikacji bez potrzeby ręcznej interwencji.

Koncentrując się na specyficznych potrzebach pamięci obiektowej, COSI zapewnia bardziej efektywne, skalowalne i przyjazne dla użytkownika rozwiązanie do zarządzania pamięcią obiektową w środowiskach Kubernetes w porównaniu do bardziej ogólnego CSI.

HPE Container Object Storage Interface (COSI) Driver dla HPE Alletra Storage MP X10000

Sterownik HPE Container Object Storage Interface (COSI)  dla HPE Alletra Storage MP X10000 to rozwiązanie natywne dla Kubernetes, które automatyzuje udostępnianie pamięci obiektowej, jednocześnie zwiększając przenośność w środowiskach wielochmurowych oraz efektywność operacyjną. Programiści nie muszą już ręcznie konfigurować pamięci obiektowej, ponieważ COSI umożliwia udostępnianie na żądanie, automatyczną kontrolę dostępu i standaryzowane zarządzanie zasobnikami.

Kluczowe zalety COSI w połączeniu z HPE Alletra Storage MP X10000 obejmują automatyczne udostępnianie pojemników S3, gdzie pamięć jest dynamicznie przydzielana i skalowana wraz ze wzrostem obciążeń środowisk Kubernetes, eliminując konieczność ręcznej interwencji. Bezproblemowa integracja umożliwia zarządzanie pojemnikami kompatybilnymi z S3 tak łatwo, jak innymi zasobami Kubernetes za pomocą narzędzia „kubectl”. Udostępnianie danych między klastrami jest łatwiejsze dzięki abstrakcji warstw pamięci przez COSI, co zapewnia spójny dostęp do pamięci obiektowej w hybrydowych i wielochmurowych klastrach Kubernetes. Zabezpieczenia zostały uproszczone dzięki zintegrowanej kontroli dostępu i zarządzaniu poświadczeniami, co usprawnia nadawanie uprawnień i zmniejsza ryzyko błędnych konfiguracji. To umożliwia stworzenie infrastruktury natywnej dla chmury, w której pamięć obiektowa dynamicznie skaluje się w zależności od obciążeń i bez administracyjnych wąskich gardeł.

Dzięki HPE Alletra Storage MP X10000 i sterownikowi COSI użytkownicy mogą w czasie rzeczywistym udostępniać dedykowane pojemniki S3 dla aplikacji, zapewniając efektywne zarządzanie danymi dla analiz, AI/ML i przepływów pracy związanych z tworzeniem kopii zapasowych, oraz skalować pamięć obiektową bez zakłóceń. Dzięki temu mogą obsłużyć wszystko od małych plików z metadanymi po ogromne jeziora danych. Dodatkowo mogą optymalizować koszty i zgodność z przepisami, wykorzystując zautomatyzowane polityki cyklu życia pojemników, tagowanie i replikację między wieloma chmurami publicznymi, jednocześnie umożliwiając deweloperom samoobsługowe zarządzanie pamięcią, eliminując opóźnienia i poprawiając efektywność operacyjną.

Sterownik HPE COSI dla Kubernetes umożliwia korzystanie z HPE Object Storage Provider (OSP) do wykonywania operacji zarządzania pojemnikami (ang. buckets) na zasobach pamięci. Architektura COSI pozwala na integrację HPE Alletra Storage MP X10000 Object Storage z aplikacją kontenerową zgodną z COSI, działającą na klastrze Kubernetes. Sterownik COSI przestrzega specyfikacji gRPC (Remote Procedure Call) dostarczonej przez Kubernetes.

 HPE COSI driver architecture

Funkcjonalności i możliwości

Poniżej znajduje się oficjalna tabela funkcjonalności COSI, które zostały przetestowane i zatwierdzone przez HPE w odniesieniu do matrycy zgodności platform.

Odniesienie się do oficjalnej tabeli bramek funkcji (ang. feature gates) w dokumentacji Kubernetes pozwala określić dostępność funkcjonalności „alpha”. HPE zdecydowanie zaleca instalację sterownika COSI za pomocą Helm chart.

Zgodność i wsparcie

HPE przetestowało następujące kombinacje i uwzględniło je jako część oficjalnych usług wsparcia dla pierwszego wydania sterownika HPE COSI dla Kubernetes 1.0.0.

Najważniejsze informacje o wydaniu:

• Wsparcie dla Kubernetes w wersjach od 1.25 do 1.31
• Implementacja tworzenia pojemników (ang. buckets), konfiguracji („tagowanie” zasobników), zarządzania cyklem życia oraz zarządzania dostępem
• Skrypt zbierający logi, który może być używany do zbierania logów z dowolnego węzła

Znane błędy

Znane problemy w wydaniu sterownika HPE COSI w wersji 1.0.0:

• Sterownik HPE COSI może być wdrożony tylko w domyślnej przestrzeni nazw z powodu błędu w tworzeniu zdarzeń w obiektach API COSI, gdy są one wdrażane w innych przestrzeniach nazw.
• Równoległe tworzenie obiektów „BucketClaim” lub „BucketAccess” może powodować awarie sterownika COSI. Zgłoszono błąd w celu rozwiązania tego problemu.
• Gdy wystąpi błąd, w zasobach „Bucket” lub „BucketAccess” tworzony jest komunikat ostrzegawczy, który ma okres ważności wynoszący jedną godzinę. W tym okresie, jeśli błąd zostanie rozwiązany, status będzie pokazywał „Bucket Ready: true” lub „Access Granted: true” odpowiednio w zasobach „Bucket” lub „BucketAccess”, ale komunikat ostrzegawczy będzie utrzymywał się do końca godziny. Zgłoszono błąd w celu rozwiązania tej niejasności.
• Ponowne tworzenie obiektów „BucketClaim” lub „BucketAccess” nie działa sporadycznie, ponieważ żądanie gRPC nie jest wysyłane do sterownika COSI. Zgłoszono „pull request”, aby rozwiązać ten problem.

Korzyści z wprowadzenia sterownika HPE COSI do HPE Alletra Storage MP X10000 obejmują uproszczenie operacji związanych z pamięcią masową, lepsze wykorzystanie zasobów oraz zwiększoną elastyczność w wdrażaniu i skalowaniu aplikacji. Wykorzystując COSI w połączeniu z rozwiązaniami pamięci masowej HPE, organizacje mogą osiągnąć bardziej solidne i elastyczne środowisko Kubernetes, co ostatecznie prowadzi do większej efektywności i wydajności w ich aplikacjach natywnych dla chmury.

Aby uzyskać więcej informacji na temat HPE Alletra Storage MP X10000, polecam przeczytać ten artykuł.