[Chiny, Shenzhen, 14 lipca 2023 r.] Firma Huawei zaprezentowała dziś nowe rozwiązanie pamięci masowej AI na erę modeli wielkoskalowych, zapewniające optymalne rozwiązania pamięci masowej na potrzeby podstawowego szkolenia modeli, szkolenia modeli specyficznych dla branży oraz wnioskowania w scenariuszach podzielonych na segmenty, tym samym uwalniając nowe możliwości sztucznej inteligencji.
Opracowując i wdrażając aplikacje modelowe na dużą skalę, przedsiębiorstwa stoją przed czterema głównymi wyzwaniami:
Po pierwsze, czas potrzebny na przygotowanie danych jest długi, źródła danych są rozproszone, a agregacja jest powolna i wstępne przetwarzanie setek terabajtów danych zajmuje około 10 dni. Po drugie, w przypadku dużych modeli multimodalnych z ogromnymi zbiorami danych tekstowych i graficznych bieżąca prędkość ładowania ogromnych małych plików jest mniejsza niż 100 MB/s, co skutkuje niską wydajnością ładowania zestawu szkoleniowego. Po trzecie, częste zmiany parametrów w przypadku dużych modeli oraz niestabilne platformy treningowe powodują przerwy w treningu mniej więcej co 2 dni, co powoduje konieczność wznowienia treningu przez mechanizm Checkpoint z jednodniową regeneracją. Wreszcie wysokie progi implementacji w przypadku dużych modeli, złożona konfiguracja systemu, wyzwania związane z planowaniem zasobów i wykorzystanie zasobów procesora graficznego często poniżej 40%.
Huawei wpisuje się w trend rozwoju sztucznej inteligencji w dobie modeli wielkoskalowych, oferując rozwiązania dostosowane do różnych branż i scenariuszy. Przedstawia pamięć masową typu Deep Learning Data Lake Storage OceanStor A310 oraz superkonwergentne urządzenie do szkolenia/wnioskowania FusionCube A3000. OceanStor A310 Deep Learning Data Lake Storage jest przeznaczony zarówno dla podstawowych, jak i branżowych scenariuszy dużych modeli Data Lake, zapewniając kompleksowe zarządzanie danymi AI od agregacji danych, wstępnego przetwarzania po trenowanie modeli i aplikacje wnioskowania. OceanStor A310 w pojedynczej szafie 5U obsługuje wiodącą w branży przepustowość 400 GB/s i do 12 milionów IOPS, z liniową skalowalnością do 4096 węzłów, umożliwiając bezproblemową komunikację między protokołami. Globalny system plików (GFS) ułatwia inteligentne przeplatanie danych pomiędzy regionami, usprawniając procesy agregacji danych. Przetwarzanie w pobliżu pamięci masowej realizuje wstępne przetwarzanie niemalże danych, redukując przenoszenie danych i poprawiając wydajność wstępnego przetwarzania o 30%.
Superkonwergentne urządzenie do uczenia/wnioskowania FusionCube A3000, zaprojektowane z myślą o scenariuszach uczenia/wnioskowania dużych modeli na poziomie branżowym, obsługuje aplikacje obejmujące modele z miliardami parametrów. Integruje wysokowydajne węzły magazynowania OceanStor A300, węzły szkoleniowe/wnioskowania, sprzęt przełączający, oprogramowanie platformy AI oraz oprogramowanie do zarządzania i obsługi, zapewniając dużym partnerom modelowym możliwość wdrażania typu „plug and play” w ramach kompleksowej dostawy. Gotowy do użycia, można go wdrożyć w ciągu 2 godzin. Zarówno węzły szkoleniowe/wnioskowania, jak i węzły przechowywania można rozszerzać niezależnie i poziomo, aby dopasować je do różnych wymagań skali modelu. Tymczasem FusionCube A3000 wykorzystuje kontenery o wysokiej wydajności, aby umożliwić wiele zadań związanych z uczeniem modelu i wnioskowaniem w celu współużytkowania procesorów graficznych, zwiększając wykorzystanie zasobów z 40% do ponad 70%. FusionCube A3000 obsługuje dwa elastyczne modele biznesowe: kompleksowe rozwiązanie Huawei Ascend oraz kompleksowe rozwiązanie partnera zewnętrznego z otwartym oprogramowaniem obliczeniowym, sieciowym i platformą AI.
Zhou Yuefeng, prezes linii produktów do przechowywania danych w Huawei, stwierdził: „W erze modeli wielkoskalowych dane determinują poziom inteligencji sztucznej inteligencji. Jako nośnik danych, przechowywanie danych staje się kluczową podstawową infrastrukturą dla wielkoskalowych modeli sztucznej inteligencji. Huawei Data Storage będzie nadal wprowadzać innowacje, dostarczając zróżnicowane rozwiązania i produkty na erę dużych modeli sztucznej inteligencji, współpracując z partnerami w celu wzmacniania pozycji sztucznej inteligencji w wielu branżach.
Czas publikacji: 01 sierpnia 2023 r
