Badacze z IBM Reseach poinformowali o dokonaniu przełomu na polu algorytmów maszynowego uczenia się. Są bliscy osiągnięcia idealnej wydajności podczas skalowania. Ich nowe oprogramowanie DDL (distributed deep-learning) zapewnia niemal liniowe przyspieszenie wydajności z każdym dodanym procesorem. Celem IBM Research jest osiągnięcie podobnego przyrostu wydajności obliczeniowej z każdym serwerem dodanym do algorytmu DDL. Naszym zamiarem jest skrócenie czasu związanego z treningiem głębokiego uczenia się z dni i godzin do minut i sekund, mówi Hillery Hunter, dyrektor grupy Accelerated Cognitive Infrastructure.
Hunter zauważa, że wśród twórców algorytmów do głębokiego uczenia się dominuje podejście zgodnie z którym skaluje się je z uwzględnieniem wielu GPU, a nie z uwzględnieniem wielu serwerów zawierających GPU. Tymczasem badacze z IBM-a napisali oprogramowanie, które automatyzuje i optymalizuje proces równoległego przetwarzania zadań przez setki GPU znajdujące się w dziesiątkach serwerów.
Błękitny Gigant informuje, że osiągnął właśnie 95-procentową efektywność skalowania systemu składającego się z do 256 procesorów Nvidia Tesla P100. Dane takie obliczono dla zadania polegające na rozpoznawaniu obrazów, a niemal liniowe skalowanie osiągnięto po 50 minutowym ćwiczeniu algorytmu. Wcześniejszy rekord wydajności na tym samym zestawie danych należał do Facebooka, który osiągnął 89-procentową wydajność po 60 minutach.
To nie jedyne imponujące osiągnięcie IBM-a. Firma poinformowała też, że po 7 godzinach treningu osiągnęła 33,8% trafność rozpoznawania obrazów na zestawie ImageNet22k, który składa się z 7,5 miliona obrazów. Poprzedni rekord na tym zestawie danych należał do Microsoftu, który po 10 dniach treningu osiągnął 29,8-procentową skuteczność.
IBM udostępni swój nowy algorytm bezpłatnie każdemu użytkownikowi swojej platformy PowerAI.
Autor: Mariusz Błoński
Źródło: kopalniawiedzy.pl
0 komentarzy