Brak NVLink w nowych kartach Ada Lovelace od Nvidia
Wszyscy jesteśmy zachwyceni wydajnością i możliwościami nowych kart generacji ADA, jednak po chwilach ekscytacji zaczynamy też widzieć pewne braki w tej generacji. Mnie najbardziej zmartwiło brak złącza NVLink umożlwiającego połączenie dwóch kart RTX 4090. Zaskakujące jest też to, że Nvidia również zrezygnowała z tego złącza na kartach dla profesjonalistów. Nowa karta RTX 6000 o której pisaliśmy wczoraj również nie posiada tego złącza!
Szczególnie to zła wiadomość dla osób zajmujących się sztuczną inteligencją, dwie karty 24GB dawały 48GB pamięci Vram w „jednym kawałku”, co umożliwiało szkolenie dużych modeli AI również na kartach dla graczy. Wydaje się, że Nvidia chce wymusić na specjalistach od AI nieużywania kart Ada Lovelace dla szkolenia sztucznej inteligencji, bo od tego jest Hopper GPU firmy Nvidia /architektura zapowiadana kilka miesięcy temu/ bo to właśnie Hopper ma być tym samym dla AI czym Ada Lovelace dla grafiki.
„Jeżeli szukasz najlepszego narzędzia do głębokiego uczenia, do sztucznej inteligencji, to właśnie jest Hopper” — powiedział Bob Pette, wiceprezes Nvidia ds. profesjonalnej wizualizacji.
Tylko nie każdego stać na takie rozwiązania, wielu amatorów AI używało np. dwóch lub czterech RTX 3090 i szkoli w zaciszu domowych spore modele sztucznej inteligencji. Znam wiele przykładów dużych modeli udostępnionych na Github.com szkolonych na takim zestawie kart. Jednak wszystko na to wskazuje, że karty Ada Lovelace nie będą miały takiej możliwości co oczywiście nie wyeliminuje ich do szkolenia modeli AI, ale ograniczy wielkość szkolonych modeli.
