TOPS i TFLOPS w Kontekście Użycia GPU do Wnioskowania i Szkolenia

TOPS i TFLOPS w Kontekście Użycia GPU do Wnioskowania i Szkolenia

W obliczeniach wysokowydajnych, zwłaszcza w kontekście sztucznej inteligencji (AI) i uczenia maszynowego (ML), wskaźniki wydajności takie jak TOPS (Tera Operations Per Second) i Teraflops (Tera Floating Point Operations Per Second) odgrywają kluczową rolę. W tym artykule omówimy, co oznaczają te miary, jak są używane w kontekście GPU do wnioskowania i szkolenia, a także porównamy dwie potężne karty graficzne: NVIDIA RTX 3090 i RTX 4090. Dodatkowo, poruszymy temat wydajności w TOPS w innych urządzeniach, takich jak procesory i FPGA oraz ile TOPS jest wymagane do wygodnego wnioskowania z modelami językowymi.

TOPS i TFLOPS

TOPS mierzy ogólną liczbę operacji wykonywanych na sekundę, niezależnie od rodzaju operacji. Teraflops natomiast mierzy liczbę operacji zmiennoprzecinkowych na sekundę. W kontekście AI i ML, różne poziomy precyzji obliczeń mają znaczenie:

• FP32 (32-bit float): Wysoka precyzja, używana w naukowych i inżynieryjnych obliczeniach.
• FP16 (16-bit float): Mniejsza precyzja, ale wyższa wydajność, często używana w głębokim uczeniu.
• INT8 (8-bit integer): Bardzo wysoka wydajność, niższa precyzja, idealna do wnioskowania w AI.

Wydajność GPU: RTX 3090 vs RTX 4090

Karty graficzne NVIDIA RTX 3090 i RTX 4090 są doskonałymi przykładami wysokowydajnych GPU, które różnią się znacząco pod względem wydajności w TOPS i Teraflops.

RTX 3090

• Architektura: Ampere
• FP16 (Tensor TFLOPS): 119 TFLOPS (czyli 119 TOPS)
• INT8 (Tensor TOPS): 238 TOPS

RTX 4090

• Architektura: Ada Lovelace
• FP16 (Tensor TFLOPS): 650 TFLOPS (czyli 650 TOPS)
• INT8 (Tensor TOPS): 1300 TOPS

Wnioskowanie vs Szkolenie

W kontekście AI, wnioskowanie i szkolenie to dwa różne etapy pracy z modelami:

1. Wnioskowanie (Inference):
   • Proces zastosowania wytrenowanego modelu do nowych danych.
   • Kluczowa jest tutaj wysoka wydajność w TOPS, zwłaszcza dla operacji INT8 i FP16, które są mniej wymagające pod względem precyzji, ale wymagają wysokiej przepustowości.
2. Szkolenie (Training):
   • Proces dostosowywania wag modelu na podstawie danych treningowych.
   • Wymaga większej precyzji (FP32, FP16), co przekłada się na wysokie wartości Teraflops.

Wydajność TOPS w Procesorach i Innych Urządzeniach

Chociaż GPU są dominującym wyborem w kontekście AI i ML ze względu na ich równoległą architekturę, procesory (CPU) i inne specjalistyczne układy (np. FPGA – Field-Programmable Gate Arrays) również odgrywają ważną rolę.

Przykłady

1. Intel Stratix 10 NX FPGA:
   • INT8 TOPS: Do 143 TOPS
   • INT4 TOPS: Do 286 TOPS
   • FP16 TFLOPS: Do 143 TFLOPS
   • Architektura: AI Tensor Blocks, które umożliwiają elastyczne i wydajne przetwarzanie operacji AI dzięki możliwości konfigurowania zasobów FPGA zgodnie z wymaganiami aplikacji​​.
2. TPU (Tensor Processing Unit) v4:
   • INT8 TOPS: Do 275 TOPS
   • Używane głównie przez Google w kontekście ich usług AI.
3. CPU (Central Processing Unit):
   • Nowoczesne procesory, takie jak Intel Xeon lub AMD EPYC, są mniej wydajne w TOPS w porównaniu do GPU i FPGA, ale nadal ważne w zastosowaniach wymagających dużej precyzji i mocy obliczeniowej.

Wydajność TOPS w Wnioskowaniu z Modelami Językowymi

Wydajność wymagana do wnioskowania z dużymi modelami językowymi, takimi jak LLaMA i Mistral, może się znacznie różnić w zależności od wielkości modelu i skomplikowania zadania.

Szacowanie Wymagań TOPS:

Wydajność wnioskowania, mierzona w tokenach na sekundę, może być przeliczona na wymagania w TOPS. Załóżmy, że minimalna wydajność do wygodnej pracy to 5-10 tokenów na sekundę.

1. LLaMA 7B:
   • Przy wnioskowaniu, LLaMA 7B osiąga około 90 tokenów na sekundę przy użyciu GPU RTX 3090, który oferuje około 238 TOPS w INT8​ (NVIDIA Developer)​.
   • Dla osiągnięcia 10 tokenów na sekundę: 238 TOPS / 90 tokenów na sekundę = ~2.64 TOPS na token na sekundę.**
   • Zatem do osiągnięcia 10 tokenów na sekundę potrzeba około 26.4 TOPS.
2. Mistral 7B:
   • Mistral 7B w benchmarkach osiąga podobną wydajność co LLaMA 7B, co sugeruje podobne wymagania w TOPS.
   • Dla osiągnięcia 10 tokenów na sekundę potrzeba również około 26.4 TOPS.**

**Należy pamiętać, że te wartości są przybliżone i mogą się różnić w zależności od innych czynników, takich jak ustawienia hiperparametrów i specyficzne optymalizacje modelu.

Źródła

• Dokumentacja NVIDIA Ampere GA102 GPU Architecture
• Specyfikacje kart graficznych NVIDIA RTX 3090 i RTX 4090
• Dokumentacja Intel Stratix 10 NX FPGA
• Dane techniczne TPU v4
• Analiza benchmarków Mistral 7B i LLaMA 2 7B​