Zużycie Pamięci w Kontekście Wnioskowania i Dostrajania Modeli Językowych

Zużycie Pamięci w Kontekście Wnioskowania i Dostrajania Modeli Językowych

Wnioskowanie: Wymagania Pamięciowe

Wnioskowanie, czyli generowanie odpowiedzi przez model językowy, jest procesem mniej zasobochłonnym niż pełne dostrajanie modelu. Modele o wielkości 7B mogą być uruchamiane na kartach graficznych takich jak NVIDIA RTX A4000, która posiada 16 GB VRAM. Przy zastosowaniu odpowiednich optymalizacji, możliwe jest również wnioskowanie modeli 8B takich jak Llama 3 na tej samej karcie, choć może to prowadzić do pewnych ograniczeń.

Przykład:

• Model 7B: Wymaga około 14 GB VRAM do efektywnego wnioskowania.
• Model 8B: Może działać na karcie z 16 GB VRAM, ale przy dłuższym kontekście rozmowy może zabraknąć pamięci, co prowadzi do błędów braku pamięci lub spowolnienia działania poprzez użycie RAM.

W systemach takich jak Windows, kiedy VRAM jest niewystarczająca, karta graficzna zaczyna korzystać z pamięci RAM, co znacząco spowalnia proces wnioskowania. Praktycznym przelicznikiem zapotrzebowania pamięci na wnioskowanie jest około 2 GB VRAM na każdy miliard parametrów modelu, co oznacza, że:

• 7B model ≈ 14 GB VRAM
• 14B model ≈ 28 GB VRAM

Dostrajanie: Wymagania Pamięciowe

Pełne dostrajanie modeli językowych jest znacznie bardziej zasobożerne. Standardowo, do pełnego dostrajania modelu potrzeba około 5-7 razy więcej pamięci VRAM niż zajmuje sam model. Oznacza to, że dla modelu 7B potrzeba by było od 70 do 98 GB VRAM. Jednak dzięki nowoczesnym technologiom i technikom optymalizacyjnym, takim jak LoRA (Low-Rank Adaptation) i QLoRA (Quantized Low-Rank Adaptation), możliwe jest zmniejszenie tych wymagań. Istnieją metody pełnego dostrajania modeli 7B nawet na takiej karcie jak RTX 3090,  czas takiego dostrajania trzeba liczyć w tygodniach.

LoRA i QLoRA:

• LoRA: Pozwala na dostrajanie dużych modeli poprzez modyfikowanie tylko niewielkiej części ich parametrów, co znacząco redukuje zapotrzebowanie na pamięć.
• QLoRA: Jeszcze bardziej zaawansowana technika, która stosuje kwantyzację, zmniejszając precyzję liczb w modelu, co dodatkowo redukuje pamięć potrzebną do dostrajania kosztem wydłużenia czasu dostrajania.

Kwantyzacja: Optymalizacja Zużycia Pamięci

Kwantyzacja to technika polegająca na redukcji precyzji liczb używanych w modelu, co pozwala na znaczną oszczędność pamięci. Dwie główne metody kwantyzacji to 8-bitowa i 4-bitowa, które mają różne zalety i wady.

Kwantyzacja 8-bitowa:

• Zalety: Znacząco zmniejsza zapotrzebowanie na pamięć, zazwyczaj o połowę, bez dużego wpływu na dokładność modelu.
• Przykład: Model 7B, który normalnie wymagałby 14 GB VRAM, po kwantyzacji 8-bitowej może potrzebować tylko około 7-8 GB VRAM.
• Zastosowanie: Jest szeroko stosowana, ponieważ oferuje dobre kompromisy między oszczędnością pamięci a zachowaniem wydajności modelu.

Kwantyzacja 4-bitowa:

• Zalety: Jeszcze bardziej redukuje zużycie pamięci, ale może prowadzić do znacznego spadku dokładności modelu.
• Wady: Ze względu na znaczny spadek dokładności, nie jest zalecana do większości zastosowań. Modele stają się mniej precyzyjne, co może znacząco wpłynąć na jakość generowanych odpowiedzi.

Praktyczne Zastosowanie LoRA i QLoRA

Dla przykładu, dostrajanie modelu 7B za pomocą LoRA może zmniejszyć zapotrzebowanie na pamięć do poziomu możliwego do zarządzania na kartach z 24-32 GB VRAM, co jest znacznie bardziej praktyczne w zastosowaniach komercyjnych i badawczych. QLoRA pozwala na dalsze zmniejszenie wymagań, co może umożliwić dostrajanie nawet na kartach z mniejszą ilością VRAM, bez znaczącego wpływu na wydajność modelu.

Podsumowanie

Zarządzanie pamięcią jest kluczowym aspektem wnioskowania i dostrajania dużych modeli językowych. Modele o wielkości 7B mogą efektywnie działać na kartach graficznych z 16 GB VRAM, takich jak RTX A4000, choć przy dłuższych kontekstach mogą napotkać na ograniczenia. Dostrajanie modeli jest znacznie bardziej zasobożerne, ale dzięki technikom takim jak LoRA i QLoRA możliwe jest zmniejszenie wymaganej pamięci VRAM do bardziej praktycznych poziomów. Kwantyzacja 8-bitowa jest efektywną metodą redukcji zużycia pamięci, zmniejszając jej zapotrzebowanie o połowę, bez znacznego wpływu na dokładność modelu. Kwantyzacja 4-bitowa, choć oferuje jeszcze większe oszczędności, nie jest zalecana ze względu na znaczną utratę dokładności.

W miarę jak rośnie dostępność coraz większych modeli, takich jak modele 70B a nawet 340B, zapotrzebowanie na pamięć staje się ogromnym wyzwaniem. Modele te są praktycznie niemożliwe do uruchomienia na typowym sprzęcie konsumenckim. Na przykład, model 70B nawet z kwantyzacją 8-bitową potrzebuje około 70 GB VRAM, co odpowiada trzem kartom takim jak RTX 3090. Większość komputerów konsumenckich nie posiada nawet takiej ilości RAM. Jedyną nadzieją na to, by większe modele mogły trafić na komputery domowe, są modele nowego typu, które eliminują obliczenia na macierzach. Tak stworzone modele potrzebują nawet siedmiokrotnie mniej pamięci od modelu standardowego przy tej samej wielkości modelu.

Efektywne zarządzanie pamięcią i zastosowanie nowoczesnych technik optymalizacyjnych są niezbędne, aby sprostać wymaganiom dużych modeli językowych i umożliwić ich praktyczne zastosowanie w różnych dziedzinach.