Grok-1 Udostępniony dla Wszystkich – Nowy Gigant w Świecie Sztucznej Inteligencji
Elon Musk, założyciel firmy sztucznej inteligencji xAI, ogłosił udostępnienie wag i architektury swojego najnowszego potężnego modelu językowego, Grok-1, na licencji Apache 2.0.
To wydarzenie następuje po zapowiedzi Muska z zeszłego poniedziałku, że Grok będzie dostępny dla wszystkich użytkowników. Dla osób śledzących rozwój sztucznej inteligencji, trzeba przyznać, że to ogromny krok naprzód pod względem otwartości i dostępności.
Co to jest Grok?
Grok to ogromny model językowy posiadający 314 miliardów parametrów, co czyni go największym otwartoźródłowym modelem dostępnym obecnie. Dla porównania, to ponad dwukrotnie większy model niż GPT-3 stworzony przez OpenAI, który uważany był za przełomowy po swoim wydaniu w 2020 roku. Ale Grok to nie tylko większy model. Wykorzystuje on także architekturę Mixture-of-Experts (MoE), co pozwala mu strategicznie aktywować podzbiory swoich parametrów dla różnych zadań. Teoretycznie czyni to go bardziej wydajnym i elastycznym w porównaniu do tradycyjnych modeli gęstych.
Co wnosi udostępnienie Grok-1?
- 314 miliardów parametrów Mixture-of-Experts z 25% aktywnych wag na danym tokenie
- Model bazowy jest trenowany na dużej ilości danych tekstowych, nie jest dostrojony do żadnego konkretnego zadania.
- 8 ekspertów (2 aktywne)
- 86 miliardów parametrów
- Licencja Apache 2.0
Dodatkowo, dzisiaj model został udostępniony do pobrania na platformie Hugging Face. Warto również wspomnieć, że struktura modelu jest podobna do Mixtral, ale znacznie większa. Jednak warto zaznaczyć, że ze względu na rozmiar modelu, jego uruchomienie na domowym komputerze staje się niemożliwe. Aby to zrobić, potrzebna byłaby przestrzeń pamięci GPU licząca się w setkach gigabajtów. Model jest także „surowy”, co oznacza, że nie jest dostrojony do żadnych konkretnych zadań. Zapewne jednak w przyszłości pojawią się skwantyzowane wersje tego modelu, dostosowane do procesorów CPU, ale i wtedy uruchomienie go będzie wymagać znacznych zasobów sprzętowych.
Publikacja Grok-1 to z pewnością wielki krok w rozwoju sztucznej inteligencji, otwierając drzwi do nowych możliwości badawczych i aplikacyjnych. Dzięki temu, naukowcy i programiści z całego świata będą mieli szansę eksplorować potencjał tego potężnego modelu, otwierając nowe horyzonty dla przyszłości sztucznej inteligencji.
