Model Starling-7B: Jak Otwarta Społeczność Prześciga Gigantów AI
Model Starling-7B, będący osiągnięciem innowacyjnym w dziedzinie sztucznej inteligencji, stanowi znaczący krok naprzód w rozwoju otwartych, wielkich modeli językowych (LLM). Ten projekt, rozwijany przez społeczność badawczą, wykorzystuje metodologię Wzmocnionego Uczenia się z Informacją zwrotną od AI (RLAIF) i opiera się na specjalnie przygotowanym zbiorze danych o nazwie Nectar.
Starling-7B wyróżnia się na tle innych modeli językowych kilkoma kluczowymi aspektami:
Model Open-Source: W przeciwieństwie do modeli własnościowych, Starling-7B oferuje możliwość szerszych eksperymentów i udoskonaleń przez społeczność badawczą.
Wysoka Wydajność: Model ten osiąga wyniki bliskie GPT-4, pokazując, że modele open-source mogą konkurować z liderami branży.
Innowacyjność: Trening modelu obejmuje nowe techniki, takie jak RLAIF, przesuwając granice badania nad AI.
Starling-7B osiągnął imponujące wyniki w takich benchmarkach jak MT-Bench i AlpacaEval, gdzie jego wyniki są porównywalne z komercyjnymi chatbotami, takimi jak Claude 2 czy GPT-3.5. W MT-Bench wynik wzrósł z 7.81 do 8.09 w porównaniu do Openchat 3.5, a w AlpacaEval z 88.51% do 91.99%. Co istotne, RLAIF przede wszystkim poprawia pomocność i bezpieczeństwo modelu, nie wpływając znacząco na jego podstawowe zdolności, takie jak odpowiadanie na pytania oparte na wiedzy, matematyka czy kodowanie.
Jednak Starling-7B, podobnie jak inne LLM, ma trudności z zadaniem wymagającym zaawansowanego rozumowania czy matematyki. Model ten jest również podatny na próby „jailbreaking”, ponieważ nie został wyraźnie wytrenowany na te scenariusze.
Twórcy Starling-7B wykorzystali do jego treningu zestaw danych Nectar, składający się z 183 000 chatowych zachęt z siedmioma odpowiedziami każda, co daje łącznie 3,8 miliona porównań parowych. Odpowiedzi pochodziły z różnych modeli, w tym GPT-4, GPT-3.5-instruct, GPT-3.5-turbo, Mistral-7B-instruct i Llama2-7B. Jakość syntetycznych odpowiedzi została oceniona przez GPT-4, a badacze opracowali unikalne podejście, aby ominąć tendencyjność GPT-4 w ocenianiu najwyżej pierwszych i drugich odpowiedzi.
Starling-7B jest obecnie dostępny w LMSYS Chatbot Arena, gdzie można go testować bezpośrednio oraz w anonimowych porównaniach, aby sprawdzić ludzkie preferencje. Jego podróż stanowi świadectwo dynamicznej natury rozwoju AI — równowagi między pionierskim postępem a zabezpieczeniem przed wykorzystaniem. Jego status open-source odgrywa kluczową rolę w tym procesie, ponieważ zaprasza szerokie spektrum programistów do współpracy w celu wzmocnienia modelu przeciwko próbom jailbreaking i innym formom manipulacji AI.
Źródła:
