Przetwarzanie języka naturalnego (NLP)
„Przetwarzanie języka naturalnego (NLP)” to zdanie nie wygląda zachęcająco, ale kryje się za nim coś co staje się prawdziwą rewolucją w komunikacji człowiek-komputer. NLP ma nam pomóc a raczej już pomaga w komunikowaniu się z komputerem za pomocą języka naturalnego a nie specjalistycznego języka programowania.
Jest wiele zastosowań użycia tej technologii: stosuje ją wyszukiwarka Google dla poprawy jakości wyników wyszukiwania, autokorekta tekstu w smartfonie to też NLP, rozpoznawanie spamu w poczcie elektronicznej, wszelkiego typu Chatboty, Voiceboty to również głównie NLP. Ta technologia weszła też mocno do dziennikarstwa coraz więcej serwisów informacyjnych używa NLP do generowania treści, tytułów czy też podsumowań artykułów. Poniżej przedstawiamy najpopularniejsze modele NLP jakie dotychczas powstały.
Popularne modele NLP:
BERT
Bert to skrót od Bidirectional Encoder Representations from TransformersModel. Bert został opracowany przez grupę naukowców pracujących w Google i opublikowany 2018 roku. BERT wywołał sensację przez swoje dokładne wyniki w różnych zadaniach programowania języka naturalnego np.: wnioskowanie, odpowiadanie na pytania i wielu innych. Do momentu prezentacji GPT2 był królem NLP. Bert doczekał się wielu modyfikacji takich jak np.: RoBert czy DistilBERT. Przeszkolone modele Berta jak i jego modyfikacji /oczywiście nie tak duże jak modele angielskojęzyczne/ są również dostępne w języku polskim.
GPT3
GPT3 to model przetwarzanie języka naturalnego trzeciej generacji stworzony przez OpenAI, laboratorium badawcze sztucznej inteligencji z siedzibą w San Francisco. Już poprzedni model GPT2 wywołał sporą sensację wśród osób zajmujących się nauczaniem maszynowym, natomiast GPT3 to już prawdziwa rewolucja i do momentu powstania MT-NLG był to największym model językowy jaki dotychczas powstał. Treści generowane przez GPT3 są tak dobre, że trudno rozróżnić je od treści pisanych przez człowieka. W Internecie znajdziecie wiele przykładów artykułów wykreowanych przez GPT3 a nawet całych książek. Oczywiście model ten powstał w j. angielskim i nie jest ogólnie dostępny. Jednak są w Internecie modele oparte o GPT2 w j. polskim co i tak jest sporym sukcesem.
MT-NLG
MT-NLG, czyli Megatron-Turing Natural Language Generation model ten został oparty na technologii DeepSpeed i Megatron. Jest to na ten moment największym modelem transformatora przeszkolonym do tej pory, bo aż z 530 miliardami parametrów! Model ten jest dziełem współpracy badawczej Microsoft i NVIDII. Jak przynajmniej na razie mi wiadomo nie jest on ogólnie dostępny i oczywiście został opracowany dla j. angielskiego.
Ma wg. twórców niezrównaną dokładność w szerokim zestawie zadań języka naturalnego, takich jak:
– Przewidywanie ukończenia
– Czytanie ze zrozumieniem
– Zdroworozsądkowe rozumowanie
– Wnioskowania z języka naturalnego
– Ujednoznacznienie sensu słowa
Wyszkolenie modeli takich jak GPT3 czy znacznie większego modelu MT-NLG kosztowało dziesiątki milionów dolarów i własne modele na takim poziomie są na razie nie osiągalne dla większości firm. Jednak w j. angielskim jest sporo naprawdę dużych modeli NLP dostępnych za darmo więc nie tylko firmy, ale wielu hobbystów tworzy ciekawe projekty oparte na tej technologii.
W Polsce mamy pod tym względem znacznie gorzej, w j. polskim dostępne bezpłatnie modele NLP nie są zbyt duże i nie jest ich zbyt wiele a własne szkolenie modelu zbliżonego wielkościowo do GPT3 czy MT-NLG to już zupełna fantastyka dla większości polskich firm. Dostęp do polskich modele tej wielkości by wręcz zrewolucjonizowało w Polsce branże sztucznej inteligencji, jednak chyba tylko jakiś program rządowy by podołał takiemu zadaniu stworzenia ogólnie dostępnego potężnego modelu NLP w j. polskim.
