Mixtral – Przełom w Modelach Językowych
Mixtral – Przełom w Modelach Językowych W ostatnim czasie, większość dużych modeli językowych (LLMs) opierała się na podobnych architekturach neuronowych. Przykłady takich modeli to Falcon, Mistral czy Llama 2, które wykorzystują połączenie modułów samo-uwagi i MLP. Jednakże, firma Mistral AI, twórca Mistral 7B, wprowadziła na rynek nowy model językowy o nazwie Mixtral-8x7B, wykorzystujący rzadką mieszankę …