SPACEx – animacja portretowa sterowana mową.
Realistyczne wygenerowane portrety ludzi w wysokiej rozdzielczości zachwycają Internet już od kilku lat. Coraz więcej fanów tej technologii może pozwolić sobie wygenerować tego typu portrety w coraz łatwiejszy sposób. Teraz nowym przedmiotem zainteresowania badaczy stała się animacja portretów oparta na mowie. Co jest zdecydowanie trudniejszym wyzwaniem niż wygenerowanie nieruchomego portretu człowieka.
W nowym artykule SPACEx: Speech-driven Portrait Animation with Controllable Expression zespół badawczy firmy Nvidia przedstawia SPACEx – framework do animacji portretów z kontrolowaną ekspresją emocjonalną.
Innowacyjne podeście do problemu animacji twarzy umożliwia w SPACEx generowanie animowanych portretów w wysokiej rozdzielczości z kontrolą emocji, mimiki twarzy i kontrolowaną pozycją głowy. Wg twórców metoda może tworzyć realistyczne pozy głowy, jednocześnie będąc w stanie przenieść pozy z innego filmu. Oferuje również zwiększoną kontrolę, wykorzystując punkty orientacyjne twarzy jako etap pośredni, umożliwiając manipulacje takie jak mruganie, kontrola wzroku, kontrola emocji oraz intensywność emocji. Więcej informacji oraz przykłady animacji znajdziecie na stronie projektu:
https://deepimagination.cc/SPACEx/