LinguoMusa – narzędzia analizy muzyki, mowy i gestu

Wydział Nauk o Sztuce UAM 

Moduł Linguomusa – to narzędzia do badań muzyki, mowy, gestu, koordynowany przez prof. Piotra Podlipniaka powstaje w Instytucie Muzykologii na Wydziale Nauk o Sztuce. W jego ramach trwa zarówno dostosowanie pomieszczeń na potrzeby przyszłego laboratorium, jak i np. zakup i konfiguracja aparatury, która pozwoli na rejestrację parametrów fizjologicznych uczestników badań. Jednocześnie powstaje oprogramowanie do automatycznej analizy nagrań oraz tzw. baza przebiegów muzycznych.

Czym jest LinguoMusa?

• laboratorium zorientowane na badania porównawcze dwóch ludzkich zjawisk komunikacyjnych: języka naturalnego (mowy i gestu) i muzyki (śpiewu oraz muzyki z udziałem instrumentów muzycznych) 
• baza danych muzycznych symulujących polskie środowisko muzyczne współczesnego człowieka 

Możliwości zastosowania

• weryfikowanie eksperymentalne współczesnych modeli predykcyjnych dotyczących percepcji mowy i muzyki, ale także zjawisk pokrewnych takich jak języki gwizdane czy mowa bębnów 
• sprawdzanie, jak nasze przewidywania wiążą się z reakcjami fizjologicznymi w czasie słuchania muzyki, wypowiedzi czy obserwowania gestykulacji mówiących ludzi  
• badanie innych rodzajów ekspresji dźwiękowej człowieka, jak płacz czy śmiech pod kątem ich związków z mową i muzyką 
• tworzenie zaawansowanych modeli dystrybucji wysokości muzycznej i rytmu w wybranych kulturach muzycznych 
• tworzenie modeli dystrybucyjnych (j.w.) dla minionych kultur muzycznych na podstawie danych archiwalnych i innych źródeł historycznych np. zapisu nutowego, nagrań, ale też hipotetycznych modeli na podstawie źródeł archeologicznych, takich jak prehistoryczne instrumenty muzycznych, co do których można określić możliwe do wydobycia klasy wysokości dźwięku (np. dla fletów kościanych) 

Wyposażenie laboratorium

• oprogramowanie do automatycznej ekstrakcji muzycznych danych strukturalnych do formatu MIDI z nagrań muzycznych oraz tzw. baza dystrybucji wysokości muzycznej i rytmu muzycznych 
• oprogramowanie pozwalające obliczać tzw. zawartość informacyjną dyskretnych jednostek przebiegów mownych, gesturalnych i muzycznych, czyli, jak bardzo spodziewamy się następujących po sobie dźwięków muzyki, mowy, ale też gestów towarzyszących mowie 
• aparatura EEG i narzędzia do pomiarów markerów somatycznych aktywności autonomicznego układu nerwowego 

Adresaci infrastruktury

• badacze z UAM, jak i naukowcy z innych ośrodków badawczych 
• przedsiębiorstwa zajmujące się dystrybucją muzyki popularnej (określenie, jakie następstwa dźwięków są pożądane przez słuchaczy, co może pomóc szacować popularność utworów muzycznych i zwiększać zyski) 
• studenci muzykologii, lingwistyki, kognitywistyki i dyscyplin pokrewnych, chcący poszerzać swoją wiedzę o zjawiskach komunikacyjnych i brać udział w badaniach eksperymentalnych mowy i muzyki 
• kompozytorzy muzyki generatywnej, wykorzystujący w swojej twórczości narzędzia komputerowe (wykorzystanie danych o zawartości informacyjnej dla osiągnięcia określonych efektów artystycznych i estetycznych) 

Koordynator modułu infrastruktury i dane kontaktowe
prof. UAM dr hab. Piotr Podlipniak (piotr.podlipniak@amu.edu.pl)

Wywiad z koordynatorem modułu w Życiu Uniwersyteckim UAM
https://uniwersyteckie.pl/nauka/dariah-pl-jezyk-i-muzyka-w-laboratorium