MultiCo – zasoby multimodalne, czyli holistyczne podejście do komunikacji interpersonalnej

Wydział Neofilologii UAM

Korpus multimodalny Multico i studio nagrań powstają na Wydziale Neofilologii UAM. Koordynatorem merytorycznym modułu jest prof. Maciej Karpiński. Zasoby obejmują m.in. zbiór nagrań audio i wideo wraz z opisem ruchu ich uczestników. Mowa tu o np. nagraniach z konferencji, posiedzeń Sejmu oraz telewizyjnych rozmowach na temat sportu. Dzięki środkom z projektu DARIAH. Lab wyposażone zostało profesjonalne studio przystosowane do rejestracji danych multimodalnych w Collegium Novum UAM, przy al. Niepodległości 4 w Poznaniu.

Laboratorium MultiCo 

• wyposażone w infrastrukturę do badań nad multimodalnością w komunikacji 
• wielokanałowa rejestracja dźwięku mikrofonami nagłownymi, lavalier, statywowymi (pojemnościowymi i dynamicznymi) lub z innych źródeł analogowych i cyfrowych, przy maksymalnej częstotliwości próbkowania 192 kHz i rozdzielczości 32 bity (Cubase Professional); 
• przetwarzanie i analiza dźwięku, w szczególności sygnału mowy z wykorzystaniem programów WaveLab, Cubase Professional, Praat, AnnotationPro, i innych; 
• anotacja materiału dźwiękowego i wideo: AnnotationPro, Praat, ELAN; 
• rejestracja obrazu kamerami 4k i HD, również z podwyższoną liczbą klatek na sekundę, podgląd i zapis obrazu również bezpośrednio na komputerze sterującym systemem; 
• rejestracja i parametryzacja ruchu kamerami z sensorami głębi Kinect 2 oraz Kinect Azure, działającymi z systemem iPi Recorder oraz iPi Studio; 
• edycja materiału filmowego (program Blackmagic DaVinci Resolve Studio z konsolą Speed Editor); 
• analiza ruchów ciała (system iPi BioMech); 
• infrastruktura informatyczna: gromadzenie, przechowywanie i udostępnianie danych i metadanych: CorpusMINI. 

Korpus multimodalny MultiCo

• Zbiór nagrań audio i wideo wraz z anotacją wypowiedzi obejmującą transkrypcję i opis wybranych elementów gestykulacji 
• Korpus MultiCo jest złożony z trzech sekcji: 
  • MULTICO Perswazja – mowy perswazyjne, czyli np. przemówienia o charakterze motywacyjnym wygłoszone podczas konferencji TEDx lub przemówienia sejmowe  
  • MULTICO Zadanie – dialogi zadaniowe oparte na specjalnie opracowanych zadaniach, które wymagają aktywności i zaangażowania obojga mówców 
  • MULTICO Sport – polilogi, czyli rozmowy w studiu telewizyjnym na temat sportu 
• Około 15 godzin materiału filmowego, przetranskrybowanego ortograficznie, z dodatkowym opisem wielowarstwowym, obejmującym m.in. transkrypcję fonematyczną (wraz z segmentacją), znaczna część opisana w kategoriach gestu lub ruchu (np. granice fraz gestowych dla gestów rąk, ruchy głowy). 

Adresaci usług laboratorium MultiCo

• osoby zawodowo zajmujące się wystąpieniami publicznymi (analiza skuteczności dostępnych środków retorycznych; wzmocnienie własnego potencjału perswazyjnego); 
• osoby prowadzące szkolenia z zakresu komunikacji interpersonalnej; 
• managerowie pragnący przeanalizować i poprawić procesy komunikacyjne w firmie; 
• twórcy awatarów – animowanych postaci, stanowiących element interfejsu użytkownika systemów komputerowych (np. przewodnik w muzeum lub sprzedawca biletów na dworcu kolejowym); 
• producenci systemów rozpoznawania mowy i systemów dialogowych; 
• naukowcy zainteresowani językiem mówionym oraz udziałem mimiki i gestykulacji w komunikacji językowej (np. lingwiści, fonetycy, psycholodzy, socjolodzy); 
• służby odpowiedzialne za bezpieczeństwo, w tym policja: ekspertyzy oparte na analizie sygnału mowy w połączeniu z analizą sposobu poruszania się mówcy; 
• artyści zainteresowani wykorzystaniem rejestracji, przetwarzania, syntezy i analizy mowy; 
• artyści zainteresowani wykorzystaniem analizy i rekonstrukcji ruchu. 

Koordynator modułu infrastruktury i dane kontaktowe
prof. UAM dr hab. Maciej Karpiński (maciej.karpinski@amu.edu.pl)

Wywiad z koordynatorem modułu w Życiu Uniwersyteckim UAM
https://uniwersyteckie.pl/nauka/prof-karpinski-dariah-pl-multico-na-swiatowym-poziomie