Najprostszym i najskuteczniejszym sposobem, aby wirtualnie przenieść odbiorcę do innej przestrzeni lub otoczyć go wygenerowanym komputerowo otoczeniem, są zazwyczaj okulary VR lub AR i słuchawki z binauralnym materiałem dźwiękowym. Jest to łatwe zadanie, gdy mówimy o jednym, ewentualnie kilku odbiorcach, co jednak, gdy przekaz ma być adresowany równocześnie do kilkuset lub kilku tysięcy osób? Tutaj z pomocą przychodzą projektory, projekcja 3D czy ekrany LED o wysokiej rozdzielczości. Jednak nawet bez obrazu, już sam dźwięk dobiegający z różnych kierunków potrafi sugestywnie przenieść słuchacza zgodnie z intencją twórcy i dać pozory przebywania w zupełnie innej przestrzeni. Jednak aby osiągnąć taki efekt, potrzebne są odpowiednie narzędzia. Systemy 5.1 czy 7.1 to doskonałe rozwiązania do domowego centrum rozrywki czy profesjonalnej sali kinowej, jednak na rynku są dostępne lepsze rozwiązania, które sprawią, że słuchacz zapomni o głośnikach i usłyszy tylko dźwięk dobiegający z różnych kierunków. Jednym z takich profesjonalnych narzędzi o olbrzymich możliwościach jest system dźwięku immersyjnego TiMax. Od połowy maja jego dystrybutorem została firma ESS Audio i jest to doskonała okazja, aby porozmawiać z jednym z twórców systemów i managerów pracujących nad wdrażaniem go do nowych projektów i rozwojem platformy, Davem Haydonem. Opowiedział nam on, jakie możliwości daje TiMax i dlaczego to doskonałe rozwiązanie nie tylko dla klasycznej sceny teatralnej, operowej czy musicalowej, ale także sklepu, wystawy czy wydarzeń na żywo.
Przez wiele lat system dźwięku immersyjnego TiMax kojarzył się w naszym kraju przede wszystkim z rynkiem teatralnym, sceną musicalową i zastosowaniami w przemyśle kultury. Wynika to głównie z faktu, że pierwsze wdrożenia tego narzędzia miały miejsce w Teatrze Studio czy Teatrze Roma, gdzie głównym jego zadaniem było zanurzenie całej widowni w wielokanałowym dźwięku i tworzenie efektów takich jak przejazd samochodu, przelot samolotu czy zainscenizowanie krążącego dookoła głowy helikoptera. Ale na tworzeniu przestrzennych efektów w trakcie produkcji operowych, musicalowych czy spektakli możliwości systemu TiMax się nie kończą, to dopiero początek! Czym zatem jest system, który stał się przedmiotem naszej rozmowy? TiMax to wielofunkcyjny immersyjny system dźwięku przestrzennego. Umożliwia on nie tylko tworzenie efektów przestrzennych czy kreowanie wirtualnej przestrzeni dźwiękowej, ale także pozwala na przestrzenne miksowanie, tworzenie immersyjnych systemów dźwiękowych, śledzenie wykonawcy, prezentera czy prelegenta, odtwarzanie zapisanych efektów dźwiękowy i muzyki czy sterowanie innymi systemami np. oświetleniem, projekcją czy multimediami wyświetlanymi na ekranach LED.
Sercem systemu jest serwer TiMax SoundHub Spatial Audio, który może przyjąć zarówno sygnały analogowe, MADI oraz Dante, może być sterowany za pomocą najpopularniejszych protokołów takich jak MIDI, MTC, OSC, UDP/XML i GPIO, pozwala na tworzenie kolejek zdarzeń odtwarzanych zgodnie z zapisanym harmonogramem, a także może być w łatwy sposób integrowany z zewnętrznymi systemami takimi jak Crestron, AMX, QSys czy Medialon oraz może współpracować z najpopularniejszymi wielośladami jak QLab, Ableton czy Pro Tools. Trochę fizyki.
System TiMax bazuje na tak zwanym pierwszeństwie lub prawie pierwszej fali, czyli psychoakustycznym efekcie, który tworzy się dzięki posiadanej przez człowieka parze uszu. Gdy po pierwszym dźwięku następuje drugi, inny dźwięk, oddalony w wystarczająco krótki opóźnieniu, słuchacz jest w stanie wskazać jego położenie przestrzenne (dzięki relacji pomiędzy tymi dwoma dźwiękami), a więc lokalizację, z której dotarł dźwięk. Jest to zjawisko często utożsamiane z efektem Haasa.
I to właśnie zjawisko stało się sercem systemu TiMax. Jednak, co warte podkreślenia, to zjawisko jest tylko zauważalne w wąskim paśmie opóźnienia mieszczącym się w zakresie od około 10 ms do 25 ms. Opóźnienia między dźwiękami poniżej 10 ms powodują problemy fazowe i efekt grzebieniowy, a powyżej 25 ms coś, co słuchacze rozpoznają jako echo.
Równie ważne w przypadku opisywanego systemu jest również to, że druga fala (drugi dźwięk tworzący tę relację) musi być o 6-8 dB głośniejszy niż pierwszy, aby efekt był sugestywny.
O to, aby zjawisko to zachodziło w procesorze w odpowiedni sposób, dbają bardzo zaawansowane układy FPGA, odpowiadające za przetwarzanie sygnałów Dante, odtwarzanie zapisanych materiałów dźwiękowych, cały processing, przetwarzanie algorytmów, które umożliwią pozycjonowanie źródeł sygnału w wirtualnej przestrzeni bez ingerencji w brzmienie, a wkrótce również pozwolą na tworzenie wielokanałowych pogłosów czy pracę z sygnałami w jakości 96 kHz.
Jak zatem ta cała wiedza fizyczna została zamieniona w zrozumiały nie tylko dla doktora fizyki interfejs? Użytkownik ma do dyspozycji kilka narzędzi, które ułatwiają konfigurację i przygotowanie całego systemu do pracy, pozwalają na umieszczanie wirtualnych obiektów w przestrzeni i tworzenie dźwiękowych efektów 3D i miksowanie w wirtualnej przestrzeni dźwiękowej. Pierwszym z nich jest PanSpace AutoCalc, który pozwala na zaimportowanie planu nagłaśnianej przestrzeni, wprowadzenie i zdefiniowanie głośników wchodzących w skład systemu, przeprowadzenie obliczeń całego układu i wprowadzenie źródeł wejściowych do umieszczenia w przestrzeni. TiMax PanSpace umożliwia ułożenie poszczególnych obiektów dźwiękowych już w wielowymiarowej przestrzeni oraz wprowadzenie ruchu, np. w przypadku obiektów, które mają się przemieszczać (przelatujący statek kosmiczny, przepływająca motorówka czy przelatujące ptaki). TiMax PanSpace współpracuje z narzędziem o nazwie TiMax TimeLine, dzięki któremu można wszystkie zdarzenia zapisywać na osi czasu (przypominającej klasyczny wieloślad DAW) i edytować całe zaprogramowane show.
Dodatkowo, do dyspozycji mamy również mikser umożliwiający tworzenie grup, zarządzanie poziomem sygnału, włączanie i wyłączanie poszczególnych źródeł, wprowadzanie korekcji, a także okno, w którym możemy przygotować dotykowy panel sterowania bazujący na protokole OSC, który następnie możemy wyeksportować i sterować z jego pomocą całym systemem z poziomu iPada. Ponadto producent ma w swojej ofercie współpracujący z serwerem system trackerów TiMax TrackerD4, które bez dotykania przez użytkownika okna TiMax PanSpace pozwalają na śledzenie pozycji w przestrzeni wokalisty, prezentera czy prelegenta i dystrybuowanie jego głosu w otaczającej widzów przestrzeni dźwiękowej.
Możliwości zastosowania systemu TiMax? Praktycznie nieograniczone, o czym mogą świadczyć referencyjne instalacje z bardzo różnych obszarów, do których już wdrożony został w przeszłości system TiMax. Zaczynając od tych najbardziej oczywistych, narzędzie było wykorzystywane w trakcie produkcji takich oper w Royal Albert Hall jak Madame Butterfly, Carmen, Aida czy Tosca, na słynnej leśnej scenie Waldbuhne w Berlinie, w trakcie Expo w Mediolanie, dla potrzeb plenerowych Musicali Thunersee w latach 2008-2018, gdzie wystawiane były musical Jesus Christ Superstar, Titanic czy Koty, ale system TiMax pracuje również w National Gallery w Londynie, w instalacji multimedialnej „Fremont Street” w Las Vegas, w immersyjnej instalacji multimedialnej „Batman: Knight Flight” w parku rozrywki Warner Bros w Abu Dhabi, w częściach widowiskowych na wielu największych i najbardziej luksusowych statkach wycieczkowych, ale także był wykorzystywany w mniej oczywistych instalacjach np. w trakcie targów motoryzacyjnych we Frankfurcie czy Detroit na stoiskach firm Jeep, Dodge, Forde, Range Rover, Jaguar, Porsche, VW czy Rolls Royce. Jak narodził się system TiMax? Jakie są jego możliwości i przewaga nad innymi rozwiązaniami dostępnymi na rynku i jak będzie wyglądał rozwój platformy oraz czego możemy spodziewać się w najbliższym czasie? O tym wszystkim specjalnie dla czytelników magazynu „AVIntegracje” opowiada jeden z twórców systemu, Dave Haydon.
Łukasz Kornafel, „AVintegracje”: Jaka była główna koncepcja przyświecająca stworzeniu systemu TiMax i na jakie potrzeby odbiorców miał on odpowiedzieć?
Dave Haydon, TiMax: To, co dzisiaj znamy jako system TiMax, jest bardzo rozwiniętą i zmodernizowaną koncepcją stworzoną wiele lat temu przez firmę Out Board. Tak naprawdę urządzenie miało swój debiut już 20 lat temu. Wtedy głównym rynkiem sprzedaży tego rozwiązania były teatr, teatry muzyczne, opery, a więc wszystkie te instalacje, w których system miał sprawić, że głos aktora czy wokalisty będzie dochodził dokładnie z tego kierunku, jak życzyliby sobie twórcy produkcji. Dzisiaj jest to już standardem w tych przestrzeniach. To, co nas wyróżniało, to fakt, że od początku widzieliśmy, że pozycjonowanie w obrazie stereo wykonawcy tylko z pomocą zmiany poziomów głośności kanałów nie da oczekiwanych rezultatów dla wszystkich słuchaczy siedzących na widowni. W takim wypadku możliwe było tworzenie sugestywnego obrazu tylko dla jednego, określonego obszaru. Doszliśmy zatem do wniosku, że musimy wykorzystać możliwości, jakie dają opóźnienia. Jednak nie mogło to być pojedyncze opóźnienie, tak jak na przykład opóźnia się poszczególne strefy systemu nagłośnieniowego, ale musiała to być matryca opóźnień. I tym właśnie w najprostszych słowach jest system TiMax. Jednak wprowadzanie w sposób dynamiczny opóźnień dla poszczególnych sygnałów w wielu głośnikach, co wynika z fizyki, jest niemożliwe, ponieważ tworzą się artefakty wpływające na sam przekaz. Dlatego stworzyliśmy bardzo zaawansowane, specjalne algorytmy, które pozwoliły na transparentne manipulowanie czasami bez degradacji dźwięku i tworzenie naszych pozornych źródeł dźwięku lokalizowanych w wirtualnej przestrzeni dźwiękowej. Takie rozwiązanie pozwala zapomnieć o tym, że istnieją dookoła nas głośniki. Zmiana poziomów i opóźnień powoduje, że nie mamy już wrażenia, że dźwięk dociera do nas z określonego głośnika, ale z kierunku znajdującego się w wirtualnej przestrzeni dźwiękowej. Ostatnim etapem było stworzenie kompleksowego oprogramowania, który pozwoli na umieszczanie źródeł pozornych dźwięku, odtwarzanie przygotowanych wcześniej efektów czy muzyki, a także zapisywanie wszystkich zdarzeń w formie kolejki i wyzwalanie poprzez OSC, MIDI lub z pomocą kodu czasowego. System TiMax może być również z łatwością integrowany z najpopularniejszymi na rynku procesorami AV takich marek jak AMX czy Crestron.
Wkrótce opracowaliście również rozwiązanie umożliwiające śledzenie aktora, wykonawcy czy prezentera na scenie.
Tak, stworzyliśmy system śledzenia TiMax TrackerD4. Dzięki niemu bez dotykania oprogramowania przypisane do śledzenia źródła sygnału będą przemieszczały się automatycznie w przestrzeni dźwiękowej. System ten daje również pozycje umożliwiające śledzenie aktora z pomocą światła lub wideo.
Dzisiaj TiMax nie jest już tylko wykorzystywany do odpowiedniego lokalizowania w przestrzeni głosu aktora czy piosenkarza, ale użytkownicy wykorzystują go do wielu znacznie bardziej zaawansowanych zastosowań.
Dzisiaj najbardziej aktualnym trendem jest imersja dźwiękowa i możliwość zanurzenia odbiorcy w otaczającym go ze wszystkich stron dźwięku. Wciąż sugestywne i najbardziej naturalne przekazanie akustycznego brzmienia orkiestry czy zespołu jazzowego to jedna z możliwości, jakie daje system TiMax, jednak równie ważna jest możliwość kreowania przestrzeni i tworzenia sztucznego, wygenerowanego otoczenia dźwiękowego i np. wykreowanie przejeżdżającego harleya czy przelatującego dookoła nas helikoptera. Ciekawym przykładem jest nasze wdrożenie w Centrum Kosmicznym NASA na przylądku Canaveral. Tutaj nasz system został połączony z programem Pro Tools odtwarzającym miks 7.1. taki, jaki znamy z kina czy z systemów kina domowego. Każdy kanał dyskretny wchodzi do systemu TiMax jednak dalej nie jest on już przypisany do konkretnego głośnika, ale cały system głośników jest zmapowany w TiMaksie. Dzięki temu system 7.1, który już sam z siebie brzmi doskonale, w tej instalacji ma jeszcze wyższą rozdzielczość. Dzięki zaprogramowaniu odpowiednich poziomów i późnień udało się stworzyć system, w którym słuchacze mogą doświadczyć znacznie bardziej intymnego odsłuchu i doznać znacznie lepszych wrażeń bez względu na to, w jakim miejscu nagłośnionej z pomocą tego systemu przestrzeni się znajdują.
Wiele specjalistów poruszających się na rynku profesjonalnych systemów AV bardzo często pyta, jaka jest tak naprawdę różnica między systemami 5.1 czy 7.1 a systemem TiMax?
Pierwszą z różnic, o których nie można nie wspomnieć, jest sposób pozycjonowania obiektów w przestrzeni. W przypadku, nazwijmy je, konwencjonalnych systemów wielokanałowych, bazujących na kanałach dyskretnych najczęściej wykorzystywany jest joystick. W przypadku systemu TiMax obiekty w przestrzeni ustawiane są na ekranie komputera za pomocą myszy czy nawet z pomocą ekranu dotykowego, jeszcze łatwiej i jeszcze efektywniej. Systemy 5.1 czy 7.1 traktujemy bardziej jako medium do transportu stworzonego w studiu i zapisanego miksu, wcześniej fizycznie na skraju taśmy filmowej, dzisiaj na nośnikach cyfrowych. W przypadku TiMaksa dostajemy narzędzie do pracy z dźwiękiem, do kreowania.
Czy możecie się również pochwalić komercyjnymi wdrożeniami systemu TiMax np. w sklepach?
Tak, mamy kilka wdrożeń na rynku sklepowym. Mowa tutaj na przykład o bardzo dużym centrum handlowym w Londynie. We wszystkich znajdujących się tutaj częściach wspólnych zostały zainstalowane ekrany LED, którym towarzyszy odtwarzana immersyjna muzyka. Jednak nie jest to typowa muzyka pop, ale odtwarzany, wielościeżkowy materiał, mający za zadanie zanurzyć słuchaczy. W Ameryce w rozwiązania TiMax wyposażyliśmy również sieć sklepów komputerowych, które mają być nie tylko miejscem, w którym można kupić rozwiązania IT, ale miejscem spotkań i wspólnego spędzania czasu, gdzie ludzie chcą iść, bo jest tam super. Również tam połączyliśmy obraz wyświetlany na dużych ekranach LED z dźwiękiem immersyjnym. Mamy na koncie także wdrożenie w dużym sklepie z modą, gdzie z pomocą naszego systemu odtwarzane są dźwięki natury otaczające klientów w trakcie zakupów.
Bardzo ciekawym przykładem wdrożenia, znów dalekim od scen teatralnych czy musicalowych, jest instalacja w jednym z budynków ogromnej korporacji Deloitte skupiającej prawników i księgowych. Znajduje się tam duży kompleks konferencyjny o powierzchni czterdziestu metrów i wysokości dziewięciu metrów. Dzięki zastosowaniu systemu TiMax możliwe jest tam zarówno przeprowadzenie wideokonferencji, jak i lokalnej konferencji z prowadzącym przemieszczającym się po sali z mikrofonem. Korzystając z zestawu głośników zainstalowanych na suficie, możemy stworzyć tam każdy scenariusz wykorzystania sali i jej podziału.
W takim zastosowaniu nasz system śledzenia TrackerD4 może być wykorzystany, na przykład, do śledzenia przez kamery PTZ w trakcie wideokonferencji. To, co zawsze mówimy naszym klientom – projektantom systemów AV czy firmom nagłośnieniowym – to, że muszą oni porozmawiać ze swoimi klientami, czego tak naprawdę oni oczekują, gdy mówią: „potrzebujemy systemu immersyjnego”. Pierwszym wyzwaniem na etapie projektowania jest: „co tak naprawdę masz na myśli, mówiąc immersyjny?” Tak jak rozmawiamy, TiMax jest świetnym rozwiązaniem do wielu bardzo różnych instalacji i scenariuszy zastosowania. Korzystając z tego samego systemu, możemy delikatnie wzmocnić przekaz np. w przypadku produkcji operowych, gdzie nie chcemy słuchać systemu, ale wykonawców, możemy wykreować filmowy obraz muzyczny znany z filmów Disneya, a także potężne rockowe brzmienie czy zupełnie wymyśloną, wykreowaną, nierealną przestrzeń. Kluczowe jest tutaj precyzyjne określenie potrzeb.
Niezależnie od tego, czy mówimy o spektaklu, produkcji operowej, wystąpieniu delegata czy prezentacji, zadanie jest w każdym przypadku takie samo: skupienie uwagi odbiorców i zatrzymanie jej na przekazywanych treściach tak długo jak to tylko możliwe.
Jakie elementy są potrzebne aby wdrożyć system TiMax w instalacji stałej?
My zawsze sugerujemy, aby prace rozpocząć od narysowania przestrzeni, z góry, z dołu i z boku. Następnie należy określić skąd, z jakich kierunków ma dobiegać dźwięk do odbiorców, jaki materiał będzie odtwarzany z pomocą systemu i co chcemy stworzyć: realną czy zupełnie odrealnioną przestrzeń. To wszystko zdeterminuje liczbę koniecznych do zastosowania kolumn głośnikowych, ich wielkość czy miejsca ich lokalizacji. Oczywiście rosnąca liczba głośników powoduje również wzrost rozdzielczości całego systemu.
Czy z możliwości systemu TiMax można korzystać również w trakcie eventów firmowych realizowanych na żywo?
Oczywiście! Wydarzenia korporacyjne, prezentacje produktów, prezentacje marki czy targi motoryzacyjne to sytuacje, w których idealnie sprawdzi się system TiMax.
Na przykład w trakcie targów w Detroit dostarczyliśmy system TiMax dla każdej z wystawiających się tam marek, tworząc na każdym ze stoisk immersyjne środowisko dźwiękowe, różne dla każdego z wystawców. W trakcie eventów firmowych, stosując tylko jeden system, możemy zrealizować prezentację i część oficjalną, immersyjny pokaz produktu, a wieczorem show z muzyką na żywo, akrobatami czy aktorami i towarzyszącymi im przestrzennymi efektami dźwiękowymi.
Jaki będzie kierunek rozwoju platformy TiMax? Jakich nowych rozwiązań możemy spodziewać się w najbliższym czasie?
W przeszłości serwer TiMax nie miał wbudowanych własnych pogłosów. Do tej pory, gdy chcieliśmy wykreować przestrzeń, musieliśmy korzystać ze sprawdzonych, będących standardem rozwiązań pogłosowych takich jak Lexicon 960L, Bricasti czy TC Electronic. My stworzyliśmy rozwiązanie, dzięki któremu, zarządzając całym show, możemy również mieć bardzo precyzyjny wpływ na tworzone pogłosy. W każdym serwerze będzie można uruchomić cztery niezależne pogłosy, każdy z szesnastoma wyjściami. Dzięki temu będzie można z pomocą jednego urządzenia stworzyć kilka różnych pod względem pogłosu przestrzeni oraz mapować różne pozycje obiektów w przestrzeni dźwiękowej. To wszystko sprawi, że będziemy mogli przenosić słuchaczy w łatwy sposób z jednego otoczenia dźwiękowego do następnego. Dzięki temu będziemy mogli wyeliminować konieczność tworzenia pogłosów już na etapie produkcji materiału, a także do dyspozycji będziemy mieli znacznie bardziej elastyczne rozwiązanie niż klasyczny reverb stereo.
Rozmawiał:
Łukasz Kornafel, AVIntegracje
Zdjęcia:
TiMax
AVIntegracje