Monitory wielkoformatowe są nie tylko jedną z metod prezentacji wysokiej jakości obrazu o pokaźnej przekątnej, ale również uniwersalnym narzędziem interaktywnym. Dzięki różnorodnym technologiom dotyku parowanym z matrycami i panelami, użytkownicy otrzymują dużą płaszczyznę, która może posłużyć do wprowadzania adnotacji, może być urządzeniem końcowym umożliwiającym sterowanie określonym interfejsem, a nawet może posłużyć do wyświetlenia interaktywnych gier czy aplikacji, którymi również będziemy sterowali za pomocą dotyku. Zespół specjalistów z Politechniki Białostockiej we współpracy z firmą iMedia Joanna Sawicka stworzył właśnie zupełnie nowy rodzaj monitora dotykowego z niedostępną wcześniej funkcjonalnością.
Technologie dotykowe w ekranach wizyjnych bazują głównie na nakładkach pojemnościowych, rezystancyjnych lub ultradźwiękowych. Z jednej strony zastosowanie nakładki dotykowej daje możliwość użycia jej na różnych ekranach, z drugiej jednak ogranicza właściwości optyczne wyświetlacza i multiplikuje różne technologie. Powstała więc koncepcja zaprojektowania i zbudowania rozwiązania wyłącznie optycznego, niewrażliwego na pola elektromagnetyczne, które będzie dodatkowo mieć niespotykaną funkcję skanowania obrazów na całej powierzchni ekranu. To wyzwanie technologiczne zostało zrealizowane przez zespół specjalistów z Politechniki Białostockiej oraz firmę iMedia Joanna Sawicka.
Opracowując OPTITOUCH, przeanalizowano wiele rozwiązań konwencjonalnych i ogólnie dostępnych. Podstawowym problemem było uzyskanie multidotyku (powyżej 10 punktów) w implementacji o przekątnych powyżej 40”. Dodatkowo wyeliminowano problem zagłębienia ekranu, ze względu na stosowanie nakładek dotykowych. W OPTITOUCH technologia dotyku optycznego jest wbudowana w matrycę ciekłokrystaliczną, a wyświetlacze o dowolnych rozmiarach mogą być niemal „bezszwowo” łączone ze sobą, tworząc wielkoformatowe obrazy o rozdzielczości ograniczonej zastosowaną technologią ekranu ciekłokrystalicznego. Opracowane rozwiązanie polega bowiem na dekompozycji „wafla” matrycy, uzbrojeniu go w dodatkowe warstwy odpowiadające za optyczną detekcję dotyku i obrazu.
Zastosowana koncepcja ekranu IR jest innowacyjna. Po dłuższych krawędziach szkła wprowadzono promieniowanie podczerwone. Zrezygnowano z umieszczania sensorów IR w krawędziach, natomiast sensorami podczerwieni stały się kamery cyfrowe o rozdzielczości powyżej 5MPx, współpracujące z systemem mikrokomputerowym RaspberryPi. Kamery rejestrują obraz w podczerwieni, a analiza obrazu pozwala określić, w którym miejscu nastąpił dotyk do ekranu, jak jest silny, a dodatkowym atutem takiego rozwiązania jest możliwość rejestracji dowolnego obrazu, dekodowanie tagów czy kodów QR.
Głównym elementem stołu multimedialnego odpowiedzialnym za detekcję dotyku jest matryca dwunastu szerokokątnych kamer CCD. Sygnał z każdej z kamer jest przetwarzany przez mikrokomputer RaspberryPI. Rozmieszczenie matrycy kamer przedstawiono na rysunku 1. Kąt obserwacji kamer dobrano w taki sposób, aby pola pomiarowe sąsiednich kamer dublowały się. Eliminuje to występowanie tzw. „martwych stref”, w których detekcja dotyku na powierzchni stołu nie jest możliwa. Dodatkowo takie rozwiązanie pozwala na ograniczenie zniekształceń obrazu, występujących przy granicach pól obserwacji kamer.
Rozmieszczenie modułów oświetleniowych oraz kamer CCD wewnątrz stołu multimedialnego.
Skomplikowany układ elementów
Schemat blokowy układu sterowania stołem multimedialnym pokazano na rysunku 2. Jego głównymi elementami są bloki oświetlająco-detekcyjne. Pojedynczy blok składa się ze sterownika, bazującego na mikrokomputerze RaspberryPi, kamery szerokokątnej, driverów LED IR (podczerwonych) i W (światło białe z możliwością uzyskania wysokiego odwzorowania barw) oraz oświetlaczy podczerwieni oraz światła białego. W całym stole multimedialnym zastosowano dwanaście takich modułów ułożonych w konfiguracji 3 na 4. Dodatkowy układ RaspberryPi odpowiada za kontrolę podświetlania pola skanowania oraz odczyt danych z kamery skanera. Wszystkie układy sterujące połączone są w sieć lokalną i nadzorowane przez komputer stacjonarny z dedykowanym oprogramowaniem.
Schemat blokowy układu sterowania stołem multimedialnym: 1 – główny sterownik sekcji, 2 – kamera CCD, 3 – sterownik LED IR, 4 – sterownik LED W, 5 – oświetlacz LED IR, 6 – oświetlacz LED W, 7 – switch internetowy, 8 – sterownik kamery skanera, 9 – sterownik podświetlenia pola skanowania, 10 – kamera skanera, 11 – komputer PC.
Montaż oświetlacza IR: 1 – dioda LED IR, 2 – przytka drukowana, 3 – listwa montażowa, 4 – szyba zewnętrzna, 5 – matryca LCD, 6 – szyba nośna.
Zewnętrzną warstwę wafla optycznego stanowi szyba o niskim współczynniku tłumienia promieniowania z zakresu bliskiej podczerwieni i specjalnie dobranym składzie chemicznym. Stanowi ona pewnego rodzaju niskostratny światłowód planarny, wewnątrz którego następuje propagacja promieniowania podczerwonego emitowanego przez diody IR umieszczone przy krawędziach stołu – rysunek 3. Wykorzystujące zjawisko całkowitego wewnętrznego odbicia promieniowanie IR rozchodzi się w całej objętości szyby. Pod warstwą światłowodzącą umieszczono matrycę LCD, dopowiadającą za wyświetlanie obrazów na powierzchni stołu. Przeprowadzone badania wykazały, że dla promieniowania z zakresu podczerwieni jest niemal przezroczysta, niezależnie od stopnia wysterowania. Ostatnią warstwę stanowi szyba nośna z naniesioną warstwą rozpraszającą światło białe pochodzące z oświetlaczy umieszczonych na spodzie stołu.
Rozproszenie promieniowania IR na powierzchni warstwy światłowodzącej: 1 – palec użytkownika, 2 – promieniowanie IR, 3 – warstwa światłowodząca, 4 – matryca LCD, 5 – szyba nośna, 6 – promieniowanie odbite od obiektu, 7 – szerokokątna kamera CCD, 8 – płytka drukowana oświetlacza światła białego.
Wykrycie dotyku na powierzchni stołu realizowane jest przez wykrycie plamy światła podczerwonego, która pojawia się w miejscu nacisku przez użytkownika. Wynika to z faktu zmiany warunków całkowitego wewnętrznego odbicia światła w miejscu nacisku. W tym miejscu promieniowanie ulega rozproszeniu we wszystkich kierunkach. Cześć tego światła emitowana jest w kierunku matrycy kamer CCD, które dzięki zastosowaniu filtrów optycznych są czułe na promieniowanie z tego zakresu widmowego. Jedną z zalet tego systemu jest możliwość oszacowania siły nacisku na podstawie rozmiaru plamy świetlnej. Większa siła nacisku powoduje powiększenie się tej plamy, co jest interpretowane przez oprogramowanie jako nacisk o większej sile.
Aktywny wskaźnik IR: 1 – pakiet akumulatorów, 2 – przycisk, 3 – miejsce montażu układu sterującego, 4 – dioda IR.
Akcesoria dodatkowe
Jednym z akcesoriów współpracujących ze stołem multimedialnym jest aktywny długopis LED. Pozwala on na sterowanie całym urządzeniem nawet w przy wysokich poziomach natężenia oświetlenia. Jego głównym elementem jest wąskokątowa dioda LED emitująca promieniowanie z zakresu bliskiej podczerwieni. Długopis zasilany jest akumulatorem o pojemności 2000 mAh, co pozwala na jego użytkowanie przez kilkanaście dni bez potrzeby ładowania. Pomiary wykazały, że matryca LCD przepuszcza światło podczerwone o długości fali >750 nm (wykres z wynikami), co umożliwia umieszczenie odbiornika promieniowania podczerwonego pod powierzchnią matrycy. Jednak zastosowanie pojedynczego odbiornik prowadziłoby do konieczności widzenia matrycy w kącie ponad 160 stopni, co praktycznie uniemożliwia poprawne działanie takiego systemu na krawędziach ekranu. W tej sytuacji zaproponowano rozwiązanie modułowe. Jeden moduł obejmuje swoim zakresem działania cześć ekranu, liczba modułów może zostać dobrana do danej wielkości ekranu i głębokości urządzenia, dzięki czemu rozwiązanie takie nie wprowadza ograniczeń co do wielkości ekranu projektowanego urządzenia.
Zaproponowane moduły składają się z:
• płytki drukowanej z białymi diodami świecącymi w celu podświetlenia ekranu LCD światłem widzialnym, niezbędnym dla jego pracy,
• kamery podczerwonej,
• mikrokomputera jednopłytkowego Raspberry Pi 3B+.
Prócz tego w konstrukcji stołu wykorzystano płytę główną komputera PC jako główny komputer zarządzający funkcjami stołu. Mikrokomputery Raspberry Pi komunikują się pomiędzy sobą i z komputerem głównym poprzez lokalną sieć Ethernet, wykorzystując protokół UDP. W tym celu jednym z elementów stołu jest 16-portowy przełącznik Gigabit Ethernet.
W zakresie działania systemu zarządzającego i sterującego pracą OPTITOUCH narzucono następujące założenia dotyczące algorytmu wykrywania punktów dotyku:
• aby zapewnić płynne działanie urządzenia, czas wykrycia punktów dotyku powinien być jak najkrótszy,
• urządzenie powinno być odporne na zaniki napięcia zasilającego i przypadkowe wyłączenie.
Założenie drugie jest trudne do spełnienia dla mikrokomputerów Raspberry Pi, pracujących pod kontrolą systemu operacyjnego z jądrem Linux: podczas przypadkowego wyłączenia łatwo dochodzi do uszkodzenia systemu plików na karcie microSD, stanowiącej pamięć masową tego mikrokomputera. W związku z tym zastosowano środowisko Ultibo (www.ultibo.org), które tworzy kod dla Raspberry Pi, pracujący bez systemu operacyjnego. Odczyt z karty pamięci wykonywany jest tylko raz, przy uruchomieniu urządzenia, po czym karta ta nie jest już używana i system nie wymaga zamykania.
Założenie pierwsze eliminuje rozwiązania oparte o kamery z interfejsem USB. Proces kompresji, transmisji i dekompresji obrazu zajmuje czas i wprowadza zakłócenia do obrazu. Opracowane algorytmy korzystają z kamer podłączonych za pomocą magistrali CSI i nieskompresowanych danych z kamery. Opracowany prototyp stołu zawiera 12 modułów. Kąt widzenia kamer wymagany do objęcia zasięgiem odpowiedniej części ekranu wynosi ok. 106 stopni, jednakże dla zapewnienia poprawnej pracy pola widzenia poszczególnych kamer powinny się częściowo pokrywać. Zastosowano szerokokątne obiektywy o kącie widzenia ok. 170 stopni. Algorytm wyszukiwania punktów dotyku, pracujący na mikrokomputerze Raspberry Pi, składa się z następujących elementów:
• pobranie obrazu z kamery,
• redukcja zniekształceń geometrycznych,
• usunięcie stałego obrazu tła,
• odnalezienie punktów dotyku,
• konwersja współrzędnych odnalezionych punktów do współrzędnych matrycy,
• wysłanie danych do komputera głównego.
Ze względu na konieczność zapewnienia jak najmniejszych opóźnień, część procedur została napisana w języku asemblera. Redukcja zniekształceń geometrycznych jest niezbędna ze względu na zastosowane szerokokątne obiektywy. W celu uniknięcia konieczności obliczania funkcji trygonometrycznych, funkcja wykonująca to zadanie korzysta z predefiniowanej tablicy. Współczynniki zawarte w tej tablicy zostały przygotowane za pomocą programu napisanego na komputer PC. W celu usunięcia obrazu nieruchomego tła program liczy ruchomą średnią z dużej liczby (128-512) klatek – wartość wspomnianej stałej może być dostrojona w celu uzyskania jak najlepszych rezultatów pracy procedury. Tak otrzymany obraz stałego tła odejmowany jest następnie od bieżącej klatki odebranej z kamery. W rezultacie tej operacji otrzymujemy obraz, w którym na ciemnym tle widoczne są jasne punkty dotyku. Punkty dotyku odnajdywane są za pomocą procedury, która na podstawie eksperymentalnie ustalonych wartości parametrów, takich jak jasność i rozmiary danego obszaru, określa, czy ekran został dotknięty w danym punkcie. Procedura konwersji współrzędnych dokonuje jednocześnie redukcji zniekształceń trapezowych, spowodowanych niedokładnym montażem kamery. W celu określenia parametrów tej procedury niezbędne jest przeprowadzenie kalibracji stołu po jego montażu. Wyniki otrzymane dzięki procedurze kalibracji przeliczane są następnie na dane zapisywane w tablicy. Zastosowanie asemblera i tablic pozwalających uniknąć pracochłonnych obliczeń pozwoliło na osiągnięcie czasu przetwarzania jednego obrazu nie przekraczającego 30 milisekund. Dalsze obniżenie czasu działania możliwe będzie po zastosowaniu Raspberry Pi w wersji 4. Ma ona ok. trzykrotnie wydajniejszy procesor, jednakże w czasie projektowania stołu nie było jeszcze dostępne dla tej wersji środowisko Ultibo.
Stół multimedialny jako skaner? To możliwe!
Projektowany stół ma również moduł skanera. Moduł ten obsługiwany jest przez zestaw składający się z mikrokomputera Raspberry Pi, oświetlacza światłem widzialnym i kamery. Obiektyw kamery dobrano tak, aby obejmowała ona swym polem widzenia kartkę formatu A4. Na żądanie komputera głównego pobierany jest obraz z kamery, po czym wysyłany jest on do komputera głównego. W tym przypadku nie ma potrzeby optymalizowania czasu działania procedur i odpowiedni kod został napisany w języku Python.
Jednym z założeń konstrukcyjnych projektowanego stołu było rozpoznawanie położonych na nim, w dowolnym miejscu, obiektów (tagów) opatrzonych kodem, np. QR. Podstawowym problemem w realizacji tej funkcji była matówka, umieszczona pod matrycą, a niezbędna do jej pracy. Matówka ta rozprasza obraz widziany przez kamery. Nie ma to większego znaczenia podczas wykrywania punktów dotyku ale ogranicza rozdzielczość: pojedyncze kwadraty kodu muszą mieć bok o długości co najmniej 3 mm. Drugim problemem jest wynikający z założeń konstrukcyjnych brak oświetlenia podczerwonego wychodzącego poza powierzchnię stołu.
Przeprowadzono analizę kontrastu dynamicznego (statycznego), bezpieczeństwa fotobiologicznego źródła światła oraz pomiar natężenia oświetlenia (równomierność i średnia luminancja) zgodnie z wymaganiami norm ISO 9241-303:2011 oraz ISO 9241-305:2008. Wyświetlana szachownica, białe tło oraz czarne tło (rys. 4.10. i 4.11.). Wyniki luminancji powierzchni ekranu MEDTable wykonane za pomocą matrycowego miernika luminancji (tabela 4.1.).
Rys. 4.10. Rozkład luminancji ekranu MEDTable
Tabela 4.1. Kontrast luminancji ekranu
Średnia luminancja pola białego: 191,2 cd/m2
Średnia luminancja pola czarnego: 0,3178 cd/m2
Rys. 4.11. Rozkład luminancji matrycy przy maksymalnym i minimalnym wysterowaniu podświetlenia
Oprócz powyższych zadań, wykonano badania wytrzymałościowe konstrukcji nośne, za pomocą dedykowane oprogramowanie np. SolidWorks projektowanej obudowy gotowego produktu jak również jego elementów składowych takich jak rama nośna matrycy LCD, rama wspomagająca układu kamer i układu podświetlenia, celem ich optymalizacji pod względem jakościowym i wytrzymałościowym z uwzględnieniem wyglądu gotowego produktu.
W celu rozwiązania powyższych problemów zastosowano dodatkowe oświetlacze podczerwone zamontowane wewnątrz stołu. Oświetlacze te mogą zostać włączone po wykryciu obiekty, który mógłby być kodem QR. Pozwala to na pobranie obrazu obiektu i jego dalszą analizę, przetestowano tagi zaopatrzone we własne źródło światła.
Funkcjonalność stołu pozwala na zastosowanie go na przykład w:
– placówkach medycznych: niezależne rozpoznawanie punktów dotyku przez każdy moduł pozwala np. na jednoczesną pracę ze stołem przez lekarza i pacjenta siedzących po przeciwnych jego stronach,
– placówkach handlowych w celu tworzenia wielkopowierzchniowych interaktywnych ekranów reklamowych: modułowa konstrukcja pozwala na stosowanie ekranów o dowolnej wielkości, także złożonych z wielu matryc,
– placówkach edukacyjnych: obsługa pisaków i tagów pozwala na tworzenie aplikacji edukacyjnych i gier planszowych,
– biurach: stół dotykowy pozwala na obsługę interaktywnych formularzy, zaś wbudowany moduł skanera pozwala na skanowanie dokumentów papierowych.
Płaska, wykonana ze szkła powierzchnia stołu pozbawiona elementów aktywnych umożliwia bezproblemowe czyszczenie i sterylizację stołu.
tekst: Łukasz Budzyński, Piotr Kardasz, Damian Tyniecki i Maciej Zajkowski, Przemysław Piątek
Zdjęcia: iMedia
nr WND-RPPD.01.02.01-20-0106/17 pt. „OptiTouch MEDtable – innowacyjny produkt dla sektora medycznego firmy IMEDIA” objętego umową o dofinansowanie nr UDA-RPPD.01.02.01-20-0106/17-00 z dnia 31.07.2018r.
Regionalny Program Operacyjny Województwa Podlaskiego na lata 2014-2020
Oś Priorytetowa I Wzmocnienie potencjału i konkurencyjności gospodarki regionu
Działanie 1.2 Wspieranie transferu wiedzy, innowacji, technologii i komercjalizacji wyników B+R oraz rozwoju działalności B+R w przedsiębiorstwach
Poddziałanie 1.2.1 Wspieranie transferu wiedzy, innowacji, technologii i komercjalizacji wyników B+R oraz rozwój działalności B+R w przedsiębiorstwach
Projekt współfinansowany przez Unię Europejską w ramach Regionalnego Programu Operacyjnego Województwa Podlaskiego na lata 2014-2020
