1 Touchless technology di era pandemi
Sebagai pandemi global, Covid-19 banyak memberikan dampak ke masyarakat baik dalam hal kesehatan maupun ekonomi. Saat ini, Indonesia termasuk ke dalam 20 besar negara di dunia dengan jumlah kasus Covid-19 terbanyak [1]. Dengan jumlah kasus yang saat ini sudah melebihi satu juta, kasus baru hariannya pun masih mengalami tren kenaikan [2]. Salah satu media penyebaran virus ini adalah permukaan benda yang biasa disentuh banyak orang, seperti gagang pintu, layar public display, dan sebagainya. Sebelum Covid-19 menyerang, dulu kita tidak pernah berpikir panjang untuk menyentuh alat-alat tersebut. Sekarang, banyak orang yang “parno” untuk menyentuh permukaan benda yang kemungkinan besar juga disentuh oleh orang lain. Oleh karena itu, dibutuhkanlah suatu teknologi di mana kita bisa mengendalikan suatu perangkat tanpa menyentuh permukaan yang juga disentuh oleh orang lain. Inilah yang dikenal sebagai
touchless technology. Touchless technology diharapkan menjadi new normal di masa depan [3]. Perusahaan- perusahaan yang bisnis utamanya sulit dikerjakan oleh karyawannya secara remote sangat membutuhkan teknologi ini dalam hal keselamatan dan kesehatan. Selain itu, dalam dunia perdagangan, sebuah survey juga dilakukan untuk melihat perilaku konsumen akibat pandemi Covid- 19. Semenjak virus ini menyerang, perilaku konsumen mulai bergeser ke arah kesehatan dan keselamatan, di mana 62% konsumen mengharapkan adanya touchless technology [4]. Karena itulah, topik touchless technology ini menjanjikan untuk dapat dikembangkan.
2 Apa itu touchless technology?
Touchless jika diterjemahkan ke dalam bahasa Indonesia artinya tanpa sentuhan. Touchless technology secara umum berarti teknologi yang memungkinkan kita untuk mengendalikan suatu alat tanpa harus menyentuhnya. Dalam touchless technology, suatu input bukan sentuhan (misalnya suara, gesture, gerakan fisik) ditangkap oleh sensor tertentu menjadi sebuah isyarat atau sinyal. Sinyal tersebut kemudian diolah dengan algoritme tertentu dan menghasilkan suatu perintah untuk mengendalikan perangkat. Contoh paling sederhana dari touchless technology adalah dalam bentuk human-computer interface, seperti camera-based gestures, proximityenabled screens, voice recognition, dan eye-tracking [5]. Dalam artikel ini akan dibahas tentang camera-based gesture dan eye-tracking.
3 Camera-based gesture
Tujuan utama dari deteksi gesture adalah mendapatkan sinyal yang akan diproses untuk mengendalikan suatu perangkat. Salah satunya adalah deteksi hand gesture (gerakan tangan). Deteksi hand gesture pada mulanya dilakukan dengan memakai sensor berbentuk sarung tan-
gan. Seiring dengan berkembangnya computer vision, deteksi hand gesture dilakukan dengan perangkat berbasis kamera. Salah satu contoh yang populer saat ini adalah Leap Motion Controller [6], sebuah perangkat yang berfungsi untuk hand tracking. Secara hardware, Leap Motion Controller terdiri atas dua buah kamera dan beberapa LED yang memancarkan sinar ultraviolet (UV). Sinar UV yang dipancarkan akan dipantulkan oleh tangan yang kemudian ditangkap oleh kedua kamera. Gambar-gambar yang diperoleh ini kemudian diolah dengan software beralgoritme tertentu yang nantinya akan digunakan untuk mengendalikan suatu perangkat. Penjelasan lebih detail dapat dilihat pada website Ultraleap [7].
Figure 1: Gambaran umum gaze tracking
Salah satu teknik interaksi manusia dengan perangkat berbasis hand tracking ini adalah airpush [8]. Dalam hal ini perangkat yang dimaksud adalah public display interaktif. Tangan dari user dideteksi dengan perangkat hand tracker, kemudian divisualisasikan sebagai kursor pada
layar. Untuk memilih atau “menekan” sebuah tombol, user mendekatkan jarinya ke layar tanpa menyentuhnya.
4 Eye tracking
Secara prinsip, eye tracking mirip dengan hand tracking. Yang berbeda hanya pada objek yang dideteksi dan dilakukan tracking. Secara hardware, eye tracker terdiri atas kamera dan LED yang memancarkan sinar infrared (IR). Fig. 1 memperlihatkan gambaran umum proses gaze tracking. Sebuah sensor, eye tracker, memancarkan sinar IR yang akhirnya dipantulkan oleh mata user. Pantulan tersebut ditangkap oleh kamera beresolusi tinggi. Algoritme pengolahan citra (image processing) digunakan untuk mengetahui lokasi pupil mata sekaligus memberikan informasi ke mana user melihat pada layar. Prinsipnya sama dengan hand tracking, sensor eye tracker mendeteksi gerakan mata kemudian divisualisasikan sebagai kursor pada layar. Lalu pertanyaannya adalah bagaimana cara “menekan” tombol kendalinya? Kalau pada teknik sebelumnya dicontohkan dengan air-push, bagaimana pada teknik eye tracking? Secara umum, teknik “menekan” pada interaksi berbasis gerakan mata ada tiga, yaitu teknik berbasis gerakan mata fiksasi, gaze gesture, dan teknik berbasis gerakan mata smooth pursuit [9]. Pemilihan objek dengan teknik berbasis gerakan mata fiksasi adalah teknik yang saat ini paling populer digunakan. Apa itu gerakan mata fiksasi? Gerakan mata fiksasi adalah kondisi di mana mata menatap sebuah objek yang diam dengan durasi tertentu, biasanya 200-300 ms. Jadi, pada teknik ini, tombol kendali sifatnya statis, tidak bergerak. Untuk “menekan” sebuah tombol, user perlu menatap tombol tersebut dengan durasi tertentu. Contoh paling umumteknik ini adalah Optikey[10], sebuah aplikasi keyboard untuk mengetik dengan gerakan mata.
Berbeda dengan teknik berbasis fiksasi, gaze gesture menggunakan serangkaian gesture mata untuk memberikan perintah pada aplikasi [11, 12]. Beberapa contoh penerapan gaze gesture adalah aplikasi bernama SideWays[13] dan GazeHorizon[14, 15]. Pada SideWays, ketika user melihat ke depan, aplikasi menginterpretasikan bahwa user sedang membaca konten yang ditampilkan. Ketika user melirik ke kanan atau ke kiri, SideWays menginterpretasikan adanya perintah untuk mengganti konten. GazeHorizon mirip dengan SideWays. GazeHorizon adalah sebuah public display dengan scrolling system yang menerapkan gaze gesture sebagai kendalinya. Ketika user melihat ke kanan, GazeHorizon akan scrolling kontennya ke kanan. Gambaran aplikasi ini dapat dilihat pada laman berikut ini [15]. Terakhir adalah teknik pemilihan objek berbasis gerakan mata smooth pursuit. Pertanyaannya sama, apa itu gerakan mata smooth pursuit? Kita tentunya pernah melihat pesawat yang sedang terbang di atas kita. Gerakan mata ketika kita mengikuti gerakan pesawat terbang itulah yang disebut sebagai smooth pursuit. Jadi, pada aplikasi berbasis gerakan mata smooth pursuit ini biasanya tombol kendalinya bersifat dinamis, bergerak dengan kecepatan tertentu yang masih bisa diikuti oleh mata manusia. Untuk “menekan” tombol yang kita inginkan, kita cukup mengikuti arah gerakan tombol tersebut. Penelitian [16, 17, 18, 19, 20, 21, 22, 23] dan aplikasinya juga cukup banyak, mulai dari interaksi spontan dengan public display[24], frog game[25], pemilihan cover pada CD musik[26], dan sebagainya.
References
[1] “Covid-19 coronavirus pandemic,”https://www.worldometers.info/coronavirus/#countries, accessed: 2021-02-08.
[2] “Covid-19 coronavirus pandemic,”https://www.worldometers.info/coronavirus/country/indonesia/, accessed: 2021-02-08.
[3] “A new normal: Touchless offices in the post-pandemic world,”https://www.workdesign.com/2020/05/a-new-normal-touchless-offices-in-the-post-pandemic-world/,accessed: 2021-02-08.
[4] “Covid-19 and the age of the contactless customer experience,”https://www.capgemini.com/us-en/research/covid-19-and-the-age-of-the-contactless-customer-experience/, accessed: 2021-02-08.
[5] “How touchless technology is taking over the new workplace,”https://www.proxyclick.com/blog/touchless-technology-in-the-new-workplace, ac-cessed: 2021-02-08.
[6] “Leap motion controller,”https://www.ultraleap.com/product/leap-motion-controller/, accessed: 2021-02-08.
[7] “How hand tracking works,”https://www.ultraleap.com/company/news/blog/how-hand-tracking-works/, accessed:
2021-02-08.
[8] “Air push: Mid–air interaction for touchless interfaces,”https://www.ultraleap.com/company/news/blog/touchless-interactions/, accessed:2021-02-08.
[9] Z. Zeng, F. W. Siebert, A. C. Venjakob, and M. Roetting, “Calibration-free gaze interfaces based on linear smooth pursuit,” Journal of Eye Movement Research, vol. 13, no. 1, p. 3,2020.
[10] “Communicate and control your computer using your eyes,”http://www.optikey.org/, accessed: 2021-02-08.
[11] H. Drewes and A. Schmidt, “Interacting with the computer using gaze gestures,” in IFIP Conference on Human-Computer Interaction. Springer, 2007, pp. 475–488.
[12] M. L. Dybdal, J. S. Agustin, and J. P. Hansen, “Gaze input for mobile devices by dwell and gestures,” in Proceedings of the Symposium on Eye Tracking Research and Applications. ACM, 2012, pp. 225–228.
[13] Y. Zhang, A. Bulling, and H. Gellersen, “Sideways: a gaze interface for spontaneous interaction with situated displays,” in Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. ACM, 2013, pp. 851–860.
[14] Y. Zhang, J. Müller, M. K. Chong, A. Bulling, and H. Gellersen, “Gazehorizon: enabling passers-by to interact with public displays by gaze,” in Proceedings of the 2014 ACM International Joint Conference on Pervasive and Ubiquitous Computing. ACM, 2014, pp. 559–563.
[15] “Gazehorizon: Enabling passers-by to interact with public displays by gaze (ubicomp’14),”https://youtu.be/zKsSeLvvsXU, accessed: 2021-02-08.
[16] M. Vidal, A. Bulling, and H. Gellersen, “Pursuits: spontaneous interaction with displays based on smooth pursuit eye movement and moving targets,” in Proceedings of the 2013 ACM international joint conference on Pervasive and ubiquitous computing. ACM, 2013,
pp. 439–448.
[17] M. Vidal, K. Pfeuffer, A. Bulling, and H. W. Gellersen, “Pursuits: eye-based interaction with moving targets,” in CHI’13 Extended Abstracts on Human Factors in Computing Systems. ACM, 2013, pp. 3147–3150.
[18] M. Vidal, A. Bulling, and H. Gellersen, “Pursuits: spontaneous eye-based interaction for dynamic interfaces,” GetMobile: Mobile Computing and Communications, vol. 18, no. 4, pp. 8–10, 2015.
[19] M. Khamis, L. Trotter, M. Tessmann, C. Dannhart, A. Bulling, and F. Alt, “Eyevote in the wild: do users bother correcting system errors on public displays?” in Proceedings of the 15th International Conference on Mobile and Ubiquitous Multimedia. ACM, 2016, pp.
57–62.
[20] M. Khamis, O. Saltuk, A. Hang, K. Stolz, A. Bulling, and F. Alt, “Textpursuits: using text for pursuits-based interaction and calibration on public displays,” in Proceedings of the 2016 ACM International Joint Conference on Pervasive and Ubiquitous Computing. ACM, 2016,
pp. 274–285.
[21] M. Khamis, F. Alt, and A. Bulling, “A field study on spontaneous gaze-based interaction with a public display using pursuits,” in Adjunct Proceedings of the 2015 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2015 ACM
International Symposium on Wearable Computers. ACM, 2015, pp. 863–872.
[22] H. Drewes, M. Khamis, and F. Alt, “Dialplates: enabling pursuits-based user interfaces with large target numbers,” in Proceedings of the 18th International Conference on Mobile andUbiquitous Multimedia, 2019, pp. 1–10.
[23] S. Wibirama, S. Murnani, and N. A. Setiawan, “Spontaneous gaze gesture interaction in the presence of noises and various types of eye movements,” in ACM Symposium on Eye Tracking Research and Applications, 2020, pp. 1–5.
[24] “Pursuits: Spontaneous interaction with displays,”https://youtu.be/TTVMB59KvGA, accessed: 2021-02-08.
[25] “Pursuits – froggame example,” https://youtu.be/VDAhC5tDH8c, accessed: 2021-02-08.
[26] “Pursuits – cdcovers example,”https://youtu.be/hLdIiYe751M, accessed: 2021-02-08.
Info Penulis
Suatmi Murnani
