• JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
  • JoomlaWorks Simple Image Rotator
 
  Bookmark and Share
 
 
Doctoral Thesis
DOI
https://doi.org/10.11606/T.45.2023.tde-28062023-204100
Document
Author
Full name
Carlos Eduardo Leão Elmadjian
E-mail
Institute/School/College
Knowledge Area
Date of Defense
Published
São Paulo, 2023
Supervisor
Committee
Morimoto, Carlos Hitoshi (President)
Hirata Junior, Roberto
Kasneci, Enkelejda
Pfeiffer, Thies
Porta, Marco
Title in English
Towards wearable gaze interaction
Keywords in English
3D gaze estimation
Eye pattern recognition
Gaze-based micro-interactions
Wearable computing
Abstract in English
Human-computer interaction has been facing a significant shift from the traditional paradigm of WIMP interfaces using desktop PCs and notebooks to a more distributed and heterogeneous one, where interaction occurs with multiple devices, including mobile phones, smart watches, smart glasses, and IoT-enabled devices. As a result, traditional means of interaction may not provide a satisfactory user experience in such a scenario. In this thesis, we look into gaze-based interaction as an alternative to comply with this new paradigm and some of its fundamental challenges. In particular, we investigate new techniques to recognize eye movement patterns, 3D gaze estimation, and gaze-based interactive methods for micro-interaction scenarios. Though our ultimate goal is to enhance gaze interaction in wearable computing, we broke down this objective into several fronts, namely improving gaze estimation for 3D environments using wearable eye-tracking devices, enhancing real-time eye movement pattern recognition to support context-aware systems using deep temporal convolutional models and scale-invariant methods, and creating novel gaze interaction methods with a just-look-to-select mechanism, in spite of the Midas touch problem. Our results demonstrate that a 3D wearable gaze estimation procedure is feasible, though still very challenging; that our techniques for eye pattern recognition are able to achieve the best of both worlds: state-of-the-art accuracy while being computationally lightweight; and that our interactive techniques, such as GazeBar and V-Switch, have the potential to improve micro-interactions without the common safety mechanisms deployed to gaze-based methods. Though there are still significant obstacles to be addressed in future work, including thorough user studies and complex context detection strategies, this thesis shines new light towards gaze-based interaction and related challenges in this paradigm-shifting environment.
Title in Portuguese
Interação pelo olhar em computação vestível
Keywords in Portuguese
Computação vestível
Estimação do olhar em 3D
Microinterações pelo olhar
Reconhecimento de padrões do olhar
Abstract in Portuguese
A interação humano-computador vem enfrentando uma mudança significativa do paradigma tradicional de interfaces WIMP utilizando PCs e notebooks para um ambiente mais distribuído e heterogêneo, onde a interação ocorre com múltiplos dispositivos, incluindo telefones celulares, relógios inteligentes, óculos inteligentes e dispositivos IoT. Como consequência, meios tradicionais de interação podem não fornecer uma usabilidade e experiência do usuário satisfatórias nesse cenário. Nesta tese, investigamos a interação baseada em olhar como uma alternativa para atender a esse novo paradigma e alguns dos seus desafios fundamentais. Em particular, investigamos novas técnicas para reconhecimento de padrões de movimento ocular, estimativa de olhar em 3D e métodos interativos baseados em olhar para cenários de microinteração. Embora nosso objetivo final seja aprimorar a interação por meio do olhar na computação vestível, dividimos esse objetivo em várias frentes, a saber: aprimorar a estimativa de olhar para ambientes em 3D usando dispositivos vestíveis de rastreamento do olhar; aprimorar o reconhecimento em tempo real de padrões de movimento ocular para suportar sistemas sensíveis ao contexto usando modelos convolucionais temporais profundos e métodos invariantes à escala; e criar novos métodos de interação por meio do olhar caracterizados pelo mecanismo de "olhar para selecionar", a despeito do problema do "toque de Midas". Nossos resultados demonstram que um procedimento de estimativa de olhar em 3D para computação vestível é possível, embora ainda muito desafiador; que nossas técnicas de reconhecimento de padrões de olhar são capazes de alcançar o melhor dos dois mundos: acurácia do estado da arte sendo computacionalmente leves; e que nossas técnicas interativas, como GazeBar e V-Switch, têm o potencial de melhorar as microinterações sem os mecanismos de segurança comuns implantados nos métodos baseados em olhar. Embora ainda existam obstáculos significativos a serem abordados em trabalhos futuros, incluindo estudos de usuário mais aprofundados e estratégias de detecção de contexto mais complexas, esta tese joga luz em direção à interação baseada em olhar e seus desafios relacionados neste ambiente de mudança de paradigma.
 
WARNING - Viewing this document is conditioned on your acceptance of the following terms of use:
This document is only for private use for research and teaching activities. Reproduction for commercial use is forbidden. This rights cover the whole data about this document as well as its contents. Any uses or copies of this document in whole or in part must include the author's name.
Publishing Date
2023-06-29
 
WARNING: Learn what derived works are clicking here.
All rights of the thesis/dissertation are from the authors
CeTI-SC/STI
Digital Library of Theses and Dissertations of USP. Copyright © 2001-2024. All rights reserved.