A first set of signals corresponding to a first signal modality (such as the direction of a gaze) during a time interval is collected from an individual. A second set of signals corresponding to a different signal modality (such as hand-pointing gestures made by the individual) is also collected. In response to a command, where the command does not identify a particular object to which the command is directed, the first and second set of signals is used to identify candidate objects of interest, and an operation associated with a selected object from the candidates is performed.
Selon l'invention, un premier ensemble de signaux correspondant à une première modalité de signal (telle que la direction d'un regard) pendant un intervalle de temps est collecté à partir d'un individu. Un second ensemble de signaux correspondant à une modalité de signal différente (telle que des gestes de pointage manuel effectués par l'individu) est également collecté. En réponse à une instruction, l'instruction n'identifiant pas un objet particulier vers lequel l'instruction est dirigée, le premier et le second ensemble de signaux sont utilisés pour identifier des objets d'intérêt candidats, et une opération associée à un objet sélectionné parmi les candidats est effectuée.
COMMAND PROCESSING USING MULTIMODAL SIGNAL ANALYSIS
TRAITEMENT D'INSTRUCTION À L'AIDE D'UNE ANALYSE DE SIGNAUX MULTIMODAUX
2018-02-22
Patent
Electronic Resource
English