目前的研究方向是“人机交互和手写生成与识别”，旨在实现在虚拟现实和增强现实环境下基于手的自然人机交互。整个研究分为以下几点：
1、基于第一人称视觉的三维手势跟踪与重建：从二维的第一人称视觉图像（例如RGB、红外等图像）中估计和重建三维手模型和姿态，并实现手势跟踪；
2、手写文字识别：基于新颖的深度学习理论提出新的手写单字、文本行识别算法，提升鲁棒性、计算效率、准确率等；
3、手写文本生成：基于机器学习理论（例如生成对抗网络、生成流模型等理论）实现指定风格化的变长手写文本样本生成；
4、虚拟现实人机交互系统：基于第一人称头戴式设备（例如Oculus Quest、HoloLens2等）尝试构建虚拟现实下的空中手写人机交互系统；
5、应用于火星车的机械臂操控抓取。