基于视觉信息和深度学习的中文唇语数据集构建与识别_胡扬.caj下载

本文以中文唇语识别为主线，通过更有效的数据收集手段将中文的唇语识别问 题拓展到更一般更现实的中文环境中，并通过深度学习技术有效解决现实环境下变 长唇语序列图片的中文识别问题。本文的主要研究内容包括： 1. 研究以互联网视频为数据源头，自动快速构建中文唇语数据集的方法。互联 网视频中的场景变化较多，与现实环境相符，同时资源获取成本较低，本文 基于此，提出有效的从互联网视频中获取可以用于训练唇读模型的唇部序列 图片和对应的中文内容。 2. 研究中文唇语识别的网络设计。相较于限定实验环境下的唇语识别，现实环 境下的中文唇语识别语料过于丰富，同时语句长度不定，为了解决这两个难 题，本文以深度学习为背景技术，进行端到端的中文唇语识别网络设计，来 针对变长中文唇语识别问题。