手势识别

论文阅读(三):Text2Sign: Towards Sign Language Production using Neural Machine Translation and GAN

只谈情不闲聊 提交于 2019-12-02 05:39:52
Abstract 概述 :我们提出了一种新的方法,利用最近的发展神经机器翻译(NMT),生成对抗性网络(GANs)和运动生成来生成手语。我们的系统能够从口语句子中生成手语视频。与当前依赖于大量注释数据的方法相反,我们的方法需要最少的注释和骨架级别的注释来进行培训,我们通过将任务分解为专门的子流程来实现这一点。 方法 :我们首先将一个NMT网络和一个运动图(MG)结合起来,将口语句子翻译成手语姿势序列。生成的姿态信息用于生成生成模型,生成逼真的手语视频序列。这是第一种不使用经典图形头像的连续符号视频生成方法。 数据集 :我们在PHOENIX14T手语翻译数据集上评估了我们的方法的翻译能力。 我们为文本到注释的翻译设置了基线,开发/测试集BLEU-4的分数为16.34/15.26。 我们还将使用广播质量评估指标,定性和定量地演示我们的方法对于多手势者和高清的视频生成功能。 Introduction 和口语一样,手语也有自己的语法规则和语言结构。这使得口语和手语之间的翻译成为一个复杂的问题,它不是简单地将文本映射到手势的逐字逐句的练习。图1演示了语言的标记化和它们的顺序是不同的,它需要机器翻译方法来找到一种口语和手语之间的映射,这需要考虑到它们的语言模型。 SLR的工作: 将手势序列映射为口语,提供手势序列的文本,如【17】【48】,那是因为觉得耳聋的人能自如地阅读口语

结合工程实践选题调研分析同类软件产品

こ雲淡風輕ζ 提交于 2019-11-30 12:13:18
  由于智能制造和人工智能的火热,直接让机器视觉这个行业也火热起来。目前的人机交互技术已经从以计算机为中心逐步转移到以用户为中心,而手势识别技术容许用户在不需要额外工具的前提下就可以与计算机或者其他智能终端进行交互。近年来由于VR/AR技术的兴起,手势识别技术也变得越发重要,市场需求更加迫切。本次工程实践拟实现通过计算机采集双目摄像头数据,基于计算机视觉以及OpenCV工具进行图像帧预处理,进而通过机器学习方法来开发一款手势识别系统。初步达到模拟鼠标键盘来对计算机进行交互的目的。本次我将结合工程实践选题调研分析手势识别方面的软件。   我们与计算机的交互经历了“键盘鼠标”到“触控屏幕”再到“语音手势”的发展历程。手势交互是指:利用计算机图形学等技术识别人的肢体语言,并转化为命令来操作设备。手势交流作为一种新兴的蓬勃发展的交互方式,具有自然方便的优点,它将不断融合到我们的日常生活中来。微软、Leap Motion、Hand CV是手势交互领域的行业先锋,它们依托摄像头、传感器等硬件技术,计算机视觉、深度学习等软件技术将手势识别应用到了游戏设备、VR设备、车载设备和智能家居等场景中。下列是三种手势交互产品介绍。 1、微软体感设备Kinect   Kinect是微软在2010年6月14日对XBOX360体感周边外设正式发布的名字。伴随着名称的正式发布,Kinect还推出了多款配套游戏

Android开发-API指南-<uses-feature>

你。 提交于 2019-11-29 15:43:04
Android开发-API指南-<uses-feature> <uses-feature> 英文原文: http://developer.android.com/guide/topics/manifest/uses-feature-element.html 采集(更新)日期:2014-7-7 搬迁自原博客: http://blog.sina.com.cn/s/blog_48d491300100zmwf.html 在本文中 Google Play 和基于设备特性的过滤机制 基于显式声明的特性需求进行过滤 基于隐含的特性需求进行过滤 对蓝牙特性的特殊处理 对应用程序需要的设备特性进行测试 设备特性参考手册 硬件特性 软件特性 隐含了特性需求的权限 Google Play 的过滤机制 通过应用程序 Manifest 文件中声明的 <uses-feature> 元素, Google Play 将会把不满足软硬件特性需求的设备过滤出去。 通过指定应用程序的设备特性需求,可以使得 Google Play 仅向设备特性满足要求的用户提供该应用程序,而不是向所有用户开放。 关于 Google Play 如何将设备特性作为过滤条件的关键性信息,请参阅后续章节 Google Play 和基于设备特性的过滤机制 , 语法: <uses-feature android:name="string"

五款高效率黑科技神器工具,炸裂好用,省时间

孤者浪人 提交于 2019-11-28 03:04:02
loonggg 读完需要 4 分钟 速读仅需2分钟 感觉我好久好久没有给大家分享高质量的软件和插件了。 今天周末,难 得 在家休息一下,痛下决心,分享一些我认为的高效率工具软件给大家。 废话不多说,咱们直接真材实料的,真刀真枪的介绍了。 1 Squoosh Squoos是 Google 开源发布的一款专门用来压缩图片的在线服务,支持 JPG、PNG、WebP 等格式的极限压缩,据说比 TinyPNG 还有强大。 作为 Android 开发者的同学的话或者一些设计对于 TinyPNG 肯定非常熟悉,但是 Squoos 比它还好用,就知道这个工具有多好了。Squoosh,它采用谷歌强大的算法,在保障图像质量的前提下最大化压缩图片。 不仅仅只有压缩这一种功能,此外,它还支持一些简单的在线编辑。所以,非常强烈建议大家在使用图片压缩工具的时候,大家能够想到它。 2 MarkOne MarkOne 非常牛逼,MarkOne 是一款可以基于浏览器视频做笔记的扩展插件,其功能是帮助用户在线观看视频的时候顺便记录下来,对视频进行备注、截图、截取字幕等操作,精彩不暂停,笔记随时记。 Mark One 是香港理工大学的学生团队的毕设作品,旨在解决观看视频时记录笔记的痛点,对于想要在视频学习的时候想随手在任意位置做笔记的朋友来说,这是个非常不错的选择。 3 WGestures WGestures

调用百度AI进行手势识别(Python)

江枫思渺然 提交于 2019-11-26 09:18:57
import os import cv2 from aip import AipBodyAnalysis from threading import Thread import base64 """ 你的 APPID AK SK """ APP_ID = '**************' API_KEY = '**************' SECRET_KEY = '**************' ''' 调用''' gesture_client = AipBodyAnalysis(APP_ID, API_KEY, SECRET_KEY) capture = cv2.VideoCapture(0)#0为默认摄像头 def camera(): while True: ret, frame = capture.read() # cv2.imshow(窗口名称, 窗口显示的图像) cv2.imshow('frame', frame) if cv2.waitKey(1) == ord('q'): break Thread(target=camera).start()#引入线程防止在识别的时候卡死 def gesture_recognition(): ''' 第一个参数ret 为True 或者False,代表有没有读取到图片 第二个参数frame表示截取到一帧的图片 ''' ret,