小明永久免费大陆在线观看-小明永久免费视频-小明永久视频免费播放-小嫩妇好紧好爽再快视频-小嫩嫩12欧美-小日本xxx

首頁(yè) 新聞 > 科技 > 正文

手語(yǔ)識(shí)別和翻譯

摘要:為了使聾啞人與更多不懂手語(yǔ)的人自然地交流,本作品將手語(yǔ)翻譯成文字和語(yǔ)音,利用Microsoft Kinect記錄手語(yǔ)手勢(shì)的三維坐標(biāo),通過(guò)機(jī)器學(xué)習(xí)和優(yōu)化算法,在IntelAtom平臺(tái)上實(shí)現(xiàn)了手語(yǔ)翻譯。

簡(jiǎn)介

手語(yǔ)是聾啞人士的主要溝通工具,它是利用手部和身體的動(dòng)作來(lái)傳達(dá)意義。雖然手語(yǔ)幫助它的使用者之間互相溝通,但聾啞人士與一般人的溝通卻十分困難,這個(gè)溝通障礙是源于大部分人不懂得手語(yǔ)。

另一方面,聾啞小朋友由于很難表達(dá)自己,以及中國(guó)的聾啞教師數(shù)量有限,導(dǎo)致他們的學(xué)習(xí)出現(xiàn)困難,得不到和普通小朋友同等的學(xué)習(xí)機(jī)會(huì)。

為了解決這個(gè)問(wèn)題,我們?cè)O(shè)計(jì)實(shí)現(xiàn)了一個(gè)從手語(yǔ)動(dòng)作翻譯成文字和聲音的翻譯器,令學(xué)習(xí)手語(yǔ)更有趣、更方便、更容易,以達(dá)到這個(gè)項(xiàng)目縮少聾啞人士與其他人的溝通障礙的目的?! ?/p>

工作原理和算法

特征提取  深度圖像的分辨率是640x480,意味著每秒鐘的數(shù)據(jù)有17.6MB,存儲(chǔ)如此大量的數(shù)據(jù)是不可能的。同時(shí)許多沒(méi)有用處的數(shù)據(jù)(例如背景)都包含在原始數(shù)據(jù)中。因此我們必須從原始數(shù)據(jù)中提取出有用的信息。骨架是一種可以用來(lái)表示手語(yǔ)的有用信息。

我們利用Kinect和OpenNI提取用戶(hù)的骨架節(jié)點(diǎn)得到XYZ三點(diǎn)的坐標(biāo)。我們一共提取了6個(gè)骨架節(jié)點(diǎn),左手、左手肘、左肩、右手、右手肘、右肩。對(duì)于每一幀,我們從這些節(jié)點(diǎn)中計(jì)算出14個(gè)特征向量來(lái)表示這一幀的手語(yǔ)動(dòng)作。經(jīng)過(guò)標(biāo)準(zhǔn)化計(jì)算,我們用121幀來(lái)表示一個(gè)手語(yǔ)詞語(yǔ),因此每一個(gè)詞語(yǔ)有1694個(gè)特征。

原始數(shù)據(jù)標(biāo)準(zhǔn)化  我們通過(guò)均勻分配和插值使原始數(shù)據(jù)標(biāo)準(zhǔn)化。通過(guò)二次插值法,利用最相近的三個(gè)原始數(shù)據(jù)計(jì)算出標(biāo)準(zhǔn)化的數(shù)據(jù),使得每一個(gè)手語(yǔ)動(dòng)作都統(tǒng)一用121幀來(lái)表示。

支持向量機(jī)  SVM(支持向量機(jī))是統(tǒng)計(jì)學(xué)和計(jì)算機(jī)科學(xué)中的概念,簡(jiǎn)而言之,給定一組已經(jīng)分好類(lèi)別的數(shù)據(jù),而且分類(lèi)依據(jù)是未知的,支持向量機(jī)訓(xùn)練算法可以通過(guò)計(jì)算構(gòu)建一個(gè)模型 ,一組新的數(shù)據(jù)到來(lái)時(shí)可以預(yù)測(cè)出新的數(shù)據(jù)屬于哪一個(gè)類(lèi)別。

SVM的模型將所有數(shù)據(jù)映像到一個(gè)高維空間里,并計(jì)算出不同類(lèi)別數(shù)據(jù)之間的最大化幾何邊緣區(qū),然后把新的數(shù)據(jù)映射到同一個(gè)空間,根據(jù)之前計(jì)算出的最大化幾何邊緣區(qū)來(lái)預(yù)測(cè)新的數(shù)據(jù)屬于哪一個(gè)類(lèi)別。

平臺(tái)限制與解決方法

平臺(tái)限制  使用Kinect的建議系統(tǒng)需求是CPU有雙核2.66 GHz或以上,內(nèi)存有2GB或以上,但I(xiàn)ntel提供的平臺(tái)只有分別1GHz CPU和1G 內(nèi)存,明顯與系統(tǒng)需求有差異。

即使我們使用Linux操作系統(tǒng),處理器使用率依舊滿載,并且?guī)手挥写蠹s2到4左右,遠(yuǎn)少于正常的30幀。在這種條件下,再加上處理器資源已被提取資源的線程占據(jù),所以不可能在處理器里進(jìn)行資料分析的工作。

瓶頸  為了找出瓶頸,我們首先關(guān)閉了圖像用戶(hù)接口。雖然處理器使用率降至85%,但幀率跟之前的一樣。我們觀察得到其中一個(gè)OpenNI控制的線程依然是占領(lǐng)了整個(gè)線程。只是由于所提供的平臺(tái)是雙線程的關(guān)系,使用率分別被定在50%及35%。

關(guān)鍵詞: Intel Kinect OpenNI 201209

最近更新

關(guān)于本站 管理團(tuán)隊(duì) 版權(quán)申明 網(wǎng)站地圖 聯(lián)系合作 招聘信息

Copyright © 2005-2018 創(chuàng)投網(wǎng) - m.zhigu.net.cn All rights reserved
聯(lián)系我們:33 92 950@qq.com
豫ICP備2020035879號(hào)-12

 

极品少妇小泬50pthepon | а天堂中文最新一区二区三区 | 极品少妇被猛得白浆直流草莓视频 | 哈尔滨老熟女啪啪嗷嗷叫 | 国产肥熟女视频一区二区三区 | 色偷偷av亚洲男人的天堂 | 俄罗斯一级毛片免费视频 | 国产亚洲精品美女久久久久 | 久久久久人妻一区精品 | 成人h视频在线观看 | 精品无码国产自产野外拍在线 | 久久久久女人精品毛片 | 天天天天躁天天爱天天碰 | 在线成人一区二区 | 国产精品久久久久久久久久红粉 | 少妇中文字幕乱码亚洲影视 | 无码任你躁久久久久久 | 成片免费观看视频大全 | 日韩精品无码一区二区三区 | 水蜜桃无码视频在线观看 | 抽插丰满内射高潮视频 | 久久久噜噜噜久久 | 下面一进一出好爽视频 | 中文字幕亚洲乱码熟女一区二区 | a网站在线观看 | 亚洲av第一页国产精品 | 1024亚洲天堂| 国产人妻丰满熟妇嗷嗷叫 | 国产精品福利视频免费观看 | 久久精品中文字幕 | 高清国产一级毛片国语 | 日本大肚子孕妇交xxx | 国产亚洲精aa在线观看不卡 | 精品欧美一区二区三区在线观看 | 亚洲人精品午夜射精日韩 | 国产真实夫妇交换视频 | 成人免费无码大片a毛片软件 | 国产精品原创巨作av女教师 | 粉色午夜视频 | 国产婷婷色一区二区三区 | 国产日韩欧美另类重口在线观看 |