OpenNI体感应用开发实战 PDF 超清完整版

OpenNI体感应用开发实战

作者：任侃 著

出版时间：2014年版

本书是国内首本关于OpenNI的实战性著作，也是首本基于Xtion设备的体感应用开发类著作。具有权威性，由国内体感应用开发领域的专家撰写，华硕官方和CNKinect社区提供支持；具有针对性，深入调研OpenNI社区开发者的需求，据此对内容进行编排；全面且系统地讲解了Xtion和OpenNI的功能使用、技术细节和工作原理，以及体感应用开发的各种知识和技巧；实战性强，包含多个有趣的综合性案例，详细分析和讲解案例的实现过程，确保读者通过本书掌握体感应用开发的技术和方法是本书的宗旨。 全书共19章，分为五个部分：基础篇（第1～3章）介绍了自然人机交互技术、Xtion硬件设备的功能和原理、OpenNI的功能和应用；准备篇（第4～6章）讲解了如何搭建OpenNI+Xtion的体感应用开发环境，以及OpenNI的一些基本功能；进阶篇（第7～13章）详细讲解了人体骨骼追踪、手势识别、手部追踪、录制与重播、生产节点的建立、声音数据的获取和使用、彩色图像数据的获取和贴图等OpenNI的重要功能及其应用方法；实战篇（第14～17章）详细讲解了4个有趣且具有代表性的案例，通过这部分内容读者将能掌握体感应用开发的流程与方法；高级篇（第18～19章）讲解了体感应用开发中会用到的多种高级功能，如运动捕捉和OpenNI Unity工具包等。

目录

• 前言
• 第一部分基础篇
• 第1章自然人机交互 2
• 1.1什么是自然交互 2
• 1.2科幻电影场景的人机交互 3
• 1.3自然人机交互技术发展现状 4
• 1.4本章小结 8
• 第2章Xtion硬件设备 9
• 2.1Xtion设备简介 9
• 2.1.1Xtion设备的类型 9
• 2.1.2Xtion设备的功能 10
• 2.1.3Xtion设备的规格 10
• 2.2Xtion设备的优势 11
• 2.2.1Xtion和Kinect的区别 11
• 2.2.2硬件设备的软件支持 12
• 2.3深度感应器原理 14
• 2.3.1感应器架构 14
• 2.3.2深度感应器工作原理 15
• 2.3.3深度精确度分析 16
• 2.3.4无法侦测物体深度 17
• 2.4本章小结 19
• 第3章OpenNI开发方案 20
• 3.1初识OpenNI 20
• 3.1.1OpenNI架构 20
• 3.1.2OpenNI支持的模块 22
• 3.1.3OpenNI的功能 23
• 3.1.4OpenNI中的对象 24
• 3.1.5OpenNI版本更新说明 25
• 3.2OpenNI生产节点 27
• 3.2.1生产节点的类型 28
• 3.2.2生产节点概念图 28
• 3.2.3生成和读取数据 30
• 3.2.4OpenNI接口的配置 31
• 3.3OpenNI应用 31
• 3.3.1Xtion Controller应用 31
• 3.3.2INOUT应用 31
• 3.3.3Artec Studio应用 31
• 3.3.4体感技术在初音未来上的应用 33
• 3.4本章小结 33
• 第二部分准备篇
• 第4章Xtion开发准备工作 36
• 4.1下载OpenNI及相应程式 36
• 4.1.1下载SDK 36
• 4.1.2下载Middleware 37
• 4.1.3下载OpenNI以及相应的NITE 38
• 4.2安装OpenNI 38
• 4.2.1Windows环境下的准备工作 38
• 4.2.2OpenNI档案及相关环境 39
• 4.2.3加载设备驱动 40
• 4.2.4检测Xtion设备 40
• 4.2.5NiViewer基本控制方法 41
• 4.3使用Xtion的注意事项 41
• 4.4本章小结 42
• 第5章搭建基础的Xtion体感开发环境 43
• 5.1创建控制台工程 43
• 5.2配置工程OpenNI环境 45
• 5.3本章小结 49
• 第6章初识Xtion体感开发 50
• 6.1OpenNI基础应用 50
• 6.1.1上下文对象初始化 50
• 6.1.2创建生产节点 51
• 6.1.3使用XML文档中的生产节点 52
• 6.1.4错误信息返回 53
• 6.1.5开始产生数据 54
• 6.1.6停止产生数据 54
• 6.1.7上下文对象资源释放 55
• 6.1.8更新数据 55
• 6.1.9镜像设置 56
• 6.1.10图像位置校正 57
• 6.2图生成器 58
• 6.2.1获取支持图输出模式 58
• 6.2.2图生成器输出模式 59
• 6.2.3获取和设置图输出模式 59
• 6.2.4获取图像素字节数 60
• 6.3深度生成器 61
• 6.3.1获取深度元数据对象 61
• 6.3.2获取深度图 61
• 6.3.3获取设备最大深度 62
• 6.3.4获取设备视野范围 62
• 6.3.5绝对坐标和相对坐标转换 63
• 6.3.6获取用户位置功能 64
• 6.4用户生成器 64
• 6.4.1获取用户数量 65
• 6.4.2获取用户 65
• 6.4.3获取用户质心 66
• 6.4.4获取用户像素 66
• 6.4.5注册用户回调函数 67
• 6.4.6获取骨架功能 68
• 6.4.7获取姿势侦测功能 68
• 6.5场景分析器 69
• 6.5.1获取场景元数据对象 69
• 6.5.2获取场景地板 69
• 6.5.3获取场景标识段 70
• 6.6图生成器的概念及功能 70
• 6.6.1图元数据对象 71
• 6.6.2输出模式设定 72
• 6.7OpenNI程序流程 73
• 6.7.1初始化Context 75
• 6.7.2建立Production Node 75
• 6.7.3开始产生资料 75
• 6.7.4更新、读取资料 76
• 6.7.5处理读取的资料 76
• 6.7.6结束和错误侦测 76
• 6.8本章小结 77
• 第三部分进阶篇
• 第7章人体骨架追踪 80
• 7.1坐标系 80
• 7.1.1绝对坐标 80
• 7.1.2相对坐标 81
• 7.1.3相对坐标和绝对坐标的转换 81
• 7.2关节 82
• 7.2.1OpenNI可侦测的关节点 82
• 7.2.2读取关节资料函数 83
• 7.2.3关节位置的平滑化 84
• 7.3人体骨架追踪流程 85
• 7.3.1需要特定姿势的骨架追踪 85
• 7.3.2不需要特定姿势的骨架追踪 86
• 7.3.3使用现有校正资料 87
• 7.4人体骨架追踪程序搭建流程 87
• 7.4.1创建并初始化设备上下文 88
• 7.4.2创建并设定生产节点 88
• 7.4.3注册回调函数 89
• 7.4.4开始侦测数据 92
• 7.4.5更新数据 92
• 7.4.6得到用户信息 93
• 7.5人体骨架识别范例 94
• 7.6本章小结 97
• 第8章手势识别与手部追踪 98
• 8.1手势识别原理 99
• 8.1.1OpenNI支持的手势 99
• 8.1.2遍历NITE支持的手势 99
• 8.1.3添加手势与回调函数 99
• 8.1.4手势识别范例 102
• 8.2NITE控制 104
• 8.2.1NITE Control函数详解 104
• 8.2.2NITE Control范例 106
• 8.3手部追踪原理 110
• 8.3.1手心生成器回调函数注册 110
• 8.3.2手部追踪初始化 110
• 8.4本章小结 111
• 第9章录制与重播 112
• 9.1录制 112
• 9.1.1创建录制器 113
• 9.1.2设置录制目标档案 113
• 9.1.3获取录制目标档案 113
• 9.1.4添加录制节点 114
• 9.1.5删除录制节点 114
• 9.2重播 115
• 9.2.1设置重复播放 115
• 9.2.2设置和获取播放源资料 115
• 9.2.3设置重播起始时间 116
• 9.2.4获取当前播放位置信息 117
• 9.2.5检索播放器中的节点 118
• 9.2.6判断是否播放结束 118
• 9.2.7注册播放到结尾事件回调函数 118
• 9.2.8设置回放速率 119
• 9.3本章小结 119
• 第10章限制生产节点的建立条件 120
• 10.1有条件地建立生产节点 120
• 10.1.1添加限制条件 121
• 10.1.2设置限制条件 121
• 10.1.3建立生产节点 121
• 10.2通过限制条件列举符合条件的生产节点 122
• 10.3根据节点信息建立生产节点 122
• 10.4本章小结 123
• 第11章使用XML文档初始化 124
• 11.1XML文档设定参数 124
• 11.1.1XML文档基本架构 124
• 11.1.2XML文档中的节点 126
• 11.1.3XML文档使用范例 127
• 11.2使用XML文档配置功能 128
• 11.2.1强制录制ONI文档的XML配置 128
• 11.2.2资料产生 129
• 11.3本章小结 129
• 第12章声音数据的获取与使用 130
• 12.1声音生成器 130
• 12.1.1创建声音生成器 130
• 12.1.2获取声音数据 131
• 12.1.3设置声音设备的输出模式 132
• 12.1.4注意事项 132
• 12.2声音数据的处理 132
• 12.2.1声音录制 133
• 12.2.2声音播放 134
• 12.3本章小结 136
• 第13章彩色图像的获取和贴图 137
• 13.1OpenNI框架支持的图像格式 137
• 13.2图像生成器 138
• 13.2.1创建图像生成器 138
• 13.2.2获取图像数据 139
• 13.2.3设置及获取图像生成器的输出格式 140
• 13.3获取RGB影像及贴出RGB影像 141
• 13.4本章小结 143
• 第四部分实战篇
• 第14章体感鼠标模拟 146
• 14.1手部追踪与鼠标模拟 146
• 14.2程序编写前的准备工作 146
• 14.2.1环境准备 146
• 14.2.2界面准备 149
• 14.2.3鼠标相关参数配置准备 149
• 14.3初始化 149
• 14.3.1对话框初始化 150
• 14.3.2载入ini文档中的配置 151
• 14.3.3OpenNI程序环境初始化 151
• 14.4程序设计 154
• 14.4.1获取深度图 154
• 14.4.2获取用户数据 155
• 14.4.3鼠标左右手模式的选择及切换 156
• 14.4.4滚轮控制放大和缩小 157
• 14.4.5左手控制鼠标 158
• 14.4.6右手控制鼠标 159
• 14.4.7鼠标事件指令发送 161
• 14.4.8悬停状态设计 163
• 14.5本章小结 165
• 第15章Xtion玩《街头霸王》 166
• 15.1用身体控制游戏人物 166
• 15.1.1人物基本操控动作 167
• 15.1.2通用招式动作设计 167
• 15.1.3游戏人物的特有招式设计 168
• 15.2创建工程、配置工程环境 169
• 15.3初始化 171
• 15.3.1读取深度数据 172
• 15.3.2处理深度数据 172
• 15.3.3获取骨架 173
• 15.3.4骨架数据的初步处理 174
• 15.4Ken人物动作的表述 176
• 15.4.1轻拳 176
• 15.4.2跳起 178
• 15.4.3波动拳 180
• 15.4.4神龙拳 183
• 15.5虚拟按键机制 186
• 15.6本章小结 188
• 第16章体感方向盘玩赛车类游戏 189
• 16.1体感方向盘设计 189
• 16.1.1操控方向盘基本动作 189
• 16.1.2虚拟线性手柄模拟方向盘 189
• 16.2体感方向盘程序开发初始化 191
• 16.2.1环境初始化 191
• 16.2.2虚拟手柄初始化 193
• 16.3模拟方向盘操控 196
• 16.3.1获取用户信息 196
• 16.3.2左右方向的控制 197
• 16.3.3油门与刹车 199
• 16.3.4发送指令给虚拟线性手柄 200
• 16.4本章小结 201
• 第17章Xtion控制机器人 202
• 17.1体感控制机器人需求分析 202
• 17.1.1了解机器人构造 202
• 17.1.2如何用身体操控机器人 203
• 17.1.3机器人操控程序界面设计 203
• 17.2初始化 204
• 17.2.1界面初始化 204
• 17.2.2体感追踪初始化 206
• 17.2.3回调函数 207
• 17.3控制机器人 207
• 17.3.1连接机器人 207
• 17.3.2发送指令 208
• 17.4机器人程序代码实现 209
• 17.4.1骨骼数据的初步获取 209
• 17.4.2左肩的体感控制 211
• 17.4.3大臂转动的控制 213
• 17.4.4肘部角度计算 215
• 17.4.5手部角度计算 215
• 17.4.6小手臂转动 222
• 17.5本章小结 222
• 第五部分高级篇
• 第18章BVH骨架转换 224
• 18.1运动捕捉技术简介 224
• 18.1.1典型的运动捕捉设备组成 225
• 18.1.2传统捕捉技术 225
• 18.1.3运动捕捉技术应用 228
• 18.1.4运动捕捉技术优缺点 229
• 18.2动作捕获数据 230
• 18.2.1解析BVH文件 230
• 18.2.2骨架结构 231
• 18.2.3解读数据 232
• 18.3旋转 233
• 18.3.1基础2D旋转 233
• 18.3.23D坐标轴旋转 234
• 18.4欧拉角 237
• 18.4.1从欧拉角转换到矩阵 238
• 18.4.2从矩阵转换到欧拉角 238
• 18.4.3从骨架数据中提取欧拉角 239
• 18.5本章小结 241