2.1 用几句话说iCub

iCub是一款在FP-6欧洲计划RobotCub.1中开发的全人型机器人。在这里我们只提供有关硬件和软件的最少信息，请感兴趣的读者参考[59,60]。该机器人配有53个自由度（DoF）：每条腿有6个自由度，每个臂有7个自由度，手部有9个自由度。头部由三个DOF颈部（倾斜，平移和滚动）和相机组成，可以围绕一个共同的倾斜旋转并独立围绕平移轴控制注视方向和聚散角。

机器人拥有完整的传感系统[59]，在这项工作中我们主要考虑由两个龙飞相机组成的视觉系统，每个相机安装在每只眼睛的运动链的末端执行器上。它们构成了一个类似人类的立体对，可以用于深度估计，这在本文中没有考虑到。

图像由安装在头上的PC104计算机获取，并以60 Hz的最大速率流向网络，分辨率高达640×480像素。

iCub软件架构建立在YARP之上，YARP是支持iCub代码开发的开源中间件。机器人提供一个YARP接口来与其电机和传感系统进行通信。所有用户需要知道的是如何使用界面向机器人发送命令并访问感官信息。网络，低级硬件和设备驱动程序的复杂性完全隐藏给用户。 YARP软件按模块组织;模块集合形成了旨在实现特定功能的应用程序。我们现在讨论基于两种视觉识别用例已经实现的两种不同的应用。

2.2视觉识别用例

在本节中，我们将介绍两个HRI应用程序，其中愿景扮演着重要角色，目前在iCub上实施并可供社区使用。这些情景既是我们调查视觉识别影响的动机机器人技术中的方法以及可以测试新视觉算法的测试平台。 HRI的挑战实际上可能会引起计算机视觉界的兴趣，因为它对标准计算机视觉中经常被忽略的算法施加了若干约束，例如系统需要实时执行并且稳定关于小的观点变化。为本次研究中描述的实验开发的C ++代码是开源的，可以在iCub Repository中找到.2考虑到iCub平台在世界上几个研究实验室中的大量推广，这个公共设计的HRI体系结构代表了另一个重要贡献这项工作。

在下文中，我们将描述我们演示的两个使用原因。

在飞行学习和认可

在这种情况下，人类老师向iCub展示不同的对象，这是学习他们的视觉外观并能够在将来识别他们所需的。在每次训练过程中，人类会为每个物体提供单一的语言注释，机器人会通过物理探索从多个角度对其进行观察。这种过程可以通过两种不同的方式进行，如下所述：

• 人体模式（图2（a） - 左）。演示者将物体移动到机器人的前方，以便机器人可以从不同的角度观察物体。一个独立的运动探测器[61,62]被用来识别移动目标周围的边界框，并让机器人用它的凝视主动追踪它。

• 机器人模式（图2（a） - 右）在这种模式下，演示者将对象赋予机器人。一旦掌握了对象，iCub就会开始使用自己的手随意探索其工作空间，同时视觉追踪手持对象。通过这种方式，虽然机器人的手总是存在于图像中并 且经常导致感兴趣对象的遮挡，但是从几个观点来观察目标。

在训练模式中，边界框内的图像区域被保存为训练样例，与人类老师提供的标签相关联。在数据采集会话结束时，执行学习阶段，更新感兴趣对象的模型。在运行时，每个边界框的内容与一个或多个对象标签相关联，并且最可能的估计值与该对象相关联。 iCub根据请求可以提供音频反馈（对象的标签）。在此应用中，运动信息或机器人运动学有助于检测感兴趣的对象。在数据采集期间，从不同的角度展示对象，因此学习模块具有丰富的互补视觉信息。这里面临的挑战主要是由于不能  控制的背景和光照变化以及手持物体引起的遮挡。