庞琳勇在立体视觉领域深耕多年并有多项研究成果,单目视觉和双目视觉是两类备受关注的定位技术

6047acom

图片 14

庞琳勇在立体视觉领域深耕多年并有多项研究成果,单目视觉和双目视觉是两类备受关注的定位技术

| 0 comments

原标题:小觅智能:有了这双“眼睛”,机器人和无人车在任何环境中都不会迷路 |
创业

避障是指移动机器人在行走过程中,通过传感器感知到在其规划路线上存在静态或动态障碍物时,按照
一定的算法实时更新路径,绕过障碍物,最后达到目标点。

原标题:小觅智能:如何用双目视觉赋能AI移动新需求? | 直播预告

近年来,随着立体视觉领域市场容量的快速增加,众多前沿领域机器人,VR
等应用将越来越依赖深度摄像头,相信 3~5
年内,将掀起立体视觉感知的浪潮,小觅智能此次又在小觅双目摄像头深度系列下新推出了一款双目立体感知手机模组。

扫地机器人上机器视觉这一技术已经不是什么秘密,科沃斯终于在年初发布了其首款搭载AIVI视觉技术的DG70扫地机器人,小米的第二代米家扫地机器人也搞上了视觉导航。厂商亦步亦趋,小心翼翼地配上了这一“新”技术,或者说是“新”概念。

图片 1

图片 2

图片 3

图片 4

而在机器视觉技术领域中,又有诸多分类,包括近年来在手机上广泛应用的结构光、ToF,在无人机上应用较多的双目视觉,扫地机器人这波机器视觉浪潮的标配究竟是什么?

图片来源:pixabay

避障常用哪些传感器?

《机器人大家说》第27期直播上线

为安卓手机量身定制的双目立体感知手机模组

图片 5

如何给机器人打造一双在任何环境下自主定位导航的“眼睛”?

不管是要进行导航规划还是避障,感知周边环境信息是第一步。就避障来说,移动机器人需要通过传感器
实时获取自身周围障碍物信息,包括尺寸、形状和位置等信息。避障使用的传感器多种多样,各有不同的原理和特点,目前常见的主要有视觉传感器、激光传感器、红外传感器、超声波传感器等。下面我简单介绍一下这几种传感器的基本工作原理。

9月17日20:00准时开讲

小觅双目深度 Mobile 版首次采用 Type-C 接口,支持 Android
平台,小巧轻薄,重量仅为 44g
,同时配备彩色图像传感器,并融合红外结构光技术,可应用于三维感知、三维识别、立体测量等诸多立体视觉相关领域,非常适合进行相关应用的二次开发,售价
880 元。

单目,还是双目?

基础创新是一个漫长的赛道,
不过对于硅谷连续创业家庞琳勇博士(Leo)来说,他早已习惯。“小觅智能是我的第三家创业公司,我的第二家公司从成立到最后被收购做了10年。这没什么奇怪的,赚快钱的公司很难有壁垒的。”庞琳勇以很自然的语气回答。

超声波

千万不要错过!

图片 6

在机器视觉领域,目前,单目视觉和双目视觉是两类备受关注的定位技术,二者在结构和工作原理上的巨大差异,也导致了不同的市场应用现状。

毕业于美国斯坦福大学,拥有机械工程博士和计算机科学硕士(机器人视觉专业)的双学位,并曾在中国科技大学师从光学测量泰斗伍小平院士,庞琳勇在立体视觉领域深耕多年并有多项研究成果。AI
时代的到来,让他在自己擅长的领域看到了一个前所未有的刚需市场。

超声波传感器的基本原理是测量超声波的飞行时间,通过d=vt/2测量距离,其中d是距离,v是声速,t是
飞行时间。由于超声波在空气中的速度与温湿度有关,在比较精确的测量中,需把温湿度的变化和其它因素考虑进去。

视频预告

致力于提供更为多样化、细分化、专业化的视觉硬件解决方案

双目视觉定位是指通过三角测量原理来对目标点的三维空间位置进行定位。双目视觉定位算法流程包括相机标定、双目标定、图像处理、特征检测、立体匹配、三维测量和姿态测量。

“每一次技术浪潮都会产生新的基础建设需求。PC 时代,英特尔和微软垄断了 CPU
和操作系统;移动互联网时代,ARM 揽括芯片,iOS 和安卓承包了操作系统;AI
时代的来临,你会发现无论是机器人还是自动驾驶汽车,甚至 VR 和 AR
的应用,其共性特点是动起来了。”在琳勇看来,AI
时代高度强调“动”,而事物要运动,必须要有一双认路和看得出距离的“人眼”——这便是他的专长。

图片 7

分 享 简 介

小觅双目摄像头深度系列内置强大芯片,无需依赖终端 GPU/CPU
在设备端即可完成双目深度计算,为视觉领域的技术研发和亟待落地的产品应用提供了集成性更佳的硬件方案。此次小觅智能推出了深度
Mobile
版,继续丰富了深度系列产品线,为深度相机应用领域提供更为多样化、细分化、专业化的视觉硬件解决方案。

双目视觉由于定位精度高、进入门槛低、容易实现3D构图,同时可以实现被动光源定位,因而业内做双目视觉的公司较多,包括图漾科技、纵目科技、云光技术等。

2014 年,旨在让机器人动起来的小觅智能(MYNT
AI)在硅谷成立了。其成员主要来自百度、三星、诺基亚、摩托罗拉等。

上面这个图就是超声波传感器信号的一个示意。通过压电或静电变送器产生一个频率在几十kHz的超声波脉冲组成波包,系统检测高于某阈值的反向声波,检测到后使用测量到的飞行时间计算距离。超声波传感器一般作用距离较短,普通的有效探测距离都在几米,但是会有一个几十毫米左右的最小探测盲区。由于超声传感器的成本低、实现方法简单、技术成熟,是移动机器人中常用的传感器。超声波传感器也有一些缺点,首先看下面这个图。

在人工智能时代,基本所有的产品都需要动起来,或者说需要移动,需要做移动感知、定位导航和避障,机器人需要,无人车需要,VR/AR眼镜也需要,那么哪些移动感知方案会成为未来的研究和应用趋势呢?

图片 8

图片 9

小觅智能专注立体视觉技术整体解决方案,是行业领先的视觉定位导航
VPS(Visual Positioning System)核心技术提供商。VPS
核心技术包括自主研发的双目结构光深度惯导相机、 视觉里程计
VIO(Visual-Inertial Odometry)技术、 VSLAM(Visual Simultaneous
Localization And Mapping) 技术、自动驾驶、3D
识别/测量技术等。据庞琳勇介绍,小觅智能提供三个维度的产品,一是基础层:各种各样的双目深度摄像头硬件;二是自动导航的底座,也就是双目摄像头加上
SLAM
的算法,企业可以在上面开发自己的机器人;第三层是针对不同的行业做的定位导航定制方案,如服务机器人,扫地机机器人、汽车辅助驾驶
ADAS 等。

图片 10

图片 11

小觅双目摄像头深度 Mobile 版 SPEC 表

尽管如此,“在实际应用中,双目视觉仍会有一定的局限性,”深圳市欢创科技创始人兼CEO周琨告诉雷锋网。

简单来说,小觅智能想给机器人和无人车(机)一双灵敏的眼睛,帮助其自主行走。

因为声音是锥形传播的,所以我们实际测到的距离并不是
一个点,而是某个锥形角度范围内最近物体的距离。

小觅智能作为一家主要做双目立体视觉技术的AI公司,主要业务是双目摄像头硬件和视觉定位导航的技术解决方案,因为我们特地邀请到了
小觅智能运营负责人
刘祁缘David
,他将为大家解析如何用双目视觉赋能AI移动新需求。

小觅智能自成立之初,一直致力于立体视觉相关技术的研究,采用“双目+IMU”的惯性导航核心硬件方案,并对不同场景进行优化,相继推出了标准系列和深度系列两条产品线及数款双目深度相机,成功收获了包括波士顿动力、申通、BAT、旷视、京东、亚马逊、高德地图、上交大、清华、北大、早稻田大学等
830+ 家企业和院校在内的客户。

作为清华大学深圳研究生院硕士生导师,周琨在视觉人机交互技术方面有深入的研究,当下任职CEO的欢创科技主要提供单目视觉空间定位技术。据周琨介绍,此前,其曾创办泰山在线,并对双目视觉技术有过深入研究。对于双目视觉,周琨认为,主要有以下三点缺点:

说起机器视觉,目前最热门、最主要的两大类应用无非是识别和导航定位。小觅智能则是后者。和用于手机等的二维传感器不同,深度传感器能够把物体的距离测量出来。目前市面上的深度相机主要分为三种:时间飞行法
TOF(Time Of Flight)、双目、结构光。这三种方法皆有优势和局限性。

另外,超声波的测量周期较长,比如3米左右的物体,声波传输这么远的距离需要约20ms的时间。再者,不同材料对声波的反射或者吸引是不相同的,还有多个超声传感器之间有可能会互相干扰,这都是实际应用的过程中需要考虑的。

分 享 嘉 宾

随着机器智能时代的到来,各类智能技术正成为各大国家和企业竞争的核心,小觅智能将充分发挥立体视觉领导者的作用和价值,强力推动
3D
机器眼产品化,加速立体智能视觉技术在各个领域的落地应用,为各大企业在新时代领跑全球提供助力。

模组体积大。双目视觉定位精度受到基线(两个摄像头之间的距离)影响,基线越长,测量精度越高,因此双目视觉较少应用到诸如手机此类对空间要求较高的产品中做定位;

  • 结构光:属于主动光类,算法容易在芯片上实现,较为成熟,图像分辨率比较高,但测量距离较短(1~2米),容易受光照影响,不适用于室外环境;
  • TOF:属于主动光类,算法容易在芯片上实现,抗干扰性能较机构光要好,
    深度精度高,不过其图像分辨率较低(测的点少),
    测量距离在5米左右,成本高;
  • 双目:属于被动光类,室内外都工作,研究历史较久,成本较低,
    算法精度高,鲁棒性强,测量距离可以达到100米,但计算量大,算法复杂。
    因为非常依赖自然图像特征匹配,所以不适用于昏暗环境或者过度曝光环境,另外如果被测场景本身缺乏纹理,也很难进行特征提取和匹配,如白墙。

红外

图片 12

成本较高。相对单目视觉技术,双目视觉技术成本也更高;

众所周知,机器人面临的环境各色各异,所以,机器人需要一双适应任何环境的“眼睛”。而上述三个方案单一的来看都有明显的不足。那么,如何打造一款较为完美的定位导航和避障方案呢?这正是庞琳勇的初衷。小觅智能以双目为基础,加入结构光,采用双目的算法,再加上位移加速传感器,形成了一套全新的完整的软硬件一体化传感器方案。

一般的红外测距都是采用三角测距的原理。红外发射器按照一定角度发射红外光束,遇到物体之后,光会反向回来,检测到反射光之后,通过结构上的几何三角关系,就可以计算出物体距离D。

刘祁缘David

有效视角小。相对单目视觉技术,双目视觉的有效视角会更小。

“测量距离几十米,深度精度达到厘米级,同时反应速度又很快,可以适应室内室外工作,在三种传感器中,只有应用自然光的双目比较理想。但是双目也有自身的局限,它遇到室内白墙,无法找到特征点,所以也就没法匹配左右目的相同的特征点,其精度就会下降。而利用结构光打红外斑点到白墙上,相当于形成了图案,即可辅助双目分辨。”庞琳勇非常专业地解释了结构光和双目的结合点。

图片 13

小觅智能运营负责人

相对而言,周琨更看好单目视觉技术的应用前景。

“我们的定位导航方案就像人眼,看了周围就可以知道自己的相对位置。”庞琳勇解释道,
“小觅智能其实在赋予机器人三维度空间感知的能力。这主要体现在两个方面:定位导航和立体避障。首先,双目摄像头硬件需要测量机器人和各参照物的距离,然后用算法算出具体位置,这是定位导航。至于避障,以前的机器人,基本是靠超声避障。但超声只知道前面有东西,却不知道这个东西离你有多远,宽度多少,高度多少。”庞琳勇解释道,“机器人避障一定要知道障碍物的精确位置以及大小,而传统超声方案无法解决这些问题,视觉深度传感器则完美地解决了这一问题,所以很快成为机器人立体避障的标配。”除此之外,小觅智能利用视觉传感和位移加速传感互补形成了一个更加全面的深度传感器。“视觉对转动不太敏感,但是加速度传感器可以测出转动的加速度,相当于是将不同渠道收集到的信号融合在一起,保证了信息精确。”他说。

当D的距离足够近的时候,上图中L值会相当大,如果超过CCD的探测范围,这时,虽然物体很近,但是传感器反而看不到了。当物体距离D很大时,L值就会很小,测量量精度会变差。因此,常见的红外传感器
测量距离都比较近,小于超声波,同时远距离测量也有最小距离的限制。另外,对于透明的或者近似黑体的物体,红外传感器是无法检测距离的。但相对于超声来说,红外传感器具有更高的带宽。

2015年加入小觅智能,现负责小觅智能品牌、市场和产品的运营工作,主导公司品牌、产品和项目的运营计划和落地执行。成功将小觅双目摄像头、小觅智能机器人等产品推向市场。曾供职于SMG、申通地铁等公司从事媒体公关和品牌运营工作。具有丰富的10W+爆款文章创作经验和百万级用户平台的运营经验。

单目视觉仅利用一台摄像机完成定位工作。单目视觉定位的方法主要有两种:基于单帧图像的定位方法和基于两帧或多帧的定位方法。其中应用比较广泛的有基于单帧图像定位方法中的基于特征点定位方法,以及加入IMU惯性传感器辅助测量法。

关于机器人自主导航定位的方案,我们比较熟悉的有思岚科技,其利用了视觉传感+激光雷达的方式。多传感融合会增加其鲁棒性,但激光雷达的使用大大增加了成本。庞琳勇希望仅视觉传感就可以让机器人实现定位导航和避障,
实现低成本,易量产。而关于机器人的双目软硬件一体的研究,此前都主要存在于大学实验室里,真正应用到工业级场景的还没有。值得一提的是,小觅智能强实力的团队一直致力于将这个技术应用带出象牙塔。

激光

图片 14

随着近年来SLAM技术的逐渐走向成熟,视觉技术应用场景也越来越广泛,尤其在室内场景,单目视觉定位技术应用较为广泛。

针对不同行业机器人的不同需求,小觅已经推出了两版双目结构光深度惯导摄像头:标准版和深度版。据庞琳勇介绍,标准版是双目+结构光+位移加速传感器,后面的算法是在主机上的
CPU 或 GPU
进行的。深度版本则是在标准版的基础上加了专有芯片模块,可以直接运算,不用耗费主机上的运算资源。

常见的激光雷达是基于飞行时间的(ToF,time of
flight),通过测量激光的飞行时间来进行测距d=ct/2,类似于前面提到的超声测距公式,其中d是距离,c是光速,t是从发射到接收的时间间隔。激光雷达包括发射器和接收器
,发射器用激光照射目标,接收器接收反向回的光波。机械式的激光雷达包括一个带有镜子的机械机构,镜子的旋转使得光束可以覆盖
一个平面,这样我们就可以测量到一个平面上的距离信息。

分 享 提 纲

在扫地机器人领域,当下应用更多的是单目视觉技术,包括前文提到的科沃斯和小米的新款扫地机器人产品都加入了一颗可见光摄像头进行辅助定位,更好实现避障功能。国外对视觉导航应用较早的iRobot也是以单目摄像头在移动过程中对图像连续跟踪,进行相机姿态和跟物体之间相对位置变化的估计,从而建立起地图。

相关文章

发表评论

Required fields are marked *.


网站地图xml地图