首页 人工智能 影视头条 明星资讯 灯饰资讯 站长资讯 新能源 五金资讯 房产资讯 服装服饰 医疗资讯 大数据 女性话题 更多
首页 » 人工智能» 内容正文

中科慧眼邱田: 双目视觉相机的产品落地化

发布时间:2022-09-17 09:08:09

2019年7月5日,由博闻创意以及CCIA智能网联专委会、佐智汽车举行的「2019中国汽车互联与车路协同年夜会」在深圳举办。中科慧眼CMO邱田师长教师在会上颁发了题为“双目视觉相机的产物落地化” 的演讲。

列位佐智汽车的朋侪们,很欢快中科慧眼又在这里以及年夜家碰头了,我是中科慧眼的邱田,在公司卖力产物营销。我信赖在坐的朋侪对中科慧眼其实不目生,可是我是第一次站在佐智汽车的平台上跟年夜家做计议以及分享,起首我要谢谢佐智汽车给我这个平台,同时我也很是侥幸地在这里跟朋侪们一块儿分享以及计议咱们的产物,感谢在坐的列位朋侪。

在双目相机领域长短常煎熬以及纠结的,煎熬来自哪里呢?年夜家可以知道双目立体视觉无论从算法以及软件,仍是从硬件,包含布局,和布局件的质量,到末了的标定,都长短常繁芜的体系。作为贩卖来讲,在这个进程中长短常煎熬的,咱们固然但愿咱们的产物可以或许尽快地推向市场,可是在产物落地的同时,咱们还要颠末年夜量的测试与技能团队的支撑,才气到达终极的靠得住性以及不乱性,以是这个进程长短常煎熬的。纠结是在哪里呢?这么好的一个工具做出来之后,咱们发明市场对双目立体视觉的认知是比力目生的,咱们就必需在市场以及产物中心找一个均衡点。咱们固然是但愿咱们居心做出来的产物,可以或许获得市场的接受,同时可以或许获得好的回报,这是咱们做贩卖的本色。以是在这内里就很纠结了,必需找一个均衡点。咱们在这个煎熬以及纠结的进程中,始终不言抛却,终究有所小成,有幸给年夜家来说双目立体视觉产物的量产化落地。我讲患上公道之处,也但愿在坐的朋侪给予支撑以及鼓动勉励,若是有讲患上不许确之处,也请年夜家海涵指正。

中科慧眼成立于2014年10月,咱们是海内率先在双目立体视觉领域做研究以及开发的企业,同时咱们也是国度高新技能企业,也是中关村的前沿科技企业。很侥幸咱们在2017年景为了baidu阿波罗的生态成员,也是到今朝为止阿波罗基金投资的独一一家智能视觉传感器公司。从2014年到如今,这么多年来,咱们从主动驾驶的L四、L5做到了前面的智能驾驶的L3,再做到前面的L二、L1。可能有朋侪会问,你是说反了吧,为何从难的做到简略的,而不是从简略的做到难的?可是咱们公司的成长路径确凿是如许,咱们最早做了一系列L4到L5级别主动驾驶的产物。颠末这么永劫间的考验,咱们公司的产物可以笼盖L0到L5智能驾驶各个阶段需求,同时咱们公司也申请或者得到百余项专利授权,根本上笼盖了双目视觉这个标的目的的年夜部门的专利点。

以上是双目视觉的根本原理。我信赖在坐的朋侪若是听过中科慧眼的CTO崔博士以及COO孟总的先容,可能对双目立体视觉的原理长短常清晰的,并且在网上各类技能帖,和咱们的鼓吹质料,都能领会到双目立体视觉的根本原理,以是我就不花过量的时间赘述。做贩卖来讲,咱们是但愿用最简略、最通俗易懂的语言让年夜家领会咱们的产物,如许咱们就圈重点。

双目视觉无需建模就可直接由立体点云提取停滞物,哄骗视差精准测距而非辨认后估距,并可哄骗单路图象辨认停滞物类型,形成高质量的单双目交融感知数据。

双目视觉既有雷同激光雷达的高密度点云的特色,又具有视觉辨认的能力。

在双目视觉的根蒂根基上,咱们可以用更简略、更通俗易懂的法子让年夜家领会咱们的双目产物,你可以把它近似理解为100米之内的一个千线激光雷达加彩色相机。

可能不少朋侪会问,你们这个双目相机有这么牛吗?我说几个场景,你们能不克不及弄定?第一,年夜雪天,前面白茫茫一片,能弄定吗?确凿弄不定。不光是年夜雪天,若是是一个白墙放在咱们眼前,没有任何纹理的话,咱们也是弄不定的。那你又会问,其它的极度气候呢,好比说年夜雨、年夜雾,你们能弄定吗?很是抱愧,咱们仍是弄不定,由于咱们是可见光的视觉,咱们的能力以及人眼是差未几的,这类环境下咱们只能说你尽可能少开车或者者是不开车。又有一个问题,若是有玻璃,你能辨认吗?玻璃是通透的,若是没有任何反光,也没有任何机理的环境下,咱们也是弄不定的。固然,咱们用任何一个传感器,都有它的上风以及劣势,我但愿我们哄骗双目相机的上风。

年夜家可以看到双目视觉实在在很早的时辰就在泰西和日本,都应用在车载上了。从1999年起头,斯巴鲁就已经经搭载了最先的一个双目相机,那时是日立给它做的。到2016年的时辰,宝马、奔跑、捷豹路虎都在他们最高配的车型上搭载了双目视觉。从2016年到如今,年夜家可以看到双目立体视觉的成长趋向是从顶配的高端车型逐步向中端乃至低真个车型笼盖。这内里阐明两个问题,第一是年夜家对自动平安的意识有晋升,第二是在车载视觉传感器的领域,年夜家起头逐步接受双目的传感器。

今朝博世、年夜陆、日立、奥托立夫、电装这些年夜企业都在研发、采纳,和加速脚步推广他们的双目视觉产物。

上图中日立装在斯巴鲁上的双目相机,它的基线是比力长的。另外,博世为捷豹路虎提供双目相机,年夜陆为宝马提供双目相机,奥托立夫为奔跑提供双目模组,他们做患上都长短常好的。

在这个年夜情况下,中科慧眼也推出了咱们的全车规的双目模组,咱们给它取名叫岩石城。

下面是咱们以及主流的车规级双目立体相机参数的比拟。

表中,双目相机的间隔,咱们称之为基线。双目相机离患上越远,基线越长,就可能看患上越远。可是有个弊病,双目相机看患上越远,近间隔的盲区就可能越年夜。咱们凭据国人的驾驶习气,另有海内的路况,选择了一个折衷的方案,咱们做了12厘米基线的双目模组,在2米至100米的范畴内,最年夜测距偏差3%。

下图是双目视觉的摆布相机成像数据,另有的立体匹配视差的伪彩色图象,冷色系暗示远,暖色系暗示近,每个像素都有一个间隔值,终极就形成如许一个深度图,这就是从实景成像到深度图的转换进程。

上面是咱们的一个路测视频,可以看到这内里过马路的人以及非灵活车,可以直接经由过程深度图做出较好的停滞物朋分。咱们都知道单目视觉是创建在数据库根蒂根基上的,好比说针对行人,必要把他们的样本拍摄下来,他的正面、侧面,等各个姿态的图象,以供视觉训练建模。在现实运用场景成像中若是有行人泛起,体系就可能辨认出行人方针,并经由过程行人的图象年夜小估算间隔,这是单目视觉的年夜致原理。双目视觉的原理是可以不依赖先验数据库,直接经由过程深度图象做情况朋分。咱们所谓的朋分是说,咱们提取了这个点云图,以地面为界,与地面接触的成必定间隔聚类的区域,咱们称为停滞物。所谓的停滞物,在车辆平安这一块,咱们都是不建议去碰撞的,并且它是针对所有的物体,我不必要熟悉他是谁,我只必要断定他是不是伤害的停滞物。

咱们的双目测距的方法有两种,一种是基于面的测距,一种是基于边的测距。基于面的测距,咱们年夜部门是针对无人驾驶或者者主动驾驶的车辆,好比说baidu的阿波龙无人驾驶车,另有无人送货车,根本上都是用的上面这类基于面提取的点云图。另有一种是基于边匹配的,这是咱们基于边的一个点云图。咱们但愿下面的这个数据用于智能驾驶或者者辅助驾驶。基于面的点云很是浓密,必要的计较量更年夜。

适才我年夜致回首了一下咱们双目立体相机的原理,包含它中心的一些数据,包含它的一些测距流程,看看咱们的双目相机年夜致能用到哪些领域呢?后面讲的就是咱们市场化的一些领域。第一是支撑二次开发的双目立体相机模组,可以哄骗咱们的双目相机点云,做如许一些运用,包含有没有人送货车、环卫车、无人巴士,另有以及JMC互助的无人轻客车。可以看到咱们所应用的场景以及领域是比力广的,它不单单是针对正规车辆,像这些特种车辆,只要是要履行无人化,或者者是履行主动驾驶,城市用到咱们的双目传感器。

后面另有一些更特殊的领域,这些领域可能有的年夜家都接触不到,可是咱们是很领会的。下图中第一个水质监测船,之后中国的内海地域年夜概一到两千米城市安插一艘水质检测船,由于如今年夜家对情况污染这一块是很在乎的。第二个是无人驾驶的收割机,是用在年夜的农场的。另有无人驾驶的火车,和无人驾驶差人巡检车,它也是固定线路、固定摄影的。咱们讲到火车主动驾驶的时辰,年夜家可能会说,你这是吹法螺的吧,火车怎样主动驾驶?你们可以看到这类火车不是凡是意义上的火车,它的一是在年夜的站场内里的火车,好比说钢铁厂、煤厂,它是固定线路,往返运动的,它就是把煤从这边搬到何处,把钢材从这边搬到何处,以是它是固定线路的,又是固定速率的。在钢铁以及煤厂的情况下,是不适宜人在内里去操纵的,对人的康健是有必定影响的,以是他们如今在哄骗能落地的高科技的工具,把它做成主动驾驶。

这是咱们针对上面所说的各类项目做的各类双目相机。末了这个已经经是一个四目相机,这是咱们下一代会推的,由于逐步的主动驾驶汽车上路了,它就必需要辨认车牌、速率、红绿灯,经由过程四目相机可以辨认。前面是咱们的双目相机,就是针对适才我讲到的那些分歧项目的车型、分歧种类的车型开发的立体相机。这内里会牵扯到一个很是首要的能力,就是产业设计的能力,在分歧项目的开发中,它的首要性是不成替换的,由于它会领会它的使用情况,包含双目相机的布局设计,包含搭配它这个工业的外观,让客户第一眼可以或许看到咱们的产物是专业的,也是合适他的产物气质的。

从下图年夜家可以看到分歧焦距、分歧视角,顺应分歧车速的运用场景。最小的3毫米、4毫米焦距的相机,年夜部门是针对室内的,好比说AGV、室内机械人,在低速状况下使用。6毫米到8毫米焦距的是针对一些中速率的无人驾驶场景,好比说阿波龙,用的就是6毫米焦距。10到12毫米焦距就是应用于主动驾驶这个通例场景上的焦距。到25毫米焦距的时辰,就是运用在一些很是快速的领域,好比说快速列车,运用在很快的速率场景下。

前面讲的都是咱们的双目相机运用于各类主动驾驶、无人驾驶领域的场景,接下来就是略微接地气一点的,也是在坐的列位比力存眷的品类,咱们叫AEB。

AEB简略来讲就是汽车的主动刹车,它有一个主动节制的功能在内里。交通部在本年3月份提出了一个1242的引导性文件,可能在坐的不少人都知道这个协定。在AEB这个体系上我要讲的是甚么呢?可能以前年夜家做的更多的是辅助驾驶,它包含语音提醒、图象警示,没有牵涉到对本车的干涉干与,以是在行驶进程中,年夜家可能以为有一点,就是咱们的产物刚装上去一个月的时辰,你会以为如同有点用,由于它的报警声,你会以为如同前面是有状态了,我要看一下。可是当你用上三个月之后,你就已经经习气了它的声音,不以为这是一个警示音,并且你的语音做患上越好听,就越容易疏忽。在AEB这个场景下,只是提醒音就行欠亨了。只是提醒的话,驾驶者瞥见了就瞥见了,我看不见你也不克不及怪我。以是在以前的ADAS这个领域,年夜家都是在预警、提醒,当咱们泛起委靡驾驶的时辰,出格是针对年夜客车、年夜货车,在委靡驾驶的时辰,你提醒他是没太多作用的,必需参加自动的干涉干与,以是咱们就推出了自动节制种别的产物,叫主动告急刹车体系。

左侧上面是咱们的实景图,下面是录屏的点云图,可以看到上面的实景以及下面的区分。第二幅是咱们夜测的视频,可以看到咱们的相机辨认长短常开阔爽朗化的。第三个视频是咱们在摹拟一个非标物体忽然冲到路中心的时辰,咱们的AEB的浮现,你可以把它认为是一个异形物体,由于这个其实不像人。末了这个视频是咱们拿了一个模特站在路中心,也是测试咱们的双目相机对它的辨认。以是我一直夸大的是,我们的双目立体相机是不消针对尺度物体,我针对非标物体也是可以鉴别的,由于在刹车这个领域,好比说路中心一个石头、一个草丛、一个灌木丛,包含是一棵树,或者者是一个沙发摆在路中心,有不少传感器是不熟悉它的,刹车就不会做患上很精准,双目能完善地解决如许一个问题,咱们会经由过程所有的点云图象,提取的停滞物长短标的。

下面是在福建的公交车上安装的咱们的产物,咱们今朝在宁波、福建、杭州都有列装在公交车上,用户的体验很是好。

右图这是咱们运用于商用车的产物,是咱们的二代产物,叫猎户座。

咱们的产物还能用到一些特种市场。年夜家可以看到如许一个场景,我抓一个房车的运用会比力有代表性。年夜家知道如今的年青人,包含90后乃至00后,他们再也不知足于去一个固定的景点游览,他们如今比力盛行找一些他本身喜欢之处,约好几个朋侪一块儿开着房车出去游览,这是将来逐步会形成的一种比力盛行的游览方法,由于他既可以本身选景点,并且又解决了住宿的问题,而且在野外,年夜家一块儿吃吃烧烤,这类场景想一想都以为挺夸姣的。可是这内里会有一个甚么问题呢?一般的房车都是租赁的,你不成能为了本身去游览而买一辆房车放在家里,由于你日常平凡也不怎样开,以是年夜部门的房车,都是做的租赁市场。租赁市场会牵涉到一个问题,咱们开惯了小车的环境下,再去开房车,对付房车的车宽车高,你没有专业的果断能力。你开惯了小车,不会在乎它会不会撞到限高杆、会不会撞到桥墩。在这类环境下,就很容易产生图中如许的事故。可是作为房车来讲,这类事故是绝对要杜绝的,由于一般房车上面这个部门都是床,可能本身的小孩或者者老婆在上面,要末在睡觉,要末在玩,你若是一旦撞上去,我信赖这个旅途是不会舒畅的。针对如许一个运行的痛点,咱们也做了一个特殊的双目相机,咱们叫睿目S1。

(视频播放)这是方才在杭州产生的一个事故,一个年夜的货柜车,上面有一小我行天桥,在没有限高的警示下,不以为这是个问题,它就直接开曩昔了,年夜家可以看到这个天桥被撞失落下来了。在这个场景下,若是以前有报警,就可能不会法身如许的惨剧。这仍是一个非典范的事务。适才咱们讲的房车领域,那是很典范的一个事务。是以咱们在限高这个领域做了咱们的产物,叫睿目S1。

为何限高这个工作这么使人头疼呢?第一是毫米波雷达或者者是单目相机,它无法做这么多分类。限高杆在分歧之处形态各别,有的是桥洞,有的是这类小杆,有的是一个年夜的铁块,并且这类通常为在一些偏远一点之处,一般高一点的车辆在这类处所是过不去的,经由过程咱们这个产物,可以免车辆撞上限高杆。咱们这个产物如今在多家商用车公司做了前装定点,这个长短常刚性的一个需求。

车载双目相机的研发进程长短常艰辛的,咱们从2014年景立到如今,用了5年的时间,终究进入了能量产化落地的阶段,咱们能找到这些市场,把咱们的产物应用到解决糊口中的问题上,咱们也是比力开心的,固然这个进程也是比力煎熬的。车载双目相机的性价比是比力高的,并且市场远景长短常泛博的,以是我也但愿在坐的朋侪们给予中科慧眼更多的支撑以及鼓动勉励,中科慧眼在双目这个领域会一直做下去,并且会做患上更好,尽量多地解决咱们糊口中的不少问题。


引流脚本 http://www.xitongwenjian.cn/
柳柳信息网