京东选择了更神奇的方法,推理需求早已超过训练需求

6047acom

图片 9

京东选择了更神奇的方法,推理需求早已超过训练需求

| 0 comments

分析图像,提取特征,还得靠通用架构

第一大痛点就是如何将数据与 ML/DL
算法结合在一起。长期以来,业界一直存在一个争论,即要想获得更强大的 ML/DL
解决方案,我们是否应该更重视数据或者算法层面的改进。考虑到大家已经拥有合理的算法,那么下一步的核心自然在于数据。ImagNet
是其中的典型例子,近年来图像分析的重大突破,正是由 ImageNet
这类大规模公开数据集推动的。英特尔推出 BigDL 和 Analytics
Zoo,也是为了更好地解决数据与机器学习 / 深度学习算法整合的问题。

图片 1

但依然面临资源配置、影像技术系统和专业医师人才方面的挑战。

借助 BigDL 框架,京东还在自己已有的通用硬件上使用 Caffe、Torch 和
TensorFlow
等框架中的预训练模型,这让他们以更快的速度测试和推出新服务,同时无需投入专用硬件。也就是说,不需要购买、运行独立的
GPU
集群。京东可以重复使用现有的硬件资源,从而降低了总体拥有成本。结合Apache
Hadoop 和 Spark
框架来处理资源管理工作,未来能够更轻松地开发新应用,同时保持高效性能。

为了让更多的大数据用户、数据工程师、数据科学家、数据分析师能够更好地在已有大数据平台上使用人工智能技术,2016
年底,英特尔开源了基于 Spark 的分布式深度学习框架 BigDL,此后不久又在
Spark、TensorFlow、Keras 和 BigDL 之上构建了大数据分析 +AI 平台
Analytics Zoo。通过这两个开源项目,英特尔正在推动先进的 AI
技术能更好地让广大用户使用。开源框架和平台:BigDL 与 Analytics Zoo

  • 你想在数据存储(比如以 HDFS、HBase、Hive
    等方式)于的同一个大数据(Hadoop/Spark)集群上进行大量数据的分析。
  • 你想为你的大数据(Spark)程序和/或工作流添加深度学习功能(不管是训练还是预测)。
  • 你想使用已有的 Hadoop/Spark
    集群来运行你的深度学习应用,然后将其动态地共享给其它工作负载(如
    ETL、数据仓库、特征工程、经典机器学习、图分析等等)。

英特尔MKL-DNN是面向深度学习神经网络的开源数学核心函数库,提供所有英特尔硬件中的常见DNN
API和快速的发布周期,与DL社区迭代,通过高度矢量化和线程化,实现更高性能。

于是如果加持AI,利用机器视觉技术来提升测量的效率与质量——通过装备在分拨中心输送系统上的高拍仪,AI
应用会采集快件的图像信息,并传送到后端服务器进行测量,就能更好分析数据实现优化。

京东大数据平台部负责人,京东副总裁翁志介绍,“顾客的方便,来自于京东长期以来在AI和大数据方向的技术积累,集成各种传感器的智能货架、智能结算台、智能价签、智能摄像头等多种智能技术,贡献良多。”

自开源以来,BigDL 项目一直在持续改进,目前已经发布到 0.8.0 版本。

BigDL 库支持 Spark 1.5、1.6 和 2.0,并且允许将深度学习嵌入到已有的基于
Spark 的程序中。其中包含了将 Spark RDD(Resilient Distributed
Datasets,弹性分布式数据集)转换成 BigDL 定义的 Dataset
的方法,并且也可以直接运用到 Spark ML Pipelines 上。

图片 2

而且传统方案往往需要机械部件配合定位,因此占用产线空间大,对工艺流程有影响。

图片 3

第二大痛点与 AI/ML 的生产落地有关。尽管当前市场对于 AI
技术抱有很大兴趣,但实施水平仍然相当低下。因此,需要考虑如何帮助客户真正有效地将路径查找或概念验证
AI 项目投入生产环境,从而根据需求构建起完整的 AI/
分析流水线——包括高质量数据源整理、数据预处理与清洁、适当特征数据的选择与构建、适当模型的选择、模型超参数的优化、机器学习模型的后期处理、可视化以及部署等。这类解决方案要求数据工程师、数据科学家以及
IT 工程师共同参与并高效协作。

有效的扩展。BigDL 可以利用 Apache
Spark(一种超快的分布式数据处理框架)以及同步 SGD 的有效实现和在 Spark
上的 all-reduce
通信来进行有效地扩展,从而可在「大数据规模」上执行数据分析。

Analytics Zoo同样面向Apache
Spark,不过它比BigDL更高一层级,是一套统一分析+AI平台,可提供端到端的解决方案。

更重要的是,相关AI模型能够对非标准变化因素有良好的适应性,即便检测内容和环境发生变化,也能很快地予以适应,省去了冗长的新特征识别、验证时间。

图片 4

AI 不再停留在实验室里

BigDL 是什么?

一、英特尔的“软硬件+生态”AI组合

不过,爱奇艺本身就是科技互联网公司,AI应用中有基础。

在大数据分析领域,Apache
Spark项目已经成为事实上的标准。该项目起始于加州大学伯克利分校,几个创始人后来成立了Databricks公司,成立五年来,专门提供大数据分析服务。在分布式机器学习领域,他们也选择了
BigDL
项目,与本身的原生Spark技术集成,提升Spark在模型训练,预测和调优方面的表现。

落地:实际采用情况超出预期

丰富的深度学习支持。类似 Torch,BigDL
提供了全面的深度学习支持,包括数值计算(通过
Tensor)和高层面的神经网络;此外,用户还可以使用 BigDL 将预训练的 Caffe 或
Torch 模型加载到 Spark 程序中。

在英特尔AIDC开发者大会中,我们看到英特尔如何通过人工智能创建者项目,为企业和开发者提供软硬件技术支持,从而打造全面稳定的AI生态。

AI发展和竞争,已经来到2.0时代。这是一个落地为王关键的阶段。在2019上海世界人工智能现场,谈论最多的话题也是AI落地和实践经验。或许不同的行业位置和角色,对该问题会有不同的答案。但当英特尔给出经验总结和实践分享时,可能相对更具参考,因为作为算力担当、行业基石。AI落地进程中的英特尔见得更多、视野更广,遭遇的挑战和问题亦更具共性。那么英特尔的AI落地经验是什么呢?

2018年1月,亚马逊在西雅图的无人超市对外营业,吸引北美媒体和市民众多眼球。不过他们不知道,2017年10月,中国的在线零售巨头京东的无人商店和无人超市已经对外开放了。更有趣的是,在京东的无人商店和无人超市里,当你选好自己要买的东西之后,只需“刷脸”就能完成支付过程,钱包什么的,完全不用拿出来啦。

马子雅还提到,目前 Spark 在英特尔的服务器硬件上优化是最好的,这也是
BigDL 和 Analytics Zoo 最大的优势之一。

为了进行模型训练,BigDL 应用了一个同步小批量随机梯度下降(synchronous
mini-batch SGD),该过程在跨多个执行器(executor)的单个 Spark
任务中执行。每一个执行器都执行一个多线程引擎并处理一部分微批量数据(micro-batch
data)。在当前的版本中,所有的训练和验证数据都会加载到内存(memory)中。

英特尔AI学院提供大量材料、培训教程以及实验室案例,学生们可以在AI社区在线分享工业和学术案例,AI学院的学生们至少可获得4周免费使用AI
DevCloud云开发环境的时间。

利用该平台内置的图像识别模型,AI应用首先能够提取出待测量的快件轮廓,进而通过平台提供的
TensorFlow等深度学习框架,结合英特尔至强可扩展处理器提供的算力,完成从模型训练、模型重定义到模型推理的AI处理全流程,最终获得准确的大小件测量数据。

责任编辑:

重点关注三大 AI 新兴趋势

BigDL 还提供了一个 AWS EC2
镜像和一些案例,其中包括:文本分类(使用卷积神经网络)、图像分类、以及将
Torch 或 Caffe 中预训练的模型加载到 Spark
中用于预测计算的方法。目前社区讨论区上大多数用户请求 BigDL 支持
Python,以及开发 MKL-DNN(MKL 的深度学习扩展)。

库这一层主要面向数据科学家,英特尔对CNTK、PaddlePaddle等主流框架优化,通过扩展、矢量化、利用所有内核、高效内存和缓存使用,通过下面的内核层将底层算力资源发挥出来。

就像手机厂商早期竞争时的比跑分,算力提供方在AI
1.0时代里的竞争,也往往以模型训练的速度来说话。

京东的技术团队接下图像分析这个任务后,一开始,他们曾尝试使用图形处理单元(GPU)创建特征匹配应用,然而并不顺利,因为在扩展性上遇到很多问题,必须手工管理众多设备和系统,手工处理负载均衡和容错;而且在数据处理过程中还出现很多延迟,不足以支持生产环境需求。

马子雅表示,未来英特尔将重点关注以下三大新兴趋势:

极高的性能。为了实现高性能,BigDL 在每一个 Spark 任务中都使用了 Intel
MKL 和多线程编程。从而使得 BigDL 在单节点 Xeon(与主流 GPU
媲美)上能够实现比当前开源的 Caffe、Torch 或 TensorFlow
快几个数量级的表现。

活动期间还穿插着硬核的动手实操环节,让开发者现场直接体验英特尔神经计算棒2,只需通过USB插口插到笔记本电脑,就能直观感受到计算棒所带来的本地深度学习处理加速。

这家名为西安盈谷的医疗公司,就是代表例证。

在购物的整个过程中,结算环节是重点,更是难点。顾客选择的商品,品类多种多样,包装彼此不同,如何保证在尽量短的时间之内确定商品的具体品类和价格?除了扫描条码之外,还有其他方法吗?

后续在与诸多客户合作部署 BigDL
的过程中,仍有一部分客户反映希望能继续使用自己更熟悉的其它深度学习框架,例如
TensorFlow,并希望使用 TensorFlow 进行训练。因此,英特尔又在 BigDL
开源半年后推出了 Analytics
Zoo,以帮助客户省去在大数据管道上手工“拼接”众多独立组件(如
TensorFlow、Apache Spark、Apache HDFS 等)的繁琐操作。

BigDL 是一个用于 Apache Spark 的分布式深度学习库。使用
BigDL,用户可以像编写标准 Spark
程序一样编写深度学习应用,并且可以直接将其运行在已有的 Spark 或 Hadoop
集群上。BigDL 有哪些优点呢?

最下层是贴近硬件和指令集的内核部分,英特尔通过针对机器学习优化的Distribution
Python、高性能机器学习和数据分析库DAAL、数学核心函数库MKL-DNN将底层硬件的性能更大程度的发挥出来。

在AI应用和落地部署中,更为务实,技术价值兑现,核心是业务效能有直接提升,而推理就成为关键所在。

图片 5

马子雅目前所在的 IAGS/SSP
部门,其主要职责就是为在英特尔平台上运行各类大数据分析与 AI
解决方案的客户提供最佳体验,让硬件性能更优。其中一项核心任务就是与整个生态系统合作,立足英特尔的硬件对大数据分析
/AI 堆栈进行优化,从而提供更出色的性能、安全性与可扩展性。

开源地址>>>

AI
DevCloud中内置了英特尔优化的Caffe、TensorFlow框架,Caffe框架不仅比原先性能更高,还能做分布式优化推理,因此学生们不需要额外安装这些工具。

经验四:新领域探索,AI ≠ 深度学习

毫无疑问,京东是中国零售领域的领军企业,技术上,京东同样具有前瞻性思维,前文提到的京东的无人商店和无人超市刷脸完成购物,就是一个很好的证明。

图片 6

以下是 BigDL GitHub 项目的 README.md 介绍:

英特尔的AI战略围绕“硬件+软件+生态合作”展开。

测试结果显示,在处理能力上,两台基于该处理器的服务器所支撑的虚拟机数据量,可以达到原先平台的
2.5 倍,这可大大降低用户的总拥有成本。

京东在基于英特尔至强处理器 E5-2650 v4 的服务器上运行
BigDL,完成深度学习提取图片特征过程。Big
DL同时支持横向扩展,只要添加新的标准英特尔至强处理器服务器,就能够实现高效横向扩展,延展到数百乃至数千台服务器。京东使用了带有
1200
个逻辑内核的高度并行架构,大幅加快了从数据库中读取图像数据的流程,整体性能提高了
3.83 倍。性能的提升,也要归功于英特尔在核心算法层面的优化。BigDL
使用英特尔数学核心函数库MKL 和并行计算技术,充分发挥了至强处理器的性能。

马子雅早前曾在采访中表示,英特尔致力于为客户提供最好的服务,而非单纯的硬件或软件。对于这一点,马子雅再次强调,英特尔是一家人工智能技术解决方案供应商,致力于为客户提供完整的全栈式人工智能解决方案。

据介绍,在 Xeon 服务器上的测试表明,BigDL 相比于 Caffe、Torch 或
TensorFlow 等开源框架实现了显著的速度提升。其速度可与主流的 GPU
相媲美,而且 BigDL 也能扩展到多达数十个 Xeon 服务器。

图片 7

文件数据增加10倍、QPS和延迟波动保持在5%以内。

在您的既有IT基础上,按需构建人工智能更高效。人工智能,从至强开始。点击搭乘至强特快专列,即刻开启您的人工智能之旅吧。返回搜狐,查看更多

为了增强功能,研发团队为 BigDL 实现了 200
层神经网络。除了深度学习构建模块之外,还在其中添加了对深度学习模型的支持能力(比如可以将
TensorFlow、Keras、Caffe 模型加载到 Spark 与 BigDL
当中进行分布式推理)。BigDL 也增加了对
OpenCV的支持,用于图像转换与扩充;支持 Spark 2.3 和 2.4;支持
DataFrames;支持 Spark-on-Kubernetes;以及支持 Python 3.6 等。

【编辑推荐】

二、英特尔的AI硬件组合

所以在加速推理并效果明显的落地实践中,英特尔还举出了美的的项目心得。

当然有,京东选择了更神奇的方法:选好商品后,你可以把它们挨个放在智能结算台上,其中有集成摄像头,借助京东这些年积累的实拍数据,利用图像识别技术完成结算,当你走出结算通道后,人脸识别、智能摄像头等技术就会自动完成付款啦。

BigDL 是一套基于 Spark
分析流水线、以有机方式构建而成的分布式深度学习框架,可以直接在现有的
Hadoop 和 Spark 集群上运行,不需要对集群做任何修改。BigDL
能够实现主流深度学习框架 TensorFlow、Caffe 以及 Torch 等同样的功能,作为
Spark 标准组件也能够和 Spark
大数据生态系统里面的不同组件非常好地整合在一起。用户可以借助 BigDL 将
Spark/Hadoop
作为统一的分析平台,从数据摄取、清洁与预处理,到数据管理、机器学习、深度学习以及部署与可视化,一站式完成所有工作。

如果你满足以下条件,你就应该使用 BigDL 来编写你的深度学习程序:

AI软件是英特尔近些年重点优化之处,从机器学习到深度学习,英特尔为开发者提供任意AI实现方式。

经验二:需要软硬件一体化支持

后来,京东决定基于现有的服务器和通用处理器架构开展工作,而且取得了显著成效。他们的图像数据存储服务器基于英特尔至强处理器
E5 家族,技术团队使用 BigDL 深度学习库来部署 Caffe
模型,性能提升了3.83倍,这让京东将来可以更快捷地提供基于图片的全新服务。

而在美国,大多数企业客户更愿意在“非常成熟”时才部署 AI
解决方案,且相关产品最好是由 ISV、OEM 或者 CSP
负责提供并支持。另外,国内人工智能解决方案的规模,尤其是投入生产的规模,相对来说比美国的很多用户要更大一些。

BigDL 是用 Scala 实现的,并且模仿了 Torch。类似于 Torch,它也提供了一个
Tensor 类,其使用了 Intel MKL 库进行计算。Intel MKL
是英特尔的数学核心函数库(Math Kernel
Library)的缩写,其中包含了一系列为计算优化过的历程,其中包括
FFT(快速傅立叶变换)和矩阵乘法等等,这些计算在深度学习模型训练中有广泛的应用。另外受到
Torch 的 nn 包( 借鉴了
Torch,提出了 Module 的概念,用于表示单个神经网络层、Table 和
Criterion。

智东西(公众号: zhidxcom)

但除了具备工件标定、图像定位及校准等功能外,美的还希望通过部署优化的深度学习训练模型和预测模型,来缩短开发周期和成本,并提高设备的易用性与通用性。

京东公司成立二十年,在线商城已经运行了十四年。这么多年下来,京东积累了一个庞大的在售产品目录,产品图像多达数亿张。它们都保存在分布式大数据存储库
Apache
HBase中,用Hadoop框架加以处理。为了满足客户在各种场景下的不同需求,京东希望可以匹配、提取不同产品图像中的特征。比如,客户逛街时发现一款自己喜欢的咖啡杯,只要拍下来,京东就可以根据照片为客户找到满足他要求的咖啡杯。对于京东自己来说,还可以利用图像识别和匹配功能,与其他网站上的产品进行匹配,京东就可以调整自己的定价策略,强化自己的竞争力。此外,京东还对外提供公共云服务,类似功能还可以提供给公共云的客户,帮助他们开发符合自己需求的全新图像分析应用云平台。现在,在京东对外开放的技术能力中,“图片质量检测”和“以图搜图”功能已经可以对外提供给其他开发团队使用了。

在解决方案层面,英特尔能够开发、应用并共享完整的 AI
解决方案,从而加快客户从数据到洞察结论的推进过程。此外,英特尔还通过
ai.intel.com
网站发布案例研究成果、参考解决方案以及参考架构,以便客户能够在界定探索范围以及自行构建类似的
AI 解决方案时作为指导。

图片 8

图片 9

在把AI带入传统行业过程中,最不缺的是“数据”,但最考验技术的也是大数据的分析应用。

《福布斯》专门撰文报道:京东希望使用当今最先进的技术创新开发新的解决方案,创建面向未来的零售运营体系;京东正在推动人工智能、大数据和机器人技术的发展,为第四次工业革命建立零售业的基础设施。到那一天,你在家门口的便利店和超市里面就能直接刷脸买东西啦。

很多人认为深度学习的主要痛点是性能,只要有足够强大的性能,即可以解决深度学习存在的各种问题。但在马子雅看来,性能并非深度学习的主要痛点,用户的真正痛点主要有三个方面。

BigDL:在 Apache Spark 上的分布式深度学习

比如今年4月英特尔新发布的第二代至强可扩展处理器,对INT8卷积进一步提升,最新Cascade至强CPU相比上一代CPU理论性能提升3倍。

美的工业视觉检测系统打造中,一方面是软件如Awwnalytics
Zoo平台的能力,另一方面也有英特尔至强平台的计算加持。

家门口刷脸购物不是梦

为了提高训练与推理性能,BigDL 集成了 MKL-DNN 作为 CNN
模型的替代执行引擎。MKL-DNN 能够提供更强大的训练 /
推理性能,而且内存占用量也有所降低。在某些 CNN 模型中,MKL-DNN
使吞吐量提高了 2 倍。

为什么选择 BigDL?

Facebook汇总了针对不同应用场景使用的不同硬件资源,他们的翻译、照片文本生成、垃圾邮件标记、语音等服务的AI推理都是基于CPU实现的。

通过与蚂蚁金服进行的合作,深度森林再次被验证可在大规模金融风控任务处理上取得良好效果,进而帮助用户避免不必要的经济损失。

原标题:想体验无人商店?去京东他们家直接刷脸!

英特尔在美国与中国都拥有众多客户与合作伙伴,马子雅与我们分享了中美企业在寻求
AI 解决方案上存在的一些差异。

近日,英特尔开源了一个运行在 Apache Spark 上的分布式深度学习库
BigDL,其可以利用已有的 Spark 集群来运行深度学习计算,并且还能简化从
Hadoop 的大数据集的数据加载。

{“type”:2,”value”:”

最后,Awwnalytics Zoo还对命令行模式与 Web Service
模式提供了良好支持,这使得云平台可与美的其他应用系统实现平滑的对接。

Analytics Zoo
还囊括有大量经过预训练的深度学习模型(例如图像分析模型、文本处理模型、文本匹配模型、异常检测模型以及用于序列预测的序列到序列模型等);其拥有高级
API,能够简化应用程序开发流程;它还能够以非常简单的方式建立端到端分析
/AI 流水线并实现生产化,整个流水线能够在 Spark/Hadoop
集群之上实现扩展,从而进行分布式训练与推理,降低训练用基础设施的独立成本,同时节约训练基础设施与分析基础设施之间的集成开发成本。

智东西7月11日消息,英特尔人工智能大会深圳站在深圳举行,现场分享了英特尔的AI战略,并详解英特尔的硬件+软件+生态活动组合。

并且对于韵达这样的快递公司来说,之前的“死数据”,现在都能被“活用”。

在芯片层面,英特尔提供广泛的技术方案,包括通用型芯片到专用型芯片等,涵盖由边缘到数据中心的广泛领域。CPU、GPU、加速器、FPGA、内存
/ 存储、互连以及安全硬件等都在英特尔的业务范畴之内。

生态方面,培育生态系统并推动其发展,包括培养新兴用例、吸引和培养顶尖人才,并引领AI发展前沿。

此外,在AI赋能的过程中,被关注最多的是模型训练和推理过程,往往忽略了数据存储也已成为不容忽视的前奏一环。

在库层面,英特尔持续对各类库 / 基元(例如英特尔 MKL/MKL-DNN、clDNN、DAAL
以及英特尔 Python 发行版等)进行优化。另外还推出了 nGraph
编译器,旨在使各类框架能够在任意目标硬件之上实现最佳性能。

另外,英特尔还提供神经计算棒2,它采用USB记忆棒的外形,能在设备上实现本地实时推理,无需连接云端,相比Myriad
2视觉处理单元将性能提升高达8倍。

还因为关键流程上的AI化,带动了更多流程进一步降本增效,并且为更高层级的自动化提供了前提。

首先,AI 技术将继续在企业与云环境中快速增长。在云上,CSP 领域的 AI
创新速度非常快,ISV 则正在努力追赶。以最新趋势来看,HPC与 AI
技术正在融合。未来五年之内,HPC AI 营收将由 23 亿美元增长至 47
亿美元。由于数据分析人员开始使用规模较大的数据集,相他们可能会通过分析提出越来越困难的问题,其中的工作负载将越来越多地表现为高性能计算问题。
另一方面,传统 HPC 研究人员也希望借助大数据与 AI
技术加快自己的研究。为了满足这一需求,英特尔正致力于在 HPC 之上实现 AI
与大数据分析功能,同时充分利用已有的 HPC
基础设施(包括高性能存储、结构与计算等)。

软件方面,塑造开源软件堆栈,在行业竞争中取胜,包括优化客户软件(比如优化TensorFlow等深度学习框架)、构建统一的API和向开发人员宣传。

在资源配置上实施更精准的AI件量预测。

相关文章

发表评论

Required fields are marked *.


网站地图xml地图