其实阿里巴巴开源首个移动AI项目MNN,淘宝上也可以使用AI的问题并不复杂,但是又很多的朋友都不太了解,因此呢,今天小编就来为大家分享阿里巴巴开源首个移动AI项目MNN,淘宝上也可以使用AI的一些知识,希望可以帮助到大家,下面我们一起来看看这个问题的分析吧!
淘宝上使用的移动AI技术也可以用在自己的产品中。
刚刚,阿里巴巴宣布将开源自家的轻量级深度神经网络推理引擎MNN(Mobile Neural Network),用于在智能手机、物联网设备等上加载深度神经网络模型进行推理和预测。
这是阿里巴巴首个开源移动AI项目,已应用于阿里巴巴手机淘宝、手机天猫、优酷等20多个应用。涵盖直播、短视频、搜索推荐、产品图片搜索、互动营销、权益分发、安全风控等场景。在物联网等移动设备场景中也有多种应用。
阿里巴巴表示,MNN 在iOS 和Android 上的CPU 和GPU 性能总体领先业界。
他们选择了深度神经网络模型MobileNet V2和SqueezeNet V1.1进行测试。
Android方面,以小米6为例,MobileNet V2耗时约27毫秒,SqueezeNet V1.1耗时约25毫秒,领先业界至少30%;
对于iOS,以iPhone 7为例,MobileNet V2大约需要15毫秒,SqueezeNet V1.1大约需要14.8毫秒,领先业界至少15%。
淘宝智能无线技术专家李青表示,MNN开源后,将每两个月更新一次,发布经过淘宝应用验证的版本。
MNN的两大功能和四大特点
基于淘宝和达摩院的研究成果,阿里巴巴于2017年10月正式成立MNN团队。
经过淘宝技术部门、搜索工程团队、达摩院团队、优酷等多方的打磨,以及双11、吉五福等重大商业项目的测试,在李青看来,MNN已经是一个成熟的推理引擎。
现在,MNN可以提供两个功能:模型转换和计算推理。
模型转换部分帮助开发者兼容不同的训练框架。
目前,MNN 已经支持Tensorflow (Lite)、Caffe 和ONNX。 PyTorch/MXNet 模型可以先转换为ONNX 模型,然后再转换为MNN。此外,还可以通过算子融合、算子替换、布局调整等方式对图进行优化。
计算推理部分致力于高效完成推理计算。
为了更好地完成各个计算设备下的模型加载、计算图调度、内存分配、Op执行等任务。
他们在MNN中应用了多种优化方案,包括在卷积和反卷积中应用Winograd算法,在矩阵乘法中应用Strassen算法、低精度计算、多线程优化、内存复用、异构计算等。
MNN架构设计
李青表示,在这样的架构设计下,MNN有以下四大特点:
轻量级:根据端侧设备特点深度定制、量身定制,无任何依赖,可轻松部署到移动设备和各类嵌入式设备。
通用性:支持Tensorflow、Caffe、ONNX等主流模型文件格式,支持CNN、RNN、GAN等常见网络。
高性能:不依赖任何第三方计算库,依靠大量手写汇编实现核心运算,充分利用ARM CPU的计算能力。例如,在iOS 设备上,您可以打开GPU 加速(Metal),这比常用型号上苹果原生的CoreML 更快。
易用性:拥有高效的图像处理模块,涵盖常见的变形、转换等需求。一般情况下,不需要引入额外的libyuv或opencv库来处理图像。
MNN不仅支持回调机制,可以在网络运行过程中插入回调,提取数据或者控制运行方向;它还支持仅运行网络的一部分,或指定CPU和GPU之间的并行操作。
李青表示,该项目的核心目标是进一步降低开发工程师和算法工程师在移动环境下使用深度学习技术的门槛。
这样的引擎在实践中如何使用?
这里以淘宝——为例
手机淘宝春节活动:买年货、收五福
2019年春节期间,淘宝通过扫年货的方式加入了阿里巴巴的“集五福”活动。
具体使用场景是通过扫描商品识别能力识别红色年货,分析照片中年货的概率,并根据概率发放相关权益。
首先,为了扫描年货,淘宝在服务器上使用了数百万张年货图片来训练一个可以识别年货的深度神经网络模型。
接下来,MNN需要发挥它的作用。
当用户通过相机扫描年货时,淘宝会获取相机中的照片数据。然后,对照片进行预处理,包括图像缩放、色彩空间转换等。
李青表示,年货购物是一个基于摄像头的应用场景。使用云AI会消耗大量的用户流量来传输逐帧照片和服务器端计算资源。同时,响应速度也会取决于网络状况。
另一方面,MNN可以利用端侧AI来避免网络开销,让整体体验流畅稳定。
它可以结合训练好的模型和处理后的数据,快速进行相应的计算,分析照片中出现年货的概率。
如果照片中年货出现的概率达到淘宝规定的标准,即可视为用户扫描到了年货,并发放相关权益。
这只是阿里巴巴将移动AI应用到自身业务的一种场景; MNN只是阿里巴巴众多移动AI项目之一。
在李青看来,移动AI领域在应用、框架/引擎、硬件等方面都有很多可能性。
接下来,他们将在保持MNN轻量级、通用性、易用性、高性能等特点的同时,进一步加强对客户端核心算法的投入,降低开发者的使用门槛,探索如何结合云+客户端。在特定情况下,可以发挥更强的AI能力。
如果您对该项目感兴趣,请保留以下传送门:
https://github.com/alibaba/MNN
在该项目中,阿里巴巴提供了基于图片、视频流等的使用说明和示例应用。
他们也发出呼吁,希望大家多多体验和反馈,利用MNN构建不同的人工智能应用~
还有一件事
今年3月正式宣布加入阿里巴巴的框架专家贾扬清,在MNN项目开源评审期间也给出了自己的建议。
在贾扬清看来,与Tensorflow、Caffe2等涵盖训练和推理的通用框架相比,MNN更注重推理过程中的加速和优化,解决模型部署阶段的效率问题,从而在移动端实现更高效的实现终端。模型背后的业务。
这与TensorRT等服务器端推理引擎的思路不谋而合。
李青表示,这样的改变让MNN有了更适合使用场景的定位,对其进一步发展和服务开发者有很大帮助。
- 超过-
诚意招聘
用户评论
这太棒了!终于能自己体验到阿里强大的AI技术啦。以前还只能在知乎那种平台上看到他们关于AI的研究,现在可以直接用在自己的程序里,真是期待能应用到我的项目中去!
有18位网友表示赞同!
MNN这个名字起的真形象啊,Mobile Neural Network,一看就是专门为移动设备设计的AI框架。
有15位网友表示赞同!
终于明白为什么淘宝这么强大,原来他们在后台就使用了这么多AI技术啊。可惜的是我现在才听说呢,希望以后能学习到更多关于阿里开源项目的知识!
有20位网友表示赞同!
其实我以前一直不太看好开源的项目,觉得开源的代码质量经常参差不齐,不好维护,也不知道会不会有安全隐患。但是阿里这个项目还是很看重的,希望能高质量持续更新下去!
有14位网友表示赞同!
移动AI真是太香了!可以想象未来会有越来越多App应用 MNN 来提供更智能的体验,比如自动识别图片、语音翻译、个性化推荐等等。
有20位网友表示赞同!
我还在琢磨怎么把MNN用到我的一个项目里。虽然之前接触过一些开源的AI框架,但这个还是有很大不同。阿里毕竟是巨头级公司,这项目的可靠性应该会比较高啊!
有11位网友表示赞同!
说起来阿里还是挺大方滴,把这么重要的技术开源了,让更多开发者都能分享到它的便利。
有20位网友表示赞同!
淘宝上的AI我早就感受过啦!以前刷的时候总是会推荐一些很适合我口味的东西,现在才知道是靠AI的算法在分析我的购买习惯。这MNN项目真的让我大开眼界,感觉科技力量越来越强大!
有8位网友表示赞同!
看到阿里开源这个项目让我挺期待的,希望能够带动整个移动AI领域的发展。虽然说目前我还在学习阶段,但是希望能通过这个项目积累经验,将来也能做出一些自己拿得出手的作品!
有12位网友表示赞同!
开源是好事啊,能让大家共同进步,互相借鉴。但是也需要警惕一些问题,比如代码的安全性、维护的可靠性等等。希望阿里能够持续关注项目的发展,并提供良好的支持给社区开发者们。
有5位网友表示赞同!
对于我这种非技术人员来说,虽然不太明白MNN具体的原理,但还是觉得这很有创新性!阿里把AI技术应用到日常生活中,让人感觉科技发展越来越便捷、高效了。真是时代进步啊!
有20位网友表示赞同!
移动AI项目嘛,我还是比较认可的,因为现在手机已经成为了我们生活中不可或缺的一部分。能用AI技术优化手机的使用体验,无疑是极大的进步!期待更多开发者加入这个领域,共同打造一个更加智能、便捷的生活场景!
有17位网友表示赞同!
阿里开源的第一步或许只是打开了未来大门的一扇窗。相信随着时间的推移,MNN项目将会吸引越来越多的开发者加入进来,最终形成一个庞大而活跃的社区。届时,移动AI技术一定会得到更加快速的发展和完善!
有19位网友表示赞同!
看到很多朋友都在讨论阿里开源的MNN。说实话,我一直不太看好这些大型科技公司的“开源”行为,因为他们往往把最重要的部分保留下来,只放一部分代码给开发者用。所以还是要谨慎对待,不要盲目相信那些所谓的“开放”。
有20位网友表示赞同!
其实我也蛮期待MNN能够真正推动移动AI的发展,让技术平民化!毕竟现在想接触AI相关的项目还得需要很强的硬件要求和专业的知识背景。希望阿里能提供完善的文档和教程,让更多人能够学习和使用这个开源框架!
有8位网友表示赞同!
这项目听起来的确很有潜力。可别到时候像一些之前的开源项目一样中途夭折啊!希望阿里能够加大投入,持续进行开发和维护,让MNN真正成为移动AI领域的引领者!
有11位网友表示赞同!
我觉得现在开源项目的质量参差不齐,这个阿里开源的项目能不能真正做到实用性?还是说只是为了给自己做个广告来提升口碑,谁知道呢? 等等实际的操作体验再说吧!
有18位网友表示赞同!
其实移动AI的发展和完善离不开各个平台、开发者之间的合作和贡献。阿里这次开源MNN是一个很好的开始,希望能吸引更多人加入进来,共同推动这个领域前进步伐!
有16位网友表示赞同!