资讯中心
关于我们
欢迎光临格子云商城!
GE ZI CLOUD
数字化应用聚合平台
格子云
按钮文本
热门搜索:惠普  复印纸  中性笔
全部商品分类
技术社区

AI框架的挑战与MindSpore的解决思路

来源: | 作者:技术小咖 | 发布时间: 2021-06-19 | 3686 次浏览 | 分享到:
全场景统一AI框架的挑战所谓全场景AI,是指可以将深度学习技术快速应用在云边端不同场景下的硬件设备上,包括云服务器、移动终端以及IoT设备等等,高效运行并能有效协同。


Pipeline 组合量化

  • 高效运行时


【端云统一运行时】为了能够为端云的训练、推理提供统一的并行运行框架,MindSpore设计了基于Actor模型的端云统一运行时。


AI训练或者推理,最终都是执行一个DAG计算图,图中每个节点都是一个op,每条边都是一个(或一组)tensor。下面的图中,左边是actor模型的示意图,右边是一个AI计算任务示意图。


我们将一个op定义为一个actor,actor之间传递tensor。在actor模型中,message是无状态的且不复用的,但在AI计算任务中,为了提高效率,tensor通常会被复用。为了解决这个问题,MindRT中引入了tensor manager来统一管理tensor,所有op通过tensor manager获取tensor。



Tensor Manager支持tensor的引用计数和内存管理。端云统一运行时将在MindSpore 1.2/1.3版本中开源。
【软硬协同】MindSpore原生与端侧的NPU芯片深度结合,最大程度的发挥了专有芯片的性能优势。
【算子优化】在手机CPU上,MindSpore支持了多种卷积算法:Sliding Window、Im2Col+GEMM、Strassen、Winograd、Indirect Convolution、FFT等。如何在不同的条件下选择最优的卷积算法,通常有3种做法:

  1. 基于经验的人工设置
  2. 通过数学建模的Cost Model
  3. 通过机器学习算法模型,使用已有数据集对其进行离线训练,最终得到一个可靠的卷积算子选择器



目前,MindSpore支持了2和3两种方式来进行最优卷积算法的选择。
算法的选择,除了考虑性能,还需要考虑特定场景下的内存限制。例如,对于IoT场景的硬件设备,如果选择最为常见的Im2Col+GEMM算法,计算过程需要将输入和卷积核在内存中拉平,占内存较大。MindSpore针对这种场景,选择占用内存较少的Indirect Convolution算法。


 

  • 联邦学习


MindSpore的联邦学习方法,同时支持cross-device(ToC)和cross-silo(ToB)两种场景,在数据不出域的条件下,实现多方联合建模,以帮助企业应用提效降本,助力不同行业智慧升级。在安全性方面,MindSpore提供多种模型加密方式,可以适用于大规模无状态的终端设备,包括差分隐私、秘密共享、安全聚合等,用户可自定义安全等级。

 

最后,送一波福利!!是我现在用的,性价比非常不错的云服务器,还有包月8折的优惠,运气好还有一大波代金券或免费服务器可以薅!!

华为云服务器包月8折!!运气好,还可以领取大量代金券,羊毛薅起来!

华为云AI注册链接

1、点击上面链接。

2、选择“注册并关联”,完成后,登录华为云,完成实名认证

3、如果已有华为账号,可以选择“已有账号,登录后关联”即可。如果关联不成功。那么需要重新点击链接注册一个新账号。(注:关联不成功,必须重新注册新账号,不然没办法薅羊毛了!!)

3、【亲测】24小时内,包月折扣 8折 ,会自动生效。折扣长期有效。非常划算!!!