边缘计算——Edge Intelligence：The Confluence of Edge Computing and Artificial Intelligence

Edge Intelligence：The Confluence of Edge Computing and Artificial Intelligence

Abstract

随着人工智能和硬件架构的发展，在网络边缘产生了数十亿字节的数据，这对数据处理和结构优化提出了巨大的要求。因此将边缘计算与人工智能相结合的需求很大，这就产生了边缘智能(edge intelligence).在本文中将边缘智能分成了两个部分——AI on edge(intelligence—enabled edge computing)和AI for edge(artificial intelligence on edge)。前者侧重于借助流行、有效的人工智能技术，为边缘计算中的关键问题提供更优的解决方案，而后者则研究如何在边缘上进行人工智能模型构建的整个过程，即模型训练和推理。

Introduction

随着物联网的扩散，更多的数据由分布广泛、地理上分布的移动和物联网设备创建，可能比大型云数据中心生成的数据还要多。将如此庞大的数据从边缘转移到云是很难处理的，因为这会导致过度的网络拥塞。因此，更适用的方式是直接在边缘云服务器上处理用户需求，这导致了边缘计算的诞生。一般来说，边缘计算提供特定的移动服务，这些服务需要超低延迟、高带宽和实时访问无线网络信息。边缘计算的原理是将计算和通信资源从云推送到网络边缘，提供服务和计算，便面不必要的通信延迟，为最终用户提供更快的响应。

考虑到人工智能对于快速分析海量数据和提取信息功能上的必要性，将边缘计算与人工智能相结合的需求很大，这就产生了边缘智能。

• AI for edge：具体是利用有效的人工智能技术为边缘计算中的约束优化问题提供更好的解决方案的研究方向，人工智能被用来赋予更多的智能和最优化，因此可以被理解为：intelligence-enabled edge computing(IEC)

• AI on edge：研究如何在边缘运行AI模型，它是基于设备-边缘-云协同的人工智能模型的运行训练和推理框架，皆在从海量、分布式的边缘数据中提取insight，同时满足算法性能、成本、隐私、可靠性、效率等方面的要求。因此被称为AI on edge(AIE)

Relation between edge computing and AI

人工智能为边缘计算提供技术和方法：边缘计算是一种分布式计算范式，通过构建软件定义的网络来分散数据，提供具有鲁棒性和弹性的服务。人工智能技术能够处理这一任务，从本质上讲，人工智能模型从真实场景中提取无约束优化问题，然后用SGD方法迭代地寻找渐进最优解，无论是统计学习方法还是深度学习方法都可以为边缘提供帮助和建议。

边缘计算为人工智能提供了场景和平台：除了大型云数据中心之外，更多的数据是由分布广泛、地理上分布的移动和物联网设备创建的。可以说，边缘计算为人工智能提供了一个功能丰富的异构平台。边缘硬件的升级也为人工智能注入了活力。

Research roadmap od edge intelligence

Quality of Experience

• 性能：ICE和AIE对性能的要求是不同的。对于前者，绩效指标依赖于问题。例如，在计算卸载问题时，性能可以是成功卸载的比率，当涉及到服务布局问题时，可能时服务提供商需要最大化利益和最小化基站的租用成本。对于后者，性能主要包括训练损失和推理准确性。

• 成本：成本通常包括计算成本、通信成本和能耗。计算成本反映的时对计算资源的需求；通信成本反映的是对通信资源的请求；

• 隐私：隐私保护导致了联邦学习的诞生，它从分布式设备聚合本地机器学习模型，同时放置数据泄露。

• 效率：对效率的追求是改进现有算法和模型的关键因素，特别是对于处于边缘的人工智能而言。为了提高深度人工智能模型的训练和推理效率，提出了模型压缩、条件计算、算法异步化等方法。

• 可靠性：系统可靠性确保边缘计算在任何规定的运行时间都不会失败。

Recapitulation of IEC

• topology：关注边缘站点(OES)和无线网络的编排。在本文中，将边缘站点定义为微数据中心，该微数据中心部署了应用程序，并附加到小单元BS。

  • OES研究无线电信设备和服务器的部署和安装。近年来，无人机(uav)的管理和自动化的研究变得非常流行。具有小服务器和接入点的无人机可视为机动性强的移动边缘服务器。因此许多工作都在探索无人机能量消耗最小化的调度和轨迹规划问题。

  • WN研究数据采集和网络规划。前者专注于快速获取订阅边缘设备上丰富但高度分布式的数据，而后者专注于网络调度、操作和管理。快读数据采集包括多路接入、无线电资源分配和信号编解码。网络规划研究协议和中间件的有效管理。

  • 近年来，智能网络的发展趋势越来越明显，这涉及到利用当前流行的人工智能技术构建只能无线通信机制。

• content：将重点放在数据配置、服务配置(service provisioning)、服务布局(service placement)和服务缓存。

  • 对于数据和业务发访，可用资源可由远程运输局中心和边缘服务器提供，近年来，人们发现如果采用适当的激励机制，共享的资源也可以来自移动设备。

  • 服务布局是对服务配置的重要补充,服务配置服务配置研究再何处以及如何在可能的边缘站点上部署复杂服务。

  • 服务组合研究如何根据移动端用户的能耗和QoE来选择候选服务进行组合。它开辟了研究机会，可以利用人工智能技术来产生更好的服务选择方案。

  • 服务缓存也可以看作是服务供应的补充，研究了如何设计一个缓存池来存储频繁访问的数据和服务。服务缓存也可以以合作的方式进行研究。

• serice：关注于计算卸载、用户配置文件迁移和移动性管理。

  • 计算卸载研究通过边缘服务器选择和频谱分配的方式对各种计算资源和通信资源进行负载均衡。更多的研究工作集中在利用Lyapunov优化技术。

    • 近年来，通过DQN优化计算卸载决策的研究非常流行。它将计算卸载问题建模微MDP，并使长期效用性能最大化。该实用程序可以由QoE指标组成，并根据迭代贝尔曼方程发展。在此基础上，给出了基于DQN的卸载决策的渐进最优计算方法。

  • 用户配置文件迁移研究如何在移动用户不断移动时调整用户配置文件的位置。用户配置文件迁移通常与移动性管理相关。

Recapitulation of AIE

• Framework Design：框架设计旨在不修改现有AI模型的情况下，为边缘提供更好的训练和推理体系结构。研究者视图为模型训练和模型推理设计新的框架。

  • Model Training：对于模型培训，除了基于知识提炼的框架外，所有提出的框架都是分布式的。分布式训练框架可分维主设备拆分、辅助设备拆分和设备-设备拆分。区别在于训练样本来自哪里，以及全局模型时如何组装和聚合的。

    • 模型拆分将神经网络的各个层分离开来，并将它们部署在不同的设备上，它高度依赖复杂的管道。

    • 基于知识蒸馏的框架可能不是中心化的，他们依赖于迁移学习技术。知识蒸馏可以提高浅层学生网络的准确性。

      • 它首先在一个基本数据集上训练一个基本网络。

      • 之后，学习到的特征可以转移到学生网络，分别再他们的数据集上进行训练。

      • 基础网络可以再云或边缘服务器上进行训练，而学生网络则可以分别通过大量拥有私人数据的移动端设备进行训练。

      • 我们认为，在基于知识蒸馏的框架中，有很大的途径可以探索模型训练的边缘。

    • 模型培训中最受欢迎的工作是联合学习。为了在分布式训练dnn时保护隐私，提出了联合学习。联邦学习无需将用户私有数据聚合到一个中央数据中心，而是在多个客户机上训练一系列本地模型。然后，通过平均每个客户端的训练梯度来优化全局模型。

  • model inference：模型拆分/划分可以看作是模型推理的一个框架。其它方法，例如模型压缩、输入过滤、提早退出等等，可以看作是对现有框架的调整。

• Model Adaptation：模型自适应在现有的训练和推理框架(通常是联合学习)的基础上进行适当的改进，使其更适用于边缘。

• Processor Acceleration：处理器加速的重点是优化dnn的结构，可以改善频繁使用的计算密集型乘累加操作。硬件上加速dnn计算的方法包括：

  1. 设计专门用于DNN训练和推理的指令集

  2. 设计高并行计算范式

  3. 将计算移向内存(接近数据处理)

AI for Edge

在上一节我们只是给出了而已个分类和可能的研究方向，但没有深入分析如何将人工智能技术应用到边缘，产生更优的解决方案。

上图给出了对于AI技术如何在移动边缘计算(MEC)环境中使用例子。

• 首先，我们需要确定要研究的问题。以性能优化为例，需要确定优化目标、决策变量和潜在约束条件。需要优化的目标可以是任务执行延迟、传输延迟和任务丢弃成本的组合。

• 然后，建立数学模型。如果考虑系统的长期稳定性，则可以使用李雅普诺夫优化技术来形式化问题。

• 最后，我们应该设计一个算法来解决这个问题。

事实上，模型的构建不仅取决于所要研究的问题，也取决于索要应用的优化算法。以DQN为例，我们必须将问题建模为具有有限状态和行动的MDP。因此，在长期优化问题中不存在约束条件。

最常见的方法是将这些约束转化为惩罚，并将惩罚添加到优化目标中。

SOTA

• Wireless Networking：

  • Towards an intelligent edge: Wireless communication meets machine learning将协同应用人工智能，以完全在线的方式实现智能网络优化。这篇文章提出一套新的设计原则，用于嵌入机器学习技术和模型的无线通信，统称为学习驱动通信。它可以跨越数据采集的整个过程，一次是多路访问、无线电资源管理和信号编码。

  • 学习驱动的多址接入提出利用无线通信的独特特性进行函数计算。首先提出了联邦学习中同时传输的模型更新应该利用多址信道的波形叠加特性进行模拟聚合。之后探索联邦学习中模型聚合的空中计算。最后将原理付诸实践，将器件选择和波束形成设计建模为一个稀疏和低秩优化问题。

  • 学习驱动的无线电资源管理提出无线电资源应根据传输数据的价值进行分配，而不仅仅是频谱利用的效率。因此，它可以理解为重要感知资源分配，一种明显的方法是重要感知重传。Wireless federated distillation for distributed edge learning with heterogeneous data，这篇文章提出了一种重传协议，命名为重要性感知自动重传(重要性ARQ)。重要性ARQ在期望的学习精度下权衡信噪比和数据不确定性。该算法能在避免信道噪声导致学习性能下降的同时实现快速收敛。

  • 学习驱动的信号编码规定了信号编嘛的设计应联合优化特征提取、源编码和信道编码。

  • 除了学习驱动的通信，一些工作从能源消耗和无线电资源效率的角度对WN的AI 做出了贡献。Deep reinforcement learning based mode selection and resource allocation for cellular V2X communications提出了一种基于drl的去中心化算法，Reinforcement learning-based microgrid energy trading with a reduced power plant schedule设计了一种基于drl的能源交易算法。A graph neural network approach for scalable wireless power control利用图神经网络(GNNs)开发了可扩展的k-用户干扰信道功率控制方法。

• service Placement and Caching：许多研究者从asp的角度研究服务布局。他们将数据和服务布局问题建模为MDP，并利用诸如强化学习等人工智能方法来实现最优布局决策。

  • 服务缓存可以看作是对服务布局的补充。边缘服务器可以配置特殊的服务缓存，以满足用户对热门内容的需求，为了使边缘服务器具有学习能力，提出了一系列关于服务缓存的优化问题。

• Computing Offloading：计算卸载可以被认为使人工智能边缘最活跃的话题。它研究资源密集型计算任务从资源有限的移动设备转移到边缘与云。这个过程涉及到许多资源的分配，从CPU周期到通道带宽。因此，具有较强优化能力的人工子还能技术近年来得到了广泛应用。

Grand Challenges

• Model Establishment：如果我们要使用人工智能方法，数学模型必须是有限的，公式优化问题需要是有限的。这一方面是因为如果原始搜索空间受到限制，人工智能技术、SGD和minibatch gradient descent方法的优化基础可能无法很好地工作。另一方面，特别是对于MDPs，状态集和动作集是无限地，在进一步处理之前需要进行离散化，以避免维数灾难。一般解决方法是将约束转化为惩罚，并将其纳入全局优化目标。这种现状极大地制约了数学模型地建立，导致性能下降，可以被看作是利用人工智能方法的一种妥协。

• Algorithm Deployment:最先进的工作往往形成一个组合和NP-hard优化问题，具有相当高的计算复杂性。用凸优化方法求得近似最优解的工程很少。实际上，对于边缘的人工智能来说，解决方案主要来自基于迭代学习的方法。另一个被忽略的问题是，由哪个边缘设备来部署和运行所提出的复杂算法。

• Balance Between Optimality and Effciency：尽管人工智能技术确实可以提供最优的解决方案，但在资源受限的边缘，优化和效率之间的权衡是不可忽视的。

AI on edge

在之前的节数中，我们将AI on edge的研究工作分为模型自适应、框架设计和处理器加速。目前为止。与基于云的预测相比，处于边缘的人工智能模型非常有限。如何在资源匮乏的设备上进行模型训练和推理是一个非常重要的问题。因此，与设计新的框架相比，边缘计算的研究者更感兴趣的是改进吸纳有框架，使其更适合于边缘，通常减少资源占用。

SOTA

• Model Compression：如上图所示，模型压缩的方法包括量化、降维、剪枝、组件共享、精度降级等。它们利用梯度和权值的固有稀疏性结构，尽可能地减少内存和信道占用。还有一点需要明确的是，模型压缩既适用于模型训练，也适用于模型推理，并不用可以区分它们。

  • 当我们将联邦学习移动到边缘时，最大限度地减少通信轮数时主要目标，因为如果一个或多个本地设备离线或网络堵塞，更细腻全局模型可能无法实现。因此，很多工作都从某个不同地角度关注如何降低联邦学习的通信开销。在不降低推理精度的前提下对训练模型进行压缩式实现折以目标的最佳途径之一。

    • Federated learning: Strategies for improving communication efficiency中，为了降低上行通信成本，提出了结构化更新和草图更新。对于结构化更新，从受限的低维空间学习局部更新；对于草图更新，上传模型在发送到奥中央服务器之前被压缩。

    • Practical secure aggregation for federated learning on user-held data设计了一种高效通信的高维数据安全聚合协议。

    • Strategies for re-training a pruned neural network in an edge computing paradigm研究表明，dnn通常被过度参数化，它们的权重有显著的冗余。同时，剪枝弥补了性能上的损失。因此，这篇文章提出了一种修剪后再培训的方案。它对新数据重新训练DNN，而修建后的权值保持不变。该方案再保证学习准确性的同时，可以减少对资源的占用。

    • Memory-driven mixed low precision quantization for enabling deep network inference on microcontrollers的工作利用了混合低位宽压缩，在给定的内存约束条件下确定每个激活的最小位精度和权值。

  • 一些研究也探讨了基于分区dnn的模型压缩。

    • Autotuning neural network quantization framework for collaborative inference between the cloud and edge提出了一种用于边缘与云之间协作推理的自动调整神经网络量化框架。首先对DNN进行分区。第一部分在边缘设备上量化执行，第二部分在云上全精度执行。

    • SCAN: A scalable neural networks framework towards compact and efficient models提出了一个加速和压缩模型训练和推理的框架。它根据dnn的深度将其划分为多个段，并根据不同段的中间特征构造分类器。

  • 除了联邦学习，还有研究统计学习模型或其它流行的深度模型的执行的工作，如ResNet和VGG架构在资源有限的终端设备上。

  • 模型压缩由于易于实现，是目前人工智能边缘领域非常活跃的一个方向。然而，最先进的工作通常不绑定到边缘计算系统的特定应用场景。

• Coditional Computation：条件计算的方法包括组件共享、组件关闭、输入过滤、提前退出、结果缓存等。简单地说，条件计算式选择性地关闭一些不重要的计算。因此，可以将其视为闭塞性退出。大量的工作致力于排序和选择最有价值的部分进行计算或在达到置信阈值时提取停止。

• Algorithm Asynchronization：算法异步尝试以异步方式聚合本地模型以进行联合学习。由于无线网络拥塞，参与的本地用户很有可能无法完成模型的上传和下载。除了模型压缩之外，另一种方法时对等交换权值和梯度，以降低无线信道上的高并发性。

• Thorough Decentralization：彻底的去中心化尝试删除中央聚合器，以避免任何可能的泄露。虽然联邦学习不需要消费者的私有数据，但是模型更新仍然包含私有信息，因为仍然需要协调训练的服务器的一些信任。为了避免隐私邪路，区块链技术和游戏理论方法可以帮助完全去中心化。

  • 利用区块链，特别是智能合约，用于模型聚合的中央服务器就不再需要了。因此，可以便面模型聚合引发的崩溃。此外，还可以保护用户的隐私。

Grand Challenges

• Data Availability：最严峻的挑战在于原始训练数据的可获取性和可利用性，因为可用数据是一切的开始。首先，适当的激励机制可能是移动用户提供数据的必要条件。否则，原始数据可能无法用于模型训练和推断。此外，来自各个终端设备的原始数据可能会有明显的偏差，这将极大地影响学习性能。

• Model Selection：首先，如何选择适合人工智能模型学习精度和规模地阈值，以便快速部署和交付。第二，如何在有限的资源下选择探索性培训框架和处理器架构。模型选择与资源配置和管理耦合，问题复杂而富有挑战性。

• Coordination Mechanism：由于异构边缘设备之间的计算能力和通信资源存在巨大差异，所提出的模型适配方法可能无法普遍适用。这可能会导致相同的方法在不同的移动设备集群中获得不同的学习结果。