Proceedings of Machine learning and systems, 2020
FedAvg的问题系统异构：FedAvg遇到规定时间内计算不完E次更新的设备会直接丢弃，不能让不同设备执行不同次数的更新。统计异构：FedAvg在非IID数据上存在经验差异。
FedProx：致力于解决系统异构性和统计异构性联邦学习的目的
FedProx思想背景：FedAvg限制每个设备每一轮训练epoch数为E问题：每个设备的能力不同，这样做会导致部分设备可能不能完成训练，丢弃掉队者（FedAvg）或是直接合并掉队者未迭代完成的模型（FedProx且近端项为0）都会增加统计异质性。解决：每个设备、每个轮次的最佳epoch数不一定要相同这一段的意思是，对于第t轮传过来的模型wt，客户端有一个度量γkt只要模型经过一定训练使模型当前的梯度小于γ~[0-1]倍的原始wt模型的梯度，就表明现在的模型已经是一个γ-不精确解了，就可以接受了，这个γ即接受程度应当是每个用户每一轮都自适应的，但是本文的实验代码只是取了一个随机数，代码中没有γ，让不同客户端完成不同epoch数的训练来模拟这个...
[ICLR-2020](ON THE CONVERGENCE OF FEDAVG ON NON-IID DATA)
本文谷歌2000+引用，几乎每个论文里提到了“联邦学习算法收敛”的都会引用这个，它证明了FedAvg在Non-IID数据上的收敛性，同时为后面的许多论文证明其方法的收敛性提供了模板。与之前的文章不同，这篇文章并没有作出以下两个联邦设置中不切实际的假设：（1）数据是IID的；（2）每个客户端总是活跃的。它证明了FedAvg的收敛速度是O（1/T），T是每个设备的SGDs总数。
N是用户设备总数K是参与每轮通信的最大设备数量T是每个设备的SGD总数E是设备在每轮通信的局部迭代次数T/E是通信轮次
本地损失定义：本地优化过程：全局优化目标：全体参与聚合：部分参与聚合：
假设1：如果是L-Lipschitz的，就有了一个二次函数的上界假设2：如果是 μ-strongly convex的，就有了一个二次函数的下界假设3：每个设备的随机梯度的方差是有界的，即单采样和全采样的梯度的L2范数的平方的期望有界假设4：单采样的梯度的L2范数的平方的期望有界
...
Artificial intelligence and statistics, 2017
摘要背景：现代移动设备可以访问适合学习模型的大量数据，这反过来又可以极大地改善设备上的用户体验。问题：然而，这些丰富的数据通常对隐私敏感、数量庞大。方案：提出将训练数据分布在移动设备上，并通过聚合本地计算的更新来学习共享模型，并称之为“联邦学习”。
介绍贡献1）将移动设备去中心化数据的训练问题确定为一个重要的研究方向；2）选择可以应用于此设置的简单且实用的算法；3）对所提出的方法进行广泛的实证评估。
联邦学习的特点1）对来自移动设备的真实世界数据进行训练比对数据中心中通常可用的代理数据进行训练具有明显的优势。2）这些数据对隐私敏感或数据量较大（与模型的大小相比），因此最好不要纯粹出于模型训练的目的（服务于集中收集原则）将其记录到数据中心。3）对于监督任务，数据上的标签可以从用户交互中自然推断出来。
隐私联邦学习传输的信息是改进特定模型所需的最小更新。
联邦优化1）非独立同分布（Non-IID）2）不平衡——用户参与度不同3）大规模分布4）有限的通信
非联邦环境下的训练：一共n个数据，...
Nacos集群搭建1.集群结构图官方给出的Nacos集群图：
其中包含3个nacos节点，然后一个负载均衡器代理3个Nacos。这里负载均衡器可以使用nginx。
我们计划的集群结构：
三个nacos节点的地址：
节点
ip
port
nacos1
192.168.150.1
8845
nacos2
192.168.150.1
8846
nacos3
192.168.150.1
8847
2.搭建集群搭建集群的基本步骤：
搭建数据库，初始化数据库表结构
下载nacos安装包
配置nacos
启动nacos集群
nginx反向代理
2.1.初始化数据库Nacos默认数据存储在内嵌数据库Derby中，不属于生产可用的数据库。
官方推荐的最佳实践是使用带有主从的高可用数据库集群，主从模式的高可用数据库可以参考传智教育的后续高手课程。
这里我们以单点的数据库为例来讲解。
首先新建一个数据库，命名为nacos，而后导入下面的SQL：
123456789101112131415161718192021222324252627282930313233343536...