联邦学习FedAvg

533 words

Artificial intelligence and statistics, 2017


摘要

背景:现代移动设备可以访问适合学习模型的大量数据,这反过来又可以极大地改善设备上的用户体验。
问题:然而,这些丰富的数据通常对隐私敏感、数量庞大。
方案:提出将训练数据分布在移动设备上,并通过聚合本地计算的更新来学习共享模型,并称之为“联邦学习”。


介绍

贡献

1)将移动设备去中心化数据的训练问题确定为一个重要的研究方向;
2)选择可以应用于此设置的简单且实用的算法;
3)对所提出的方法进行广泛的实证评估。

联邦学习的特点

1)对来自移动设备的真实世界数据进行训练比对数据中心中通常可用的代理数据进行训练具有明显的优势。
2)这些数据对隐私敏感或数据量较大(与模型的大小相比),因此最好不要纯粹出于模型训练的目的(服务于集中收集原则)将其记录到数据中心。
3)对于监督任务,数据上的标签可以从用户交互中自然推断出来。

隐私

联邦学习传输的信息是改进特定模型所需的最小更新。

联邦优化

1)非独立同分布(Non-IID)
2)不平衡——用户参与度不同
3)大规模分布
4)有限的通信

非联邦环境下的训练:
image.png
一共n个数据,fi(w) = l(xi, yi, w)

联邦环境下的训练:
image.png
一个K个客户,每个客户nk个数据


算法

image.png


实验

image.png
image.png
image.png
image.png
image.png
image.png
image.png

Comments