前言
上一篇我们讲述了人工智能，机器学习与联邦学习的关系。
这篇我们将继续探索联邦学习方法的分类。联邦学习方法被分为横向联邦学习、纵向联邦学习和迁移联邦学习三类，适用于解决不同的实际问题。
横向联邦学习
在两个数据集的用户特征重叠较多而用户重叠较少的情况下，把数据集按照用户维度切分，并取出双方用户特征相同而用户不完全相同的那部分数据进行训练。这种方法叫做横向联邦学习。
▲?应用场景
美国说唱歌手Megan Thee Stallion与Cash App合作发布比特币科普视频:美国说唱歌手Megan Thee Stallion与由Square开发的移动支付服务Cash App合作发布了一段名为“Bitcoin for Hotties”的视频。该视频从她的角度解释了什么是比特币，为什么比特币有价值等内容。Megan Thee Stallion在Instagram上拥有超过2410万粉丝，在 Twitter上拥有640万粉丝。（Bitcoin News）[2021/8/8 1:41:10]
横向联邦学习的本质是样本的联合，适用于参与者间业态相同但触达客户不同，即特征重叠多，用户重叠少时的场景，比如不同地区的银行间，他们的业务相似，但用户不同。
比如，有两家不同地区银行?—?上海与杭州两地的两家银行，它们的用户群体分别来自上海与杭州的居住人口，用户的交集相对较小。由于银行间的业务相似，记录的用户特征大概率是相同的。因此，横向联邦学习可以被考虑用来构建联合模型。
欧科云链集团正式启动区块链科普行动“星途计划”:欧科云链集团于4月26日，正式宣布启动了区块链科普行动——“星途计划”，行动包括将在全国范围展开系列沙龙，加大力度推进区块链科普进机关、进国企、进校园等，联合政府部门、行业协会等共同构建起更加完善和有效的区块链科普教育生态，与此同时，直击区块链科普现存痛点，推出简单易懂的“秒懂区块链”公益短视频课。
该计划旨在全维度推动社会建立对产业更清晰的认知，与“鲲鹏计划”一道助力数字经济及区块链产业本身健康发展夯实“人才”和“产业认知”两大基础。[2021/4/26 20:59:37]
于2017年，Google提出了一个针对安卓手机模型更新的数据联合建模方案：在单个用户使用安卓手机时，不断在本地更新模型参数并将参数上传到安卓云上，从而使特征维度相同的各数据拥有方建立联合模型的一种联邦学习方案。
声音 | 上海股交所总经理：区块链想要大规模发展要做好社会科普工作:金色财经报道，上海股交所总经理张云峰表示，区块链当前还处于一个“概念”的阶段，距离成熟应用，影响到百姓的日常生活还有很长的路要走。对于“区块链”和其会带来的社会和经济效果，沈阳应当持审慎的态度。区块链想要大规模发展，一方面要做好这项复杂技术的社会科普工作，加快社会大众对区块链的了解。另一方面，要充分发挥市场的作用，让企业用实实在在的技术创新，赋能实体经济的发展。[2019/11/17]
▲?学习过程
声音 | 中科院姚建铨：要加快推进区块链与物联网融合的科普 培训:据新华网消息，日前，在区块链与物联网融合发展峰会上，中国科学院院士姚建铨说，关注区块链技术里面的大数据，跟区块链技术结合起来进行测量和检测，能更好地提升激光清洗技术。姚建铨建议，无锡今后要加快推进区块链与物联网融合的科普、培训，正确引导广大人民群众对技术的认知；同时，建立专业、权威，但又普适、成套的理论体系和标准，以此切入区块链的实际应用。[2018/9/18]
Step1.参与方各自从协调方上下载最新模型；
Step2.每个参与方利用本地数据训练模型，加密梯度上传给协调方，协调方聚合各用户的梯度以更新模型参数；
Step3.协调方返回更新后的模型给各参与方；
Step4.各参与方更新各自模型。
纵向联邦学习
金色财经独家分析 监管机构、媒体、业界提示风险 区块链科普道阻且长:新华社今日发文表示，近来“区块链”类案件频发，不法分子以“投资虚拟货币周期短、收益高、风险低”为借口，取用户信任并诱使其转账进行投资。无独有偶，同日消息，腾讯手机管家安全专家也提醒此类风险，并从技术上提出防建议。在美国，监管机构警示加密货币欺诈现象普遍承诺高收益而不披露潜在风险。金色财经独家分析，不法分子假借新技术之名进行，一方面是抓住民众趋利的心理，一方面反映出区块链科普的欠缺。区块链是新兴科技和底层技术并有改变社会生产关系的潜力，应该进行系统性的科普教育，当前，部分大学已经开始设置了区块链课程，但对于普通民众仍然有科普的需求，人们应该了解到系统和正确的知识，不仅要了解区块链的好，也要明确局限和弊端，以在高收益的诱惑下，保持清醒客观。[2018/4/11]
在两个数据集的用户重叠较多而用户特征重叠较少的情况下，把数据集按照特征维度切分，并取出双方用户相同而用户特征不完全相同的那部分数据进行训练。这种方法叫做纵向联邦学习。
▲?适用场景
纵向联邦学习的本质是特征的联合，适用于用户重叠多，特征重叠少的场景，比如同一地区的商超和银行，他们触达的用户都为该地区的居民，但业务不同。
比如，有两个不同机构，一家是某地的银行，另一家是同一个地方的电商。它们的用户群体很有可能包含该地的大部分居民，用户的交集可能较大。由于银行记录的都是用户的收支行为与信用评级，而电商则保有用户的浏览与购买历史，因此它们的用户特征交集较小。纵向联邦学习就是将这些不同特征在加密的状态下加以聚合，以增强模型能力的联邦学习。
▲?学习过程
介绍一种简单通用的纵向联邦学习的建模学习过程，加密方式也以半同态加密的PallierEncryption为主。
训练前：
先采用加密文本对齐的技术手段，在系统内筛选出不同企业之间的共同用户。
训练时：
Step1.协调方C向企业A与B发送公钥，用来加密所需传输的数据；
Step2.A和B分别计算和自己相关特征的中间结果，并加密完后进行交互，用来求解各自的梯度结果和损失结果；
Step3.A和B分别计算各自加密后的梯度并添加掩码后发送给C，同时B计算加密后的损失先发送给C；
Step4.C解密梯度和损失后回传给A和B，A、B去除掩码并更新模型。
迁移联邦学习
在两个数据集的用户与用户特征重叠都较少的情况下，不对数据进行切分，而可以利用迁移学习来克服数据或标签不足的情况。这种方法叫做联邦迁移学习。
▲?适用场景
当参与者间特征和样本重叠都很少时可以考虑使用联邦迁移学习，如不同地区的银行和商超间的联合。主要适用于以深度神经网络为基模型的场景。
迁移学习的核心是，找到源领域和目标领域之间的相似性。举一个杨强教授经常举的例子来说明：我们都知道在开车时，驾驶员坐在左边，靠马路右侧行驶。这是基本的规则。然而，如果在英国、香港等地区开车，驾驶员是坐在右边，需要靠马路左侧行驶。那么，如果我们从到了香港，应该如何快速地适应他们的开车方式呢？诀窍就是找到这里的不变量：不论在哪个地区，驾驶员都是紧靠马路中间。这就是我们这个开车问题中的不变量。找到相似性?(不变量)，是进行迁移学习的核心。
比如有两个不同机构，一家是位于中国的银行，另一家是位于美国的电商。由于受到地域限制，这两家机构的用户群体交集很小。同时，由于机构类型的不同，二者的数据特征也只有小部分重合。在这种情况下，要想进行有效的联邦学习，就必须引入迁移学习，来解决单边数据规模小和标签样本少的问题，从而提升模型的效果。
▲?学习过程
联邦迁移学习的步骤与纵向联邦学习相似，只是中间传递结果不同。
以上是常见的几种联邦学习类型，联邦学习这件“小事”能用在什么场景中，带来怎样的价值，会在下一篇文章中详细介绍。也欢迎各位与我们一起对以上三种类型的联邦学习进行更深一步的讨论，添加小助手加入技术交流群。
作者简介
严杨
来自数据网格实验室BitXMesh团队?PirvAIの修道者
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。