作者|刘大一恒、齐炜祯、晏宇、宫叶云、段楠、周明
编者按：微软亚洲研究院提出新的预训练模型ProphetNet，提出了一种新的自监督学习目标——同时预测多个未来字符，在序列到序列的多个自然语言生成任务都取得了优异性能。
大规模预训练语言模型在自然语言理解和自然语言生成中都取得了突破性成果。这些模型通常使用特殊的自监督学习目标先在大规模无标记语料中进行预训练，然后在下游任务上微调。
传统自回归语言模型通过估计文本语料概率分布被广泛用于文本建模，序列到序列的建模，以及预训练语言模型中。这类模型通常使用teacher-forcing的方法训练，即每一时刻通过给定之前时刻的所有字符以预测下一个时刻的字符。然而，这种方式可能会让模型偏向于依赖最近的字符，而非通过捕捉长依赖的信息去预测下一个字符。有如以下原因：局部的关系，如两元字符的组合，往往比长依赖更强烈；Teacher-forcing每一时刻只考虑对下一个字符的预测，并未显式地让模型学习对其他未来字符的建模和规划。最终可能导致模型对局部字符组合的学习过拟合，而对全局的一致性和长依赖欠拟合。尤其是当模型通过贪心解码的方式生成序列时，序列往往倾向于维持局部的一致性而忽略有意义的全局结构。
FTX对FTX高管Daniel Friedberg提起诉讼:金色财经报道，FTX对担任FTX首席监管官、FTX.US首席合规官和Alameda Research总法律顾问等多重职务的Daniel Friedberg提起诉讼。FTX在诉状中声称Friedberg是该交易所联合创始人SBF的“掮客”，他向两名潜在举报人支付了封口费，以阻止他们泄露有关监管问题以及所谓的密切关系的信息。 在这份长达40页的文件中，FTX提出了11项民事指控，其中包括指控Friedberg违反了其法律职责，并批准向其他前FTX高管进行一系列欺诈性转账和贷款。
据称，在Friedberg在该交易所工作的22个月期间，他还获得了30万美元的薪水、140万美元的签约奖金以及FTX.US 8%的股权，据投诉称，FTX正在寻求收回所有这些股权。[2023/6/28 22:05:09]
ProphetNet
针对上述问题，我们提出了一个新的seq2seq预训练模型，我们称之为ProphetNet。该模型带有一个新颖的自监督学习目标函数，即预测未来的N元组。与传统seq2seq的Teacher-forcing每一时刻只预测下一个字符不同，ProphetNet每一时刻将学习去同时预测未来的N个字符。如图1所示：
Uniswap发布自托管钱包，但被苹果拒绝上架:3月4日消息，在刚刚举行的EthDenver会议上，Uniswap发布了自己品牌的钱包App。该钱包支持以太坊、Polygon、Optimism等网络。该钱包还提供价格监测工具，并可追踪其他地址的交易活动。这一钱包还可借由苹果iCloud存储助记词。
但苹果拒绝给予了Uniswap将App上架的请求。Uniswap的一位发言人表示“苹果还没有批准我们的发布申请，且并未说明原因——我们已经回应了他们的担忧，回答了每一个问题，并重申我们100%符合他们的要求。”
目前，这一钱包尚无Android版本，这一意味着该钱包仍基本上无法使用。目前已有部分用户可通过TestFlight使用该App。[2023/3/4 12:41:26]
图1：左边是传统的语言模型，每一时刻预测下一时刻的字符。右边是Bigram形式下的ProphetNet，每一时刻同时预测未来的两个字符。
上海股交中心研发的“区块链业务平台系统1.0”通过国家版权保护中心审查:金色财经报道，近日，上海股交中心研发的“区块链业务平台系统1.0”和“私募基金估值系统1.0”，通过国家版权保护中心审查，获得中国国家版权局颁发的计算机软件著作权登记证书。“区块链业务平台系统”实现了市场中7类主题数据与监管链对接，打造“区块链+登记托管”、“区块链+企业画像”、“区块链+企业服务”和“区块链+私募服务”创新应用场景。“私募基金估值系统”探索私募基金估值理论的适用场景，设计不同发展阶段企业的估值逻辑，打造适用于区域股权市场的估值体系和大数据智能估值架构。[2023/1/14 11:11:54]
预测未来N元组这一自监督学习目标在训练过程中显式地鼓励模型在预测下一个字符时考虑未来更远的字符，做到对未来字符的规划，以防止模型对强局部相关过拟合。
ProphetNet基于Transformer的seq2seq架构，其设计有两个目标：1.模型能够以高效的方式在训练过程中完成每时刻同时预测未来的N个字符；2.模型可以灵活地转换为传统的seq2seq架构，以在推理或微调阶段兼容现有的方法和任务。为此，我们受XLNet中Two-streamselfattention的启发，提出了用于模型decoder端的N-streamself-attention机制。图2展示了bigram形式下的N-streamself-attention样例。
俄罗斯将采用区块链技术来创建平台替代SWIFT支付系统:金色财经报道，来自俄罗斯圣彼得堡国立大学国家技术计划能力中心的专家宣布，他们正准备试用一种新的银行间支付系统，以替代SWIFT。由于莫斯科决定入侵乌克兰而实施的金融限制，俄罗斯主要银行现在无法进入后者。
该大学在一份声明中说：“去中心化银行间金融信息系统的试点版本已准备好进行测试，并可在银行中使用。” 该中心的技术总监亚历山大·基里耶夫说，初步测试显示出良好的效果。目前在一个节点的传输速度超过每秒 25,000 条消息，未来网络的容量可以增加。（news.bitcoin）[2022/7/13 2:10:45]
除了原始的multi-headself-attention之外，N-streamself-attention包含了额外的N个predictingstreamself-attention，用于分别预测第n个未来时刻的字符所示。每一个predictingstream与mainstream共享参数，我们可以随时关闭predictingstream以让模型转换回传统seq2seq的模式。
Lido Finance新增8家以太坊质押节点运营商，总节点数达29个:6月23日消息，LidoDAO宣布已经批准新增了8家Lido以太坊质押节点运营商，正在办理并入主网手续。Lido节点运营商旗下治理小组（LNOSG）在42份申请中选出的8家新节点运营商，已于2022年6月5日获得批准并完成快照拍摄。这使得具有Lido的质押运营节点总数达到29个。
此前报道，质押协议Lido Finance宣布将于北京时间4月12日至5月1日7：59，开放以太坊质押节点新运营商注册申请，旨在进一步扩大协议的去中心化程度。[2022/6/23 1:26:19]
图2：(a)为mainstreamself-attention；(b)为1-stpredictingstreamself-attention；(c)为2-ndpredictingstreamself-attention；(d)展示了n-streamself-attention的输入输出及流程。
由于难以获取到大量带标记的序列对数据，我们用去噪的自编码任务通过大量无标记文本预训练ProphetNet。去噪的自编码任务旨在输入被噪音函数破坏后的序列，让模型学习去复原原始序列。该任务被广泛应于seq2seq模型的预训练中，如MASS、BART、T5等。本文中使用MASS的预训练方式，通过引入提出的predictingn-stream自监督学习目标函数预训练ProphetNet。我们以bigram形式的ProphetNet为例，整个流程如图3所示：
图3：二元形式下的Prophet整体框架图
实验结果
我们使用两个规模的语料数据训练ProphetNet。ProphetNet包含12层的encoder和12层的decoder，隐层大小为1024。先在BERT所使用的BookCorpus+Wikipedia的数据上预训练模型，将模型在Textsummarization和Questiongeneration两个NLG任务上的三个数据集微调并评估模型性能。与使用同等规模数据的预训练模型相比，ProphetNet在CNN/DailyMail、Gigaword和SQuAD1.1questiongeneration数据集上都取得了最高的性能，如表1-3所示。
表1：CNN/DailyMail测试集结果
表2：Gigaword测试集结果
表3：SQuAD1.1测试集结果SQuAD1.1交换验证测试集结果
除了使用16GB的语料训练模型，我们也进行了更大规模的预训练实验。该实验中，我们使用了160GB的语料预训练ProphetNet。我们展示了预训练14个epoch后的ProphetNet在CNN/DailyMail和Gigaword两个任务上微调和测试的结果。如表4所示。需要注意的是，在相同大小的训练数据下，我们模型的预训练epoch仅约为BART的三分之一。我们模型的训练数据使用量仅约为T5和PEGASUSLARGE的五分之一，约为PEGASUSLARGE的二十分之一。尽管如此，我们的模型仍然在CNN/DailyMail上取得了最高的ROUGE-1和ROUGE-LF1scores。并在Gigaword上实现了新的state-of-the-art性能。
表4：模型经大规模语料预训练后在CNN/DailyMail和Gigaword测试集的结果
为了进一步探索ProphetNet的性能，我们在不预训练的情况下比较了ProphetNet和Transformer在CNN/DailyMail上的性能。实验结果如表5所示，ProphetNet在该任务上超越了同等参数量的Transformer。
表5：模型不经过预训练在CNN/DailyMail验证集结果
总结
本文介绍了微软亚洲研究院在序列到序列模型预训练的一个工作：ProphetNet，该模型提出了一种新的自监督学习目标，在同一时刻同时预测多个未来字符。并通过提出的N-streamself-attention机制高效地实现了模型在该目标下的训练。实验表明，该模型在序列到序列的多个自然语言生成任务都取得了不错的性能。我们将在之后尝试使用更大规模的模型架构和语料进行预训练，并进一步深入地探索该机制。
论文链接：https://arxiv.org/pdf/2001.04063.pdf
原力计划
《原力计划-学习力挑战》正式开始！即日起至3月21日，千万流量支持原创作者！更有专属等你来挑战
Python数据清理终极指南口罩检测识别率惊人，这个Python项目开源了谈论新型冠状病、比特币、苹果公司……沃伦巴菲特受访中的18个金句，值得一看！天猫超市回应大数据杀熟；华为MateXs被热炒至6万元；Elasticsearch7.6.1发布一张图对比阿里、腾讯复工的区别不看就亏系列！这里有完整的Hadoop集群搭建教程，和最易懂的Hadoop概念！|附代码
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。