来源：量子位
从Meta的LLaMA发展出的羊驼家族一系列大模型，已成为开源AI重要力量。
但LLamA开源了又没全开，只能用于研究用途，还得填申请表格等，也一直被业界诟病。
好消息是，两大对标LLaMA的完全开源项目同时有了新进展。
可商用开源大模型来了，还一下来了俩：
MosaicML推出MPT系列模型，其中70亿参数版在性能测试中与LLaMA打个平手。
Together的RedPajama系列模型，30亿参数版在RTX2070游戏显卡上就能跑。
Ergo生态新增两大应用：ErgoDex和Ergo Raffle:据官方消息，Ergo dApp网站Sigmaverse近日新增了两大应用：ErgoDex和Ergo Raffle。其中ErgoDex是Ergo和Cardano上的非托管型跨链去中心化交易所，允许快速、轻松、安全地在Ergo与Cardano之间转移流动性。目前，ErgoDex已部署到Ergo网络上，处于Beta测试阶段。
Ergo Raffle则是一个面向社区的激励型众筹平台，来自世界各地的人们都可以在此发起众筹。目前，Ergo Raffle也处于Beta阶段，但已有很多人在Ergo Raffle发起众筹，且已有诸多实例，包括为开发而募资，为救助生病儿童而募资，为加密货币教育博客而募资等等。[2021/9/20 23:37:24]
对于这些进展，特斯拉前AI主管AndrejKarpathy认为，开源大模型生态有了寒武纪大爆发的早期迹象。
BTFS v1.4.2 新版本已发布，两大功能更新:据官方消息，BTFS v1.4.2 新版本已发布，有两大功能更新：1.在Host UI上增加了创建钱包的助记词二维码，用户可以用波宝钱包应用扫描二维码快速导入。2.增加了Windows版本的后端API，以支持存储位置设置的分区选择，相应的Host UI变化将在下一个版本中实现。BTFS v1.4.2 新版本也修复了四个已知错误：1.主机界面钱包展示的交易显示时间为交易时间。2.租用者上传文件的合同在本地无法使用。3.在主机界面上创建钱包会创建一个新的私钥更新为只有在用户忘记原先的密码时，才创建新的钱包。4.如果找不到二进制文件，自动更新会失败。详情请访问原文链接。[2020/12/2 22:52:19]
MPT，与LLaMA五五开
MPT系列模型，全称MosaicMLPretrainedTransformer，基础版本为70亿参数。
MPT在大量数据上训练，与LLaMA相当，高于StableLM，Pythia等其他开源模型。
火币公链汪毅江：CeFi相比于DeFi有两大问题:4月21日晚间，在主题为“繁荣与契机，技术与机制构建DeFi未来”的线上论坛活动中，火币公链技术专家汪毅江表示，CeFi是通过把自己藏起来，让别人找不到弱点的隐私保护系统安全，这是非常传统的解决方案，并有两个重大问题。第一，数据不透明，不公开，用户既不能对公平性做出判断，也不能对系统风险性做出判断；第二，从长期看CeFi相比于DeFi不利于市场的繁荣，CeFi是通过长期品牌经营，资产规模建立和维护长期信誉。而DeFi通过智能合约代码，建立信誉，更鼓励产品创新，并降低中介费用，由技术驱动的行业发展，更具有发展前景。DeFi目前处于早期阶段，但随着时间的推移，DeFi会在困难和问题中成长，并逐渐走向成熟。[2020/4/21]
支持84ktokens超长输入，并用FlashAttention和FasterTransformer方法针对训练和推理速度做过优化。
在各类性能评估中，与原版LLaMA不相上下。
声音 | 农业银行研发中心赵韵东：跨链的信息孤岛和隐私保护两大问题仍待解决:金色财经报道，中国农业银行研发中心副总经理赵韵东在采访时表示，银行对于新技术的应用很积极，也乐于尝试。但是大规模的使用和推广则是相对谨慎的。区块链技术的发展仍处于爬坡阶段，尚不完全成熟，很多应用也是在持续探索中。银行应用新技术要从三个方面着眼，第一是技术的价值，是否能够实现降本增效，扩大客户群体和提升服务能力，第二是技术和金融场景的匹配程度，第三是技术本身的成熟度。尽管区块链技术在银行业的应用初步达成了共识，但是跨链的信息孤岛和隐私保护两大问题却仍待解决。[2019/11/9]
除了MPT-7BBase基础模型外还有三个变体。
两大平台比特币跌下6700美元:目前火币pro平台比特币价格为6695.91美元，跌幅为0.24%。币安平台目前比特币价格为6698.83元，跌幅为1.03%。[2018/6/22]
MPT-7B-Instruct，用于遵循简短指令。
MPT-7B-Chat，用于多轮聊天对话。
MPT-7B-StoryWriter-65k+，用于阅读和编写故事，支持65ktokens的超长上下文，用小说数据集微调。
MosaicML由前英特尔AI芯片项目Nervana负责人NaveenRao创办。
该公司致力于降低训练神经网络的成本，推出的文本和图像生成推理服务成本只有OpenAI的1/15。
RedPajama，2070就能跑
RedPajama系列模型，在5TB的同名开源数据上训练而来。
除70亿参数基础模型外，还有一个30亿参数版本，可以在5年前发售的RTX2070游戏显卡上运行。
目前70亿版本完成了80%的训练，效果已经超过了同规模的Pythia等开源模型，略逊于LLamA。
预计在完成1Ttokens的训练后还能继续改进。
背后公司Together，由苹果前高管VipulVedPrakash，斯坦福大模型研究中心主任PercyLiang，苏黎世联邦理工大学助理教授张策等人联合创办。
开源模型发布后，他们的近期目标是继续扩展开源RedPajama数据集到两倍规模。
OneMoreThing
来自南美洲的无峰驼类动物一共4种，已被各家大模型用完了。
Meta发布LLaMA之后，斯坦福用了Alpaca，伯克利等单位用了Alpaca，JosephCheung等开发者团队用了Guanaco。
以至于后来者已经卷到了其他相近动物，比如IBM的单峰骆驼Dromedary，Databricks的Dolly来自克隆羊多莉。
国人研究团队也热衷于用古代传说中的神兽，如UCSD联合中山大学等推出的白泽。
港中文等推出的凤凰……
最绝的是哈工大基于中文医学知识的LLaMA微调模型，命名为华驼。
参考链接：
https://www.mosaicml.com/blog/mpt-7b
https://www.together.xyz/blog/redpajama-models-v1
https://twitter.com/karpathy/status/1654892810590650376?s=20
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。