FLO:Stable Diffusion 团队放大招!新绘画模型直出 AI 海报,像素级生成

来源:量子位

开源AI绘画扛把子,StableDiffusion背后公司StabilityAI再放大招!

全新开源模型DeepFloydIF,一下获星2千+并登上GitHub热门榜。

DeepFloydIF不光图像质量是照片级的,还解决了文生图的两大难题:

准确绘制文字。

Stanhope Financial Group获得1000 万美元 A 轮融资:金色财经报道,Stanhope Financial Group 是一家总部位于爱尔兰的全球金融科技公司,为企业提供全套银行服务,已为其 A 轮融资筹集了超过 1000 万美元。由风险投资公司 Gate Ventures 牵头的这笔资金将用于开发该集团的产品,加强管理团队,增加其市场份额,并为启动公司即将成立的附属数字资产部门 SH Digital 做准备。该公司的 SH Capital 部门在迪拜 DIFC 获得许可,允许机构和家族办公室在所有资本市场获得优质的全球投资产品。其附属公司 SH Digital 提供加密货币流动性和交易服务。Stanhope Financial Group 还获得了立陶宛银行和迪拜金融服务管理局 (DFSA) 授予的金融服务许可证。(finextra)[2022/5/11 3:05:21]

以及准确理解空间关系。

Starcoin核心开发者guangyuz:跨链的难点在于交易的验证:金色财经报道,7月23日,Starcoin核心开发者guangyuz做客金色财经举办的“跨链桥-孤岛互链,生态治理与关键”为主题的金色沙龙第67期活动。guangyuz表示从技术上讲,跨链的难点在于交易的验证,两条异构的链,它们的智能合约表达和账户状态模型可能完全不同,一条链上的交易数据,如何在另一条链上验证其合法有效,这个问题的解决是一个技术不断演进的过程。[2021/7/23 1:12:10]

网友表示,这可是个大事,之前想让Midjourneyv5在霓虹灯招牌上写个字AI都是瞎划拉两笔,对于镜子理解的也不对。

欧易OKEx上线Stacks 将于今日18:00开放交易:3月4日,欧易OKEx官方公告宣布上线Stacks (STX),现已开放充值,STX /USDT、STX/BTC市场将于今日18:00开放交易,并于3月5日18:00开放STX提现。

据悉,欧易OKEx联合Stacks举办了“充值、挂单挖矿,瓜分100%交易手续费及20,000 USDT奖池”活动。在3月4日15:00-3月11日15:00活动期间,新老用户参与STX充值挖矿可瓜分2万USDT大奖,此外参与STX/USDT挂单挖矿就有机会瓜分100%手续费奖池。

公开资料显示,Stacks试图为一种新型的去中心化互联网赋能,这种互联网可以使用户更好地控制其数据,它具有诸如“内置隐私”之类的属性,其中默认情况下对Stacks应用程序中的数据(例如照片,消息,健康记录)进行加密。[2021/3/4 18:14:41]

使用DeepFloydIF,可以把指定文字巧妙放置在画面中任何地方。

动态 | 交易所Gemini聘请前Starling银行创始人担任欧洲总经理:加密货币交易所Gemini聘请前Starling银行创始人Julian Sawyer担任欧洲董事总经理,他将负责该交易所在欧洲地区的战略,并管理欧洲的招聘活动。(CoinDesk)[2019/12/4]

霓虹灯招牌、街头涂鸦、服饰、手绘插画,文字都会以合适的字体、风格、排版出现在合理的地方。

这意味着,AI直出商品渲染图、海报等实用工作流程又打通一环。

还在视频特效上开辟了新方向。

声音 | Astar基金合伙人马治宇:区块链能解决社群黏性不足问题:对于区块链的未来发展前景,不少业内人士表示看好。Astar基金合伙人马治宇认为,区块链能解决四个问题:一是解决社群黏性不足问题,用人人贡献、人人激励模式把社群活跃度做起来;二是利用智能合约实现去中心化;三是实现信息溯源和信息上链,保证信息不被篡改;四是代币化,可以打破企业内部限制。“区块链不是万能的,但是以上四个问题任何一个单独拎出来都是一个非常大的市场。”[2018/6/29]

目前DeepFloydIF以非商用许可开源,不过团队解释这是暂时的,获得足够的用户反馈后将转向更宽松的协议。

有需求的小伙伴可以抓紧反馈起来了。

像素级图像生成

DeepFloydIF仍然基于扩散模型,但与之前的StableDiffusion相比有两大不同。

负责理解文字的部分从OpenAI的CLIP换成了谷歌T5-XXL,结合超分辨率模块中额外的注意力层,获得更准确的文本理解。

负责生成图像的部分从潜扩散模型换成了像素级扩散模型。

也就是扩散过程不再作用于表示图像编码的潜空间,而是直接作用于像素。

官方还提供了一组DeepFloydIF与其他AI绘画模型的直观对比。

可以看出,使用T5做文本理解的谷歌Parti和英伟达eDiff-1也都可以准确绘制文字,AI不会写字这事就是CLIP的锅。

不过英伟达eDiff-1不开源,谷歌的几个模型更是连个Demo都不给,DeepFloydIF就成了更实际的选择。

具体生成图像上DeepFloydIF与之前模型一致,语言模型理解文本后先生成64×64分辨率的小图,再经过不同层次的扩散模型和超分辨率模型放大。

在这种架构上,通过把指定图像缩小回64×64再使用新的提示词重新执行扩散,也实现以图生图并调整风格、内容和细节。

并且不需要对模型做微调就可直接实现。

另外,DeepFloydIF的优势还在于,IF-4.3B基础模型是目前扩散模型中U-Net部分有效参数是最多的。

在实验中,IF-4.3B取得了最好的FID分数,并达到SOTA。

谁是DeepFloyd

DeepFloydAIResearch是StabilityAI旗下的独立研发团队,深受摇滚乐队平克弗洛伊德影响,自称为一只“研发乐队”。

主要成员只有4人,从姓氏来看均为东欧背景。

这次除了开源代码外,团队在HuggingFace上还提供了DeepFloydIF模型的在线试玩。

我们也试了试,很可惜的是目前对中文还不太支持。

原因可能是其训练数据集LAION-A里面中文内容不多,不过既然开源了,相信在中文数据集上训练好的变体也不会太晚出现。

OneMoreThing

DeepFloydIF并不是StabilityAI昨晚在开源上的唯一动作

语言模型方面,他们也推出了首个开源并引入RLHF技术的聊天机器人StableVicuna,基于小羊驼Vicuna-13B模型实现。

目前代码和模型权重已开放下载。

完整的桌面和移动界面也即将发布。

DeepfloydIF在线试玩:

https://huggingface.co/spaces/DeepFloyd/IF

代码:

https://github.com/deep-floyd/IF

StableVicuna在线试玩:

https://huggingface.co/spaces/CarperAI/StableVicuna

权重下载:

https://huggingface.co/CarperAI/stable-vicuna-13b-delta

参考链接:

https://deepfloyd.ai/deepfloyd-if

https://stability.ai/blog/deepfloyd-if-text-to-image-model

https://stability.ai/blog/stablevicuna-open-source-rlhf-chatbot

https://stable-diffusion-art.com/how-stable-diffusion-work/

郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。

金星链

PEPEzkSync:空投卷王的期待:Layer2之夏

摘要本篇热点报告主要复盘了?Arbitrum?one?发行代币后整个?Layer?2?生态的现状,得到以下结论:Arbitrum?的空投带来了造富效应,引发了?Layer?2?交互热潮.

[0:15ms0-1:106ms