科学家已经开发出一种AI,该AI可以仅通过观察演奏者手部的运动来从无声钢琴演奏中产生音乐。
这个名为Audeo的系统会分析某人挠痒痒的自上而下的视频,以预测每一帧中按下了哪些键。然后产生音乐的笔录,然后由合成器翻译成声音。
数据:过去一周USDC流通量减少9亿美元:金色财经报道,官方数据显示,过去7天Circle共发行5亿美元USDC,赎回14亿美元USDC,流通量减少约9亿美元。截至4月20日,USDC总流通量为310亿美元,储备量为311亿美元,其中现金57亿美元,短期美国国债255亿美元。[2023/4/22 14:19:58]
研究人员在钢琴家保罗·巴顿演奏著名作曲家的音乐的镜头上对AI进行了培训和测试。
数据:以太坊信标链质押量突破1800万枚ETH:2月28日消息,据以太坊官方网站数据显示,当前以太坊信标链质押量已突破1800万枚ETH,截至目前达到18,010,643枚,验证者总量为529,670个。按照当前ETH价格计算,以太坊信标链质押总价值接近300亿美元。[2023/2/28 12:33:16]
然后,他们通过在Shazam和SoundHound等音乐识别应用程序中播放Audeo作品的准确性进行评估。
比特币全网未确认交易数量为3079笔:金色财经报道,据BTC.com数据显示,目前比特币全网未确认交易数量为3079笔,全网算力为253.86 EH/s,24小时交易速率为3.34交易/s,目前全网难度为35.36 T,预测下次难度下调4.23%至33.87 T,距离调整还剩1天13小时。[2023/1/2 22:20:14]
这些应用程序可以在86%的时间内识别出音调-仅比识别源视频少7%。
华盛顿大学助理教授,资深研究作者EliShlizerman说,他对AI输出的质量感到惊讶:
以前认为创建听起来像可以在音乐表演中播放的音乐是不可能的。算法需要弄清楚视频帧中与生成音乐有关的提示或“特征”,并且需要“想象”视频帧之间发生的声音。它需要一个既精确又富有想象力的系统。
您可以在下面的视频中自行判断其性能:
研究人员还探索了使用Audeo改变音乐风格的方法。Shlizerman说,该系统可以显示通过小号演奏时钢琴产生的音乐的声音。
他希望这项研究将为人们与音乐互动提供新的方式:
例如,未来的应用是Audeo可以通过仅记录人的手的摄像机扩展到虚拟钢琴。此外,通过将相机放置在真实的钢琴上,Audeo可以潜在地以新的方式教学生如何演奏。
郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。