TAT:观点 | 无状态以太坊:二进制状态树实验

作者:?IgorMandrigin

翻译:?阿剑

来源:以太坊爱好者

什么是“无状态以太坊”?

如果您已经了解什么是“无状态以太坊”以及“区块见证数据”,可以跳过这一段。

为执行交易及验证区块,以太坊网络的节点需要了解整条区块链的当前状态——也就是所有账户和合约的余额和存储数据。这些数据一般来说是存储在DB里面的,在需要用于验证时才会加载到一棵默克尔树中。

无状态以太坊客户端的工作思路则稍有区别。顾名思义,无状态客户端就是不使用硬盘DB来执行区块。相反,无状态客户端依赖于“区块见证数据”——就是一段特殊的数据,它会跟相应的区块一起传播;拥有了这段数据,客户端就可以重建出一个默克尔子树,该分支足可用于执行该区块中的所有交易。

你可以在这篇文章中读到关于无状态客户端的更深入的描述:https://blog.ethereum.org/2019/12/30/eth1x-files-state-of-stateless-ethereum/

当然咯,需要传播区块见证数据就意味着无状态客户端的网络要求要比普通节点更高。

-见证数据大小折线图-

现在人们已经提出了很多降低见证数据规模的思路:使用有效性/计算完整性证明、加入更多的压缩手段,等等。其中一种办法是将以太坊的默克尔树从十六进制转为二进制。

这就是本文想要探讨的问题。

为什么要使用二进制树

默克尔树的一大优良特性是,验证树根值正确与否并不要求你具有整棵树所有的数据。只需把所有省略的非空路径替代为相应的哈希值就可以可。

观点:Lummis-Gillibrand法案是参议院有史以来最全面、两党支持最多的加密监管法案:金色财经报道,加密政策专家Sam Lyman在福布斯撰文称,参议员 Cynthia Lummis(怀俄明州共和党)和 Kirsten Gillibrand(纽约州民主党)最近重新提出的《负责任的金融创新法案》是美国参议院有史以来最全面的加密货币法案,它也是两党支持最多的法案。该法案又被称为Lummis-Gillibrand法案。

此外,虽然众议院也在根据McHenry-Thompson法案制定自己的加密框架,但和Lummis-Gillibrand法案之间最大的区别不是政策,而是两党的支持。如果McHenry法案想要最终在众议院和参议院获得通过,就需要获得更多民主党人的支持。相比之下,两党合作被纳入了Lummis-Gillibrand法案,这可能会显著改善其长期前景。Cynthia Lummis表示,很明显,我们需要加密资产行业的监管规则,而保护消费者和鼓励创新的两党解决方案最有可能成为法律。[2023/7/22 15:51:19]

那么使用十六进制默克尔树有什么不好呢?

设想整棵树都已填满数据。要验证一个区块,我们只需要一小部分默克尔树节点的数据。那么,我们只需把其他路径的数据替代为哈希值就可以了。

但是,每多加入一条哈希值,区块见证数据就会大一些。

如果我们转变为二进制默克尔树,这个问题就可以得到缓解——因为默克尔树上的每个节点都只有两个子节点,所以至多只有一个字节点需要被替换为哈希值。

这样做也许能大幅降低见证数据的规模。

我们再举例说明一下。

假设执行某个区块只会影响一个账户:3B路径下的Acc1。整棵树是全满的。

观点:BAYC NFT的地板价跌至近两年新低,引发了对藏品价值的质疑:金色财经报道,专家表示,本周Bored Ape Yacht Club NFT的地板价跌至近两年来的最低价格,引发了藏家对该藏品价值的质疑。但地板价只是用于评估NFT的一个指标,评估NFT的价值还有其他重要因素。与此同时,随着创作者、平台和收藏家继续就此事发生争执,本月NFT版税支出有所下降。[2023/7/8 22:25:22]

-二进制状态树与十六进制状态树的比较-

如果说二进制状态树看起来有点吓人,那只是因为二进制树我画全了,但没有把十六进制树的所有代之以哈希值的节点都画出来。

来数个数:

为创建出一棵二进制状态树,见证数据需要包含8个哈希值,7个分支节点和1个账户节点。也就是见证数据中有16个元素。

为创建出一棵十六进制状态树,我们只需1个分支节点,1个账户节点,但需要30个哈希值。也就是有32个元素。

所以,假设哈希值和分支节点在区块见证数据中的所占的空间是一样大的,在我们的例子中,使用二进制树所需的见证数据大小只有十六进制下的一半。看起来不错。

那么,理论上就是这样。

我们来看看实际情况是如何。我们直接拿以太坊主网的数据来看看吧。

开始实验

先说最紧要的:我们怎么知道自己构建出来的区块见证数据是有用的呢?

测试方法如下:我们使用区块见证数据来生成一棵默克尔子树,在这棵树上运行相应区块中的所有交易,然后校验结果是否与我们所知的一致。只要交易都能成功执行,等等),我们就可以断定这个见证是足够充分的。

观点:比特币远不是一个快速致富的计划,它维护了财产权:在迈阿密Bitcoin2021大会上,由Robert Breedlove( Parallax Digital CEO )、Jimmy Song(开发者)和Guy Hirsch(eToro董事)组成的小组的圆桌会议的核心内容可以概括为:比特币的成功是一种道德上的需要。

“比特币远不是一个快速致富的计划,它维护了财产权。”

作为哲学上的证明,这个由开发者和首席执行官组成的小组引用了自由主义哲学的一个分支,强调 \"自我所有权\"。根据这一逻辑,你的身体是你的财产;从它延伸出来的一切,包括你的比特币,都属于这一产权。

比特币开发者Jimmy Song表示,目前的货币系统是非常不道德的。它是盗窃、腐败和裙带关系的粪坑。 “美元是世界的储备货币。每次美联储印制美元,他们都在从拥有美元的每个人那里偷窃,美国正在偷窃世界上最脆弱一群人。”

投资公司Parallax Digital的首席执行官Robert Breedlove同样认为,世界上最重要的游戏,也就是金钱,是腐败的。这个游戏的规则被扭曲,有利于少数人而不利于数百万人。通货膨胀的法定货币随着时间的推移从其持有者身上减去价值,这是一种财产盗窃的形式。他认为,“比特币作为我们有史以来第一个人造的廉洁的货币和社会机构,有可能是人类历史上最重要的发明。”

eToro的美国董事Guy Hirsch则表示,“法币和现行制度的核心是一种有罪推定,比特币是金钱,但它也是一种意识形态运动。” (Decrypt)[2021/6/7 23:18:31]

-测试方法:1.执行区块;2.从状态树中抽取出见证数据;3.使用见证数据构造出一棵子树;4.禁用DB访问、使用子树来执行区块(具体可见

观点:合约交易止盈止损最重要:据币格 BigONE 官方消息,币格 BigONE 于 5 月 15 日 14:00 举办了主题为“币格BigONE与您一起创造 2020”的新品线上发布会。

发布会第一个圆桌论坛主题为“创见——合约交易的门道”,本圆桌由 Blocklike 小琬主持,圈内知名合约 KOL “易达”、“肖邦”、“投资界小奶牛”、“小九”担任嘉宾参与了讨论。各位嘉宾分享了自己的合约交易经验,他们认为在进行合约交易时,要认真了解产品、选择平台,尤其作为合约新手来说,更应该学会看交易指标。另外,交易时切忌贪心,及时做好止盈止损。

目前BigONE 已经上线永续合约,支持 USDT 结算和 BTC 结算的两种合约,最高支持 100 倍杠杆,平台风控,安全稳定。[2020/5/15]

github)-

其次,我们需要一些基准数据。因此,我们也使用500万到850万高度的区块、在十六进制默克尔树模式下生成了见证数据,并将见证数据大小的统计数据存在一个超级大的csv文件中。

我们尝试的第一步是执行完一个区块后就组装出一棵十六进制树,然后将它转为二进制树,再从这棵二进制树中提取出见证数据。

这种方法有几个好处:易于实现,而且验证十六进制-二进制的转换也很简单。

不过,我们遇到了两个问题,而且其中一个还不小。

第一个,正如我们上面证明的那样,比起二进制树,十六进制树包含更多的账户节点,如果我们先生成十六进制树再转换,得到的结果就跟在二进制树模式下直接生成所得到的见证数据不一样。

为什么呢?

因为十六进制树数据总是以1/2字节的速度增长,而二进制树总是以1比特的速度增长,因此键的长度可以是奇数位。

实际上,见证数据中还包含一些额外的扩展节点,它们还要稍微大一点。不过即便对内容较多的区块,体现在见证数据大小上的差别也非常之小。

关键的是性能。随着树的规模增长,转换的速度会越来越慢。

观点:Bakkt航空公司飞行里程转换加密货币可能适逢其时:Bakkt此前宣布筹集3亿美元资金,将于今年夏季推出其移动应用,该应用程序将允许用户将飞行里程转换为加密货币。对于挣扎中的航空公司而言,这可能是福音,对消费者而言,这将是一个强劲的增长。(The Blcok)[2020/3/18]

用更具体的数字来说明一下:在我们的GoogleComputeEngine虚拟机上,处理速度约为每秒0.16个区块,也就是每分钟处理小于10个区块,处理100万个区块要超过3个月!

所以,我们决定采取更复杂的办法,开发出一个原生使用二进制默克尔树的实验性分支。也就是说,我们要把turbo-geth代码库例地所有十六进制状态树全部替换为二进制树,然后区块就是基于二进制树来执行的了。

这种办法的不利之处在于,部分哈希值的校验只能被忽略掉。

但主要的验证机制还是一样的:我们需要能够使用二进制树来执行区块、从见证数据中创建出默克尔子树。

再来谈谈key。

为简化起见,我们对key的编码方式是非常低效的:1bytepernibble;一个key的每一比特就要占用1字节。这样做大大简化了代码层面的改变,但区块见证数据中的”key“部分会是我们使用bitset时候的8倍大。

因此,在进一步分析中,我会假设key的编码方式是最优的。

Hexvs.Bin:结果

我的分析分为两段,总共分析了以太坊主网上的200万个区块。

区块高度500万到650万

我在这个github库里面提供了使用python脚本来重复这一实验的命令行:

https://github.com/mandrigin/ethereum-mainnet-bin-tries-data

首先我们来分析一下数据集。

pythonpercentile.pyhex-witness-raw.csvbin-stats-5m-6.5m.csv50000006500000adjust

-

一个箱型图,箱体显示上四分位到下四分位之间的数据,左右延伸出去的线条显示上1%到下1%之间的数据

-百分比分析-

现在我们可以生成一些很酷的图表了!

pythonxy-scatter-plot.pyhex-witness-raw.csvbin-stats-5m-6.5m.csv50000006500000adjust

-XY散点图(横轴为Hex下见证数据大小,纵轴为Bin下见证数据大小)-

可以看出,二进制见证数据的大小总是优于十六进制树下的见证数据。

我们再加入另一个参数,用二进制见证数据大小除以十六进制见证数据大小,看看我们得到了怎样的提升。

pythonsize-improvements-plot.pyhex-witness-raw.csvbin-stats-5m-6.5m.csv50000006500000adjust

-二进制见证数据的大小/十六进制见证数据的大小-

为更好地理解这张图标,我们也输出了平均值和百分位值。

平均值=0.51

P95=0.58

P99=0.61

在实际场景中这意味着什么?

对于99%的区块,见证数据的大小可以降低至少39%。

对于95%的区块,见证数据的大小可以降低至少42%。

平均来说,见证数据可节省49%。

我们也要考虑见证数据大小的绝对值。为使数据变得可读,我们每1024个区块取滑动平均值。

pythonabsolute-values-plot.pyhex-witness-raw.csvbin-stats-5m-6.5m.csv50000006500000adjust

-依时间顺序绘制的见证数据大小折线图,纵轴单位为MB-

再来看看最新区块的情况。

区块高度800万到850万

pythonpercentile.pyhex-witness-raw.csvbin-stats-8m-9m.csv80000008500000adjust

-箱型图,箱表示上下四分位以内的数据,线表示上下1%以内的数据-

-800万号到850万号区块的百分位分析-

还有XY散点图。

pythonxy-scatter-plot.pyhex-witness-raw.csvbin-stats-8m-9m.csv80000008500000adjust

还有规模上的节约。

pythonsize-improvements-plot.pyhex-witness-raw.csvbin-stats-8m-9m.csv80000008500000adjust

-XY散点图(横轴为Hex下见证数据大小,纵轴为Bin下见证数据大小)-

平均值=0.53

P95=0.61

P99=0.66

最后,再来看看见证数据的绝对大小。

pythonabsolute-values-plot.pyhex-witness-raw.csvbin-stats-8m-9m.csv80000008500000adjust

-依时间顺序绘制的见证数据大小折线图,纵轴单位为MB-

结论

在使用以太坊主网数据做过测试以后,我们可以看到,切换为二进制树模式可以大幅提升生成见证数据的效率。

另一个结论是,这种提升并没有理论上那么显著。原因可能在于主网区块的实际数据。

也许,通过分析一些例外情况,我们可以知道更多优化见证数据规模的办法。

试着使用别的原始数据来跑跑GitHub中的脚本吧:https://github.com/mandrigin/ethereum-mainnet-bin-tries-data

郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。

金星链

[0:0ms0-1:558ms