KlaytnStateTrieCacheSeries#1:?确认产生Cache问题的原因
Klaytn为了提高区块链平台的性能，做了许多方面的努力。我们将通过下列文章介绍statetriecache性能改善过程。
??确认Cache问题的原因
??寻找最佳的Cache
??计算Statetriecachemiss
??进行?CacheSizeTuning
本篇将介绍进行Klaytn有关测试时出现的问题以及这些问题的来源-Go语言GC(GarbageCollector)。在进行Klaytn有关测试时，出现了下列问题。
<imgalt=""class="tuvhyaj"?src="https://miro.medium.com/max/964/0*KSFKadBeRExUlkA6"width="482"height="321"srcSet="https://miro.medium.com/max/552/0*KSFKadBeRExUlkA6276w,https://miro.medium.com/max/964/0*KSFKadBeRExUlkA6482w"sizes="482px"/>
加密支付网关NOWPayments新增集成eCash Network:8月3日消息，加密支付网关NOWPayments新增集成eCash Network，使用NOW Payments的商家已接受用户使用XEC代币进行付款等。[2023/8/3 16:15:41]
利用Prometheus提供的API测试内存使用量
在Klaytnbinary中，以3500TPS处理transaction时，大约需要用到100G的内存。我们为了确认具体是哪里在消耗大量内存，利用Go语言所提供的内存分析工具，进行了确认。
??gotoolpprofcn-mem0.prof
File:kcn
BuildID:7b45b11c163a99518095ffb64083e4aa61fd321f
Type:inuse_space
Time:Mar26,2020at8:56am(KST)
Enteringinteractivemode(type"help"forcommands,"o"foroptions)
(pprof)top
Showingnodesaccountingfor41.91GB,96.33%of43.50GBtotal
Dropped382nodes(cum<=0.22GB)
Showingtop10nodesoutof77
北卡罗来纳州众议院通过一项法案，将委托研究持有虚拟货币的可行性和好处:6月29日消息，北卡罗来纳州众议院通过一项法案，将委托进行一项50,000美元的研究，以审查黄金和比特币等虚拟货币的“获取、安全存储、保险和清算”等。该研究将调查如果北卡罗来纳州持有的部分资金为加密货币和黄金，其黄金和加密货币持有量将会产生什么影响。
具体来说，它将研究持有此类资产是否可以对冲通货膨胀和系统性信用风险，以及黄金和加密货币是否可以减少波动性并增加其投资组合的回报。
该法案考虑可能创建一个由州政府管理的加密货币托管机构，将北卡罗来纳州视为其持有的数字资产托管人。该法案必须在参议院通过，然后才能被州长Roy Cooper签署成为法律或否决。[2023/6/29 22:08:12]
?flatflat%sum%cumcum%
?30GB68.97%68.97%30GB68.97%github.com/allegro/bigcache/queue.NewBytesQueue
?5.65GB12.98%81.95%5.65GB12.99%github.com/allegro/bigcache.(*cacheShard).set
?1.53GB3.52%85.47%1.53GB3.52%reflect.New
?1.25GB2.87%88.35%2.60GB5.97%github.com/klaytn/klaytn/ser/rlp.decodeBigInt
CZ：目前有很多项目都在有序等待进行IEO:2月14日消息，CZ在Binance官方推特Space上针对“Binance何时启动下一次IEO活动”问题发言表示，目前有很多项目都在有序等待进行IEO。[2023/2/14 12:06:25]
通过内存分析工具，我们可以看到每个部分所消耗的内存。在上述结果中，可以通过?Showingnodesaccountingfor41.91GB,96.33%of43.50GBtotal看到kcnbinary占了43.5GB，还可以看到其中的96.33%，即41.91GB具体用在哪里。不仅如此，通过30GB68.97%github.com/allegro/bigcache/queue.NewBytesQueue，可以看到有30GB(68.97%)用于bigcache上。
??
这两个测试结果中，我们发现了问题。根据Prometheus所提供的内存使用library，kcn大约占了100GB，但内存分析结果(43.50GBtotal)表明，kcnbinary只占了?43.5GB。我们无法确认其余56.5GB(=100GB-43.5GB)的内存去了哪里。?
于是我们猜测应该是Bigcache占据了大部分内存。为了确认Bigcache是否占据了内存，我们在相同环境的2台服务器上设置了不同的cachesize进行测试，设置分别为30GB和0GB。2台服务器的top和内存分析结果如下。
(Top命令结果是GiB，Prometheus所提供的library的结果是GB，两者为相同的量)
澳大利亚财政部正密切关注FTX事件影响，将制定加强投资者保护的法规:11月17日消息，在FTX事件之后，澳大利亚政府加倍致力于为加密货币建立强有力的监管框架。澳大利亚财政部长Jim Chalmers的发言人表示，财政部正计划明年制定加强投资者保护的法规。该发言人表示正在密切关注FTX崩盘事件的影响，包括加密资产市场的进一步波动以及对更广泛的金融市场的任何溢出效应”。
据此前报道，澳大利亚证券和投资委员会（ASIC）已暂停FTX Australia的金融服务牌照，直至2023年5月15日。在2022年12月19日之前，FTX Australia可以继续提供与现有衍生品合约平仓相关的有限金融服务。（Cointelegraph）[2022/11/17 13:17:08]
Cypresssynctest
AWSInstance:m5.8xlarge
memorysize:128G
cachesize:30G,0G
<imgalt=""class="tuvhyaj"src="https://miro.medium.com/max/1484/1*BUBXxboSlBArnNSfLo4KDw.png"width="742"height="366"srcSet="https://miro.medium.com/max/552/1*BUBXxboSlBArnNSfLo4KDw.png276w,https://miro.medium.com/max/1000/1*BUBXxboSlBArnNSfLo4KDw.png500w"sizes="500px"/>
Web3教育社区Encode Club完成500万美元融资，Galaxy Digital和Lemniscap领投:5月17日消息，Web3教育社区Encode Club完成500万美元融资，Galaxy Digital和Lemniscap领投，Dragonfly Ventures、Folius Ventures、not3lau Capita、Ascensive Assets、Stefan George（Gnosis联合创始人）、Anton Bukov（1inch联合创始人）、SolBigBrain等参投。
此轮融资资金将用于进一步发展Encode的Web3训练营、黑客马拉松和加速器项目。（Decrypt）[2022/5/17 3:23:03]
<imgalt=""class="tuvhyaj"src="https://miro.medium.com/max/1484/1*KydRE8pnP0G5-3s5h9KVSw.png"width="742"height="366"srcSet="https://miro.medium.com/max/552/1*KydRE8pnP0G5-3s5h9KVSw.png276w,https://miro.medium.com/max/1000/1*KydRE8pnP0G5-3s5h9KVSw.png500w"sizes="500px"/>
top命令结果(左：cache30G；右：cache0GB)
<imgalt=""class="tuvhyaj"src="https://miro.medium.com/max/2156/1*pKdGJgwuIBTPgAjBH_JLNQ.png"width="1078"height="564"srcSet="https://miro.medium.com/max/552/1*pKdGJgwuIBTPgAjBH_JLNQ.png276w,https://miro.medium.com/max/1000/1*pKdGJgwuIBTPgAjBH_JLNQ.png500w"sizes="500px"/>
<imgalt=""class="tuvhyaj"src="https://miro.medium.com/max/2156/1*0VudYV4vE8HnwT0bXF6CiQ.png"width="1078"height="564"srcSet="https://miro.medium.com/max/552/1*0VudYV4vE8HnwT0bXF6CiQ.png276w,https://miro.medium.com/max/1000/1*0VudYV4vE8HnwT0bXF6CiQ.png500w"sizes="500px"/>
GoMemoryProfiling结果(左：cache30G；右：cache0GB)
我们可以看到，被分配Bigcache的服务器其Top和内存分析结果中内存使用量分别为70GB和35GB，有35GB的内存追踪不到。而没有分配Bigcache的服务器其Top和内存分析结果中内存使用量分别为5GB和2GB，有3GB的内存追踪不到。?
通过以上测试，我们可以推断，若使用Bigcache，会占用大于分配额的内存。而就算不使用Bigcache，也会出现3GB左右的遗漏。当然，GC(GarbageCollector)的运作，可能令不管使用什么样的Go程序都有机会出现内存分析结果和实际使用量的误差。
而且，我们通过这篇文章可以得知，长时间占据大量的heap内存，并在分配时使用pointer的话，会消耗非常大的内存。
<imgalt=""class="tuvhyaj"src="https://miro.medium.com/max/3200/0*E7gDbvMeS8E_YPgO"width="1600"height="572"srcSet="https://miro.medium.com/max/552/0*E7gDbvMeS8E_YPgO276w,https://miro.medium.com/max/1104/0*E7gDbvMeS8E_YPgO552w,https://miro.medium.com/max/1280/0*E7gDbvMeS8E_YPgO640w,https://miro.medium.com/max/1400/0*E7gDbvMeS8E_YPgO700w"sizes="700px"/>
GC(GarbageCollector)可寻找程序动态分配的内存中不再运作的部分，收回该部分的内存并分配给其他区域。为此，Go语言的GC(GarbageCollector)会对没有运作的区域进行确认，看是否被分配了内存。这时，用于确认的标志就是pointer，如果某个区域有很多pointer或占据了大量内存，GC在搜查过程中会消耗较大内存。
话句话说，在运行GC(GarbageCollector)之前，内存使用量为44GB，一旦开始运行，内存使用量就会增加100GB。再加上进行内存分析的时间刚好在GC完成运转后，所以只看到了运转前的内存使用量，即44GB。由于Klaytn分配的Bigcache量很大，所以GC一直在消耗更多的内存。
这类情况会导致系统突然出现内存不足的情况。因为Klaytn需要长时间运转，必须避免由于占用过多内存导致系统突然崩溃的情况。在下一篇文章内，我们将会介绍解决该内存遗漏问题的过程。
关于Klaytn
项目名称:Klaytn
英文缩写:KLAY
官方网站:https://www.klaytn.com/??
项目简介：Klaytn是以服务为中心的企业级分布式信任区块链平台，通过高效的“混合”设计，结合了公有链和私有链的最优功能。Klaytn与全球众多知名品牌的参与合作，通过共同的不懈努力，创建可靠的去中心化业务平台。Klaytn治理委员会是一个由跨国企业和组织组成的联盟，负责运营共识节点网络，推动生态系统发展。Kakao的区块链开发部门「GroundX」已正式推出Klaytn，并可用于商业用途。
来源：金色财经
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。