当我们在谈Web3数据的时候，在谈些什么？想要弄清楚这个问题，首先我们要弄清楚，在Web2中数据是什么样的。本文将从数据的产生、收集、存储、管理和使用的全生命周期来展开讨论。在此之前，我们首先明晰数据是如何被定义的。中国全国信息安全标准化技术委员会出台的《网络安全标准实践指南-数据分类分级指引》中，将数据分类为个人信息、公共数据和法人数据。其具体定义与实例如下表，
在每个类别之上，又根据数据泄露的危害对象和程度分为5个级别：公开级、内部级、敏感级、重要级和核心级。对于公开级的数据，它更像是一个公共产品，是非竞争性和非排他性的。这种类型的数据一般由政府/公共组织提供，收益归其所有，如天气预报、宏观经济数据等等。1.1数据的产生、收集和存储
公共数据、个人数据和法人数据大部分是在我们日常使用计算机应用程序时产生的，其中与普通用户切身相关的是个人数据和法人数据。那么个人数据和法人数据是如何产生和被收集的呢？一个高度抽象的互联网产品系统架构图如下所示，
Web2应用架构图片来源：ZonffPartners最底层的数据库存储着来自于后端传递过来的，用户与前端互动产生的数据。广义上说，这些都是用户数据。就移动端应用来说，数据大概可以分为以下几类：用户信息，用户使用应用服务记录下来的与用户相关的信息，包括用户的身份信息、设备、网络、地理位置甚至移动设备上安装的应用列表等，由服务端数据表和埋点进行收集；内容数据，用户使用应用服务生产的数据，这些包括用户任何主动在应用上交互写入的非个人信息内容数据，属于应用服务的一部分，一般由服务端数据表直接收集；行为数据，用户使用应用期间交互产生的数据，这些包括用户在使用应用期间的行为习惯，如观看时长、点击率、渗透率、滑动情况等等，一般由埋点进行收集；日志数据，用户使用应用期间应用本身产生的数据，这些包括应用的崩溃日志等；代码数据，非用户交互的数据包括前端与后端代码，这些数据与用户数据一样，都是存储在某个地方的中心化服务器上；在这个分类当中，用户信息属于个人信息数据，日志和代码数据属于法人数据。其中值得讨论的是内容数据和行为数据，它们在Web2时代更多被中心化实体划分为自身的业务数据，即法人数据。在Web3的应用中有什么不一样吗？PreethiKasireddy这张Web3产品架构可以帮助我们理解。
Web3分发平台MetaZone完成300万美元融资:5月31日消息，Web3 数字内容和应用分发平台 MetaZone 宣布完成 300 万美元种子轮融资，专注于元宇宙领域投资的两家机构 Sfermion 和 CMT Digital 共同领投，Tess Ventures、IOSG Ventures、IVC (Infinity Ventures Crypto)、Polygon Studios、MHC Digital 和 LucidBlue Ventures 参投。
MetaZone 允许创作者和开发者铸造 NFT 的 3D 数字内容和并在元宇宙分发，每个创作者的 META 都被分配了一个代表其价值、所有权和访问权的 NFT。这些 NFT 可以购买并用于在数字土地上安装应用程序，供该土地的所有者和访客使用。[2023/5/31 11:49:13]
Web3产品架构图片来源：PreethiKasireddy与Web2应用相比，用户终端与前端是几乎没有什么变化的，不一样在于后端与数据库。用户通过前端与节点提供商互动，访问布置在以太坊等区块链上的合约代码，并进行交互。在这个过程同样会产生上述几种类型的数据，由于技术架构的区别，Web3产生的数据并不是由一台中心化服务器存储，对于不同方式产生的数据其存储的方式或有异同之处。其中凡是智能合约交互产生的数据，都发布在区块链上，任何人可以都访问，它因此成为一种公共产品，这些包括资产信息、交易数据和合约代码。理论上，只要区块链块空间够大，任何数据都可以存储在区块链上，甚至也有的项目在尝试将区块链作为数据库来存储数据。
目前阶段，一个Web3应用产生的数据，除以上三类数据以外，大多数仍然采用中心化服务器的存储方式，这些包括前端代码、用户信息、内容数据、行为数据和日志数据。这是由于目前相关存储基础设施并不完善，项目方或受限于技术问题，或为了保证访问速度等原因采取了中心化方案。随着基础设施的不断发展，有很多功能越来越强大的存储基建的出现，如IFPS、Stroj、Filecoin和Ceramic等，也有越来越多应用已经开始将自身部署在去中心化存储上面，如将前端网站布置在IPFS上然后通过ENS访问，从而搭建一个去中心化网站前端以及将NFT项目对应的图片等文件数据用Arweave进行永存等等。总的来说，在搭建一个Web3应用的时候，对于应用数据的存储，开发人员通常可以有3种选择：将其存在区块链上，这种选择非常昂贵，会导致应用尽可能的简单，并且数据完全公开，好处是最为直接保护了应用主权；将智能合约逻辑存在区块链上，其他存在传统后端上。这种方法会牺牲用户的主权性，同时有中心化的风险。这是目前大多数Web3应用采用的方式；将智能合约逻辑存在区块链上，其他存在IPFS、Arweave和Ceramic等存储上，通过智能合约管理和更新数据，这种方法较为昂贵且暂时较为缓慢，但这种方法可以保护应用的主权性；目前，绝大多数Web3应用是通过第2种方式进行搭建的，也有一些特定应用，目前已经可以使用第3种方式进行搭建，极少数应用是通过第1种方式进行搭建的。那么，我们应该选择哪种方式存储呢？什么样的存储方式是趋势呢？1.2趋势：去中心化存储-数据和应用主权
NFT平台Blue Horizon与多链钱包BitKeep达成合作:2月27日消息，NFT平台Blue Horizon与去中心化多链数字钱包BitKeep达成合作。BitKeep用户可以轻松无缝地与Blue Horizon平台交互。BLH持有者可以拥有一个替代钱包，安全存储其BLH代币，同时确保使用Blue Horizon平台的全部功能。[2022/2/27 10:19:14]
当谈到搭建Web3应用的3种方式时，这有一个关键词：主权。这个词是当我们聊到Web3的特点时一个绕不开的话题，一般来说会包括数据主权和应用主权。那么主权重要吗？这是另一个话题，本文不作探讨，感兴趣可以阅读相关文章，如「Web3数据市场展望」和「Web3-Letthe"righttodata"awaken」。这里想从数据的角度，切入Web3主权确立的必经之路，并推演基础设施发展的方向和重点。关于数据主权，包括数字资产主权和用户数据主权，「纵向流动性：价值如何互联互通」一文中有谈到关于代币可以定义用户的数字资产主权，这是由一个难以篡改的广泛共识所决定的。最基础的，这些权利的定义由区块链本身就能完成，如一个代币归属于哪一个地址。可一旦涉及到更复杂的数字产品权利归属，就会有很多问题出现，比较典型的就是NFT对应的图片的存储问题，「NFT：数字所有权的革命」中对这个问题进行过讨论。大多数NFT的现状是其对应的数字产品存储在某个地方的中心化服务器上，一旦服务器崩溃或者被黑，那么用户所拥有的就只是一串链上哈希，哈希背后真正的“物品”则随时可以被偷窃或者替换，变得毫无价值。此外，用户数据主权作为Web2与Web3最为明显的分界线之一，是为Web3创新与进步所呐喊的旗帜。就此，Ceramic设想了一个数据宇宙，一个可组合的、网络级规模的数据生态系统，由每个人拥有，但不被任何人独有。用户数据跟随用户从一个应用到另一个应用，用户作为中心控制自己的数字宇宙。目前，几乎还没有应用可以实现这一点，Cyberconnect作出了很好的尝试，它创造了一个去中心化社交图谱协议，希望在应用间实现用户社交关系数据的可互操作性。但目前来讲，该应用并没有保证用户的数据主权，尽管他们已经开始转移到Ceramic之上进行建设，但一切仍然还在路上。关于应用主权，有人把主权应用称为“超级结构”，它拥有不可停止、免费、有价值、可扩展、无许可、正外部性和可信中立等特征，这些综合起来提供了一个数字世界的公共产品，打造了“元宇宙”的基础设施。目前绝大多数所谓Web3的应用其应用主权程度都不高，它们不是真正的公共产品，它们可以很容易被强权制裁与改变，TornadoCash事件非常直接地说明了这个问题。主要原因之一是因为虽然这些应用协议层的合约代码都发布在区块链上，但如前端、域名等组件仍然由第三方中心化的实体所控制。为了实现数据主权和应用主权，Web3应用的构建方式至关重要，其基础出发点就是存储，数据存在哪里，怎么存才能保证用户能够拥有主权？总的来说，根据用户的数据类型不同，可以有不同的解决方案：用户的资产信息、交易数据应为公共账本数据，存在链上保证可验证性是最重要的，但Aztec这样的应用出现用来保障用户链上交易的隐私性是非常有价值的；用户的用户信息、内容数据和行为数据作为个人信息，保证用户的控制权非常重要，在用户的同意之下，可以选择性对这些数据进行公开，作为公共产品以发掘正外部性；日志数据和代码数据作为法人数据，私有化是可以接受的，也有一定的必要性，但涉及到“超级建筑”类的Web3基础设施类应用，它应当具有公共基础设施的特性，应用代码的存储应当公开且具备超过平台级的抗审查能力；目前，大多数Web3应用采用「将智能合约逻辑存在区块链上，其他存在传统后端上」的原因是目前没有足够好用的去中心化基础设施可以替代原本的中心化基础设施方案。首先，IPFS、Filecoin与Arweave等去中心化存储都是静态存储，这使得其缺乏计算和状态管理能力，无法实现更高级的类似数据库的功能，而虽然Ceramic是动态存储，一定程度解决了这些问题，但Ceramic目前的访问速度仍然较为缓慢，且开发套件不够完善，并且其去中心化程度也一直为人诟病。IPFS、Filecoin与Arweave等去中心化存储的主要作用是静态存储了如图片、文档和静态代码等文件非结构化数据，因为其难以被篡改的特性一定程度上的保障了如NFT之类的数字主权，链上哈希代码与链下去中心化存储地址之间的联系一旦建立，就很难被外力以非常的手段影响。而前端代码搭建在上面也促进了应用主权的完整性，但由于目前阶段的存储技术仅仅是存储而已，计算能力的缺乏导致其功能支持远远落后于中心化的服务器方案。目前市面上的主流去中心化存储情况如下表所示，本表格参考「Web3去中心化存储进化史」总结更新，
亚马逊旗下托管服务Amazon Managed Blockchain已支持以太坊网络:12月28日，由亚马逊推出的可创建和管理区块链网络的托管服务Amazon Managed Blockchain宣布支持以太坊，已推出预览版。亚马逊表示，AWS客户可以在几分钟内轻松预置以太坊节点，并连接到公共的以太坊主网络和测试网络，例如Rinkeby和Ropsten。另外，借助Amazon Managed Blockchain，客户可以获得安全的网络，快速可靠地同步到以太坊区块链，用于存储分类帐数据的持久弹性存储、静态加密和传输中加密，以及通过标准开源以太坊API安全访问网络。[2020/12/28 15:53:05]
数据来源：CoinmarketCap时间：2022年8月23日目前来说，大多数的存储方案只是实现了一个「去中心化硬盘」，这满足了最基本的需求，更高级一些的如基于存储的计算需求并未完全满足，这些计算包括本地开发环境渲染、数据流的插入与提取等等，这些都是目前Web2应用最常用和最必要的功能模块。Ceramic基于数据流存储的创新使得数据的权限管理、版本控制、动态存储和可组合性得以实现，Stratos则正在尝试提供一个更完善的、全套的解决方案，包括数据库存储、静态存储、计算和共识等多个模块。此外，Arweave和Filecoin也意识到了计算的重要性，正在自己或者鼓励生态建设相关模块，如Filecoin已经推出了FVM以支持在Filecoin上的计算。2.1数据的管理
将Web3应用建立在去中心化存储之上，使得他们更加不容易被外力干扰，打破了垄断与强权。但仅仅是存储还不够，还需要存储环境的渲染计算、数据处理、权限配置和隐私保护等等技术的支持，才能够保证应用的主权、用户的数据主权，从而实现数字世界个人主权的崛起。尤其是权限控制和隐私保护问题，它们应该用一个高级别的主权技术方案实现。Web2应用中这些级别数据都是按照不同的安全防护级别，保存在某些具体的中心化服务器上，其安全性由网络安全保障，其主权性由平台保障。这种数据管理模式下，用户服从于超级管理员，对于数据本身，用户没有任何权利。此外，数据安全也受制于超级管理员这一中心化实体，如前段时间某地区的数据泄露事件，一个超级管理员将其私钥泄露，使得上亿人的个人私密信息泄露。Web3的数据管理应当具有以下两大特性：数据主权保障。这应该是超越平台级的甚至是世界级的，通过世界级的共识保障数字世界用户共同的权力。传统世界这方面的保障是平台级的，而且规则来自于非共识，一家平台级公司就可以掌控所有的规则制度，并随时可以更改，从而随时可以侵犯用户个人主权；数据隐私保障。通过密码学从数学上对用户数据隐私安全进行保障，而不是通过数据库网络安全的方式进行保护，用户控制的选择性加密是用户数据主权的基本权利之一；如何对Web3数据进行管理，取决于该数据是如何存储的。
公告 | 恒星协议发布HTTP接口服务器Horizon 1.0:恒星协议Stellar发布Horizon 1.0版本，这是一种基于Stellar的HTTP接口服务器，方便用户与Stellar网络进行交互，而不用理解底层细节。Horizon曾发布过24个小版本以及许多补丁，在提升了稳定性和效率之后，1.0是Horizon的首个大版本。Horizon可以帮助资产发行商、钱包、支付商或者用户的App通过Horizon服务直接连接到Stellar Core节点，与Stellar区块链进行交互，可以执行：将交易提交至网络、读取账户余额、浏览历史数据等。[2020/2/25]
IPFS和Filecoin以内容为中心，通过ContentID来访问存储的内容，在此基础之上通过搭建第三方应用进行数据管理，如通过ChainSafeFiles，可以本地化方式解决单点登录问题后，可以方便地通过非对称加密对数据进行加密存储。以内容为中心的管理模式，使得用户管理变得困难，如何给数据定所有权变得较为复杂。Filecoin除了提供存储之外，它的生态的拓展性会比其他的底层来说要高得多。特别是接下来FVM推出之后，可能会有一些针对数据存储数据检索方面的一些垂直领域推出特色的工具，能帮助用户帮助企业更好地去管理它的一些数据，保证数据的安全，然后开发很多的一些新的应用。Ceramic也是基于IPFS，但以用户为中心，基于IDXProtocol，3IDDID方法构建了Ceramic-native的账户体系，可用于对Ceramic进行身份验证，用户可以使用区块链钱包控制3IDDID在数据流上执行交易并管理自己的数据。这是通过将DID与数据关联后存储进数据模型实现的，数据模型定义了用户数据的格式，只要使用同一个数据模型的应用都共享该数据格式。Arweave是一个一次付费、永久存储的链上数据去中心化存储项目，数据公开透明地存储在链上，任何人都可以访问，通过Arweave区块链浏览器可以浏览存在链上的数据。这种模式下的数据管理与管理链上数据一模一样，没有访问权限控制，以及对原来数据的“热更新”，每次更新数据，其索引地址都会发生变化，这一点IPFS和Filecoin不存在问题，但其好处是数据归属于哪一位用户非常明确，有利于对于数据权益进行回溯。Stratos也是基于区块链共识的存储，会专门维护一个索引树，记录数据存储的路径，从而保持对数据更新的追踪。与Arweave不同的是，Stratos每一个存储节点被设计成同时拥有计算能力、存储和内容访问控制服务，项目方自己会搭建基于区块链本身的数据库用于数据的动态吞吐，其形态和管理模式接近于去中心化云计算机。2.2趋势：去中心化数据市场
动态 | ONTology已在谷歌云、Amazon Web和微软Azure发布公链:据coingape消息，根据最新发布的消息，ONTology宣布已第一个在谷歌云、Amazon Web服务和微软Azure上发布了公共区块链。在这些云提供商上使用本体开发平台，用户可以使用和开发智能契约，而不必在本地配置和设置环境。受利好因素影响，ONT的交易量在过去24小时内大幅增长了15%，根据coinmarketcap的数据，其市值为2.95亿美元，排在第21位，较上周上升6位。[2019/2/24]
在用户拥有数据所有权的情况下，数据市场是一个必然趋势，数据作为资本要素在其中流通。在Filecoin上就曾经有过数据市场的尝试，Fivehive由去中心化应用开发工作室OB1搭建并维护，是一个开源市场，支持数据集的上传、维护、购买和转让。该项目Github已经在两年前就停止了更新和维护，大概率是失败了。Ceramic的数据模型市场
Ceramic在其数据宇宙中提到了他们要打造的开放数据模型市场，因为数据需要互操作性，它能够极大地促进生产力的提升。这样的数据模式市场是通过对数据模型的紧急共识实现的，就类似于以太坊中的ETC合约标准，开发人员可以从中选择作为功能模板，从而拥有一个符合该数据模型的所有数据的应用程序。目前来说，这样的市场并不是一个交易市场。关于数据模型，一个简单的例子是，在去中心化社交网络当中，数据模型可以简化为4个参数，分别是：PostList：存储用户帖子的索引Post：存储单个帖子Profile：存储用户的资料FollowList：存储用户的关注列表那么数据模型如何在Ceramic上进行创建、共享和重用，从而实现跨应用程序数据互操作性呢？Ceramic提供了一个数据模型注册表，这是一个开源的、社区共建的、用于Ceramic的可重用应用程序数据模型的存储库。在这里，开发人员可以在其中公开注册、发现和重用现有数据模型-这是构建在共享数据模型上的客户操作应用程序的基础。目前，它基于Github存储，未来它将分散在Ceramic上。添加到注册表的所有数据模型都会自动发布到@datamodels的npm插件包下面。任何开发人员都可以使用@datamodels/model-name安装一个或多个数据模型，使这些模型可用于在运行时使用任何IDX客户端存储或检索数据，包括DIDDataStore或Self.ID。此外，Ceramic还基于Github搭建了一个DataModels论坛，数据模型注册表中的每个模型在该论坛上都有自己的讨论线程，社区可以通过它来评论和讨论。同时，这里还可以供开发人员发布关于数据模型的想法，从而在将其添加到注册表之前征求社区的意见。目前一切都在早期阶段，注册表中的数据模型并不多，收纳进入注册表中的数据模型应当通过社区的评定成为CIP标准，就像以太坊的智能合约标准一样，这为数据提供了可组合性。Ocean的数据交易市场
OceanProtocol以数据交易市场为核心，建立了一个去中心化的数据服务供应链网络。下图显示了创建数据服务供应链所需的主要服务，提供数据、算法、计算、存储、分析和策划。这些组件与服务执行协议、安全计算、访问控制和许可绑定在一起。
图片来源：OceanProtocol主要的参与角色为数据使用者、服务提供者、市场、服务发布者、验证者和策展人。Ocean提供了全套数据科学工具，数据使用者可以在Ocean上建立数据服务管道以自动化运行数据算法从而对数据进行加工处理以及价值发现。在这个过程中，数据使用者无法下载全部数据集以及看到全部数据集，因此保护了数据集不被盗取，使用者购买的是数据集的使用权，而非拥有该数据集。
来源：OceanProtocol除此之外，Ocean还和其他机构合作建立数据市场，如它与梅赛德斯-奔驰的去中心化数据市场(https://acentrik.io/)在其最近推出的EnterpriseRelease中联手。AcentrikMarketplace由OceanONDAV4智能合约和库驱动，可以发布数据服务、部署和铸造数据代币和Acentrik资产管理代币，并通过花费来消费数据服务。3.1数据的使用与堆栈
基于以上内容的理解，我们提出了Web3数据堆栈，见下图，最底层是数据源所存储的地方，包括去中心化存储、链上和链下数据等；其次是针对这些数据的管理应用，包括数据库、数据表、索引中间件以及数据市场等；在一定的数据管理范式下，能够对数据进行挖掘，包括算法建模、统计分析和数据可视化等；
Web3数据堆栈图片来源：ZonffPartners目前行业内关于Web3的数据使用，绝大多数是链上数据，层出不穷的数据分析工具与索引工具出现，链上数据这个巨大的金矿已经被充分地挖掘，上图的数据表和分析应用分类中绝大多数都是链上数据的挖掘，只有少部分涉及到链下数据。总的来说，数据的使用链路是一个ETLA的过程，每个节点上都具有代表性的项目。提取项目的代表是TheGraph，而转换成可用数据表和加载环节的项目代表是Dune和Luabsae，分析的代表是Nansen和NFTGO。而在去中心化存储上ETLA整个流程的支持项目几乎还是荒漠，只有一些提取类项目，这里存在巨大的机遇和挑战。TheGraph和Ceramic社区本身正致力于提取Ceramic上的数据，Orbis的创始人也尝试做了一个Cerscan用于浏览Ceramic上的数据。Arweave已经可以通过TheGraph用子图读取和管理Arweave存储的数据，Filecoin上也有相关第三方项目在做这件事情。但TLA的过程目前还无人问津，其中最大的原因是存储在不同去中心化存储上的数据异质性很高，很难有一个统一的模式去挖掘这些数据的价值，其中最有希望踏出这一步的是Ceramic，这是因为其数据模型的存在使得Ceramic上数据的异质性指数级降低，从而使得数据的可利用性变得更高。除了链上数据以外，还有很多项目在尝试将链上数据与链下数据进行打通，这类项目可以看作为“链改”型项目。类型分类有：Web2数据主权赋予与交易市场：Itheum、Navigate、Swash和Phyllo等。这类项目主要是将传统互联网数据与链上数据相结合，希望把Web2与Web3之间的信息交互打通，常见做法是将Web2数据导出再导入指定数据池或者直接绑定传统互联网社交账号等等；企业数据共识：Authtrail，该项目通过与企业内部数据库进行整合，加入共识层从而做到企业内数据的防篡改与可追踪等；链上与链下数据组合：SpaceandTime，该项目和Authtrail一样会做链下数据库的整合，但无共识层，更多是链下与链上数据的共同计算，此外Pool也在做类似的事情；Web3数据的使用范式和Web2存在明显的不同，其主要在于数据聚集在一起的方式，即不同类型的数据其存储、索引、提取、整合和利用的方式都会存在差别。根据前文的分类，这里做一些简单的总结：公开数据：包括《网络安全标准实践指南-数据分类分级指引》分类中的公共数据和部分法人数据。作为公共产品，是可以被公开挖掘价值的数据，接入无需许可，但可以追溯用户所有权，从而追溯空投分润，典型的例子是链上数据和存储在去中心化存储上的非加密应用数据。其使用最重要的上游支持是索引应用，如TheGraph，或Web3原生数据库的应用，如Tableland。私密数据：包括《网络安全标准实践指南-数据分类分级指引》分类中的个人信息和部分法人数据。作为需要加密存储，且需要一定隐私权限配置的数据类型，其接入有许可，不可被公开获取，若存储在去中心化存储和区块链上，则需要可权限配置的加密存储。或通过其他手段，如ZK、MPC和TEE等隐私技术手段保护。其使用最重要的上游支持是数据库应用，如Kwil和Ceramic等。
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。