今年，GPT、AI绘画等人工智能大模型工具火热，许多人也想来追一波AI创业热潮，相关创业项目层出不穷。优质数据对AI大模型训练至关重要，只有拥有足够多的数据，才能训练出智能、强大的AI工具。我国互联网蓬勃发展二十余年，还能缺少数据？这不，曼昆律师最近接到网友咨询，准备用爬虫爬取知乎数据，做一个知乎GPT机器人岂不美哉？且慢，这其中的法律风险不可忽视。
01 爬虫是把双刃剑
爬虫技术是一种通过编程自动从互联网上获取数据的技术。它的名字形象、生动地表明了它的工作原理：模拟人类在网页浏览器中浏览网页的过程，进行数据采集和数据抓取。
网络爬虫广泛应用于搜索引擎、数据采集、广告过滤、大数据分析等领域。作为一种功能强大的信息采集程序，它能够显著提高工作效率，尤其是对海量数据的收集和整理。
ADAM与游戏公会生态系统AiGuild达成战略合作:据官方消息，5月27日，首个基于Web3.0的加密数据计算网络ADAM与游戏公会生态系统AiGuild正式达成战略合作。双方就GameFi，NFT，链上游戏数据及Web3.0的未来发展等方面达成合作共识。
ADAM是首个Web3.0时代的数据加密计算网络，拥有批量化数据加密传输功能，能够连接实现世界数据与区块链系统，愿景是挖掘数据的真实价值，使每一个参与数据流通的角色，都能够从中受益。
AiGuild 是一个一体化的游戏公会生态系统，在这个 Web3 游戏世界中，拥有身份 (DID) 的人可以展示他们的成就、结交朋友、探索游戏，甚至可以直接将 DID 货币化并且随身携带。[2022/5/27 3:45:53]
然而，一旦技术被不正当使用，也会引发“虫灾”，导致网络拥堵、崩溃、服务器瘫痪甚至引发数据安全风险。我们熟悉的“裁判文书网”也不能幸免：
Coinbase工程师Craig Hammel加入Moralis担任高级技术顾问:12月2日消息，Moralis是一个去中心化应用程序 ( DApp ) 平台，Coinbase工程师Craig Hammel加入该公司担任高级技术顾问，Craig Hammel将把他的知识用于Moralis项目，增强其扩展和整合其他区块链的能力。Hammel还将协助Moralis将其工具引入移动设备和游戏引擎，例如Unity。
据此前报道，总部位于斯德哥尔摩的下一代区块链开发平台Moralis完成1340万美元种子轮融资，EQT Ventures领投。（dailycoin）[2021/12/3 12:47:23]
动态 | Craig Wright博士推出改变游戏规则的Metanet:据coincryptorama消息，nChain首席科学家Craig Wright推出Metanet项目。该项目本质上是一个商品分类账，旨在把所有东西都放在一个区块链中，它将改变游戏规则，目的是要创建成互联网的替代品，使互联网成为一个副链。[2018/12/2]
图：2019年，最高人民法院发布的《关于“中国裁判文书网”网站建设建议的答复》
02 使用爬虫技术的风险
爬虫作为一项获取数据的技术手段，并未被法律禁止。但使用方式及使用目的决定了是否会产生违法的行为和后果。
使用爬虫技术， 能在短时间内对网站进行大量访问，频繁抓取页面和数据。这可能会导致网站的带宽和服务器负载急剧增加，从而影响网站的正常运行，甚至导致宕机或响应缓慢，干扰被访问网站的正常运营，严重时可构成犯罪。
声音 | Craig Wright：比特币图灵完整性是大多数人忽略的谬误:Craig Wright在Deconomy的采访中谈到比特币的图灵完整性时表示：比特币的图灵完整性是大多数人都没有想到的常见谬误之一，图灵完整机器可以计算任何可计算的数字，而不是无限数。在一个假想的计算机中，说它不是图灵完成的概念，是因为它无法计算无限数，所以，有些人认为这需要循环，永远继续下去并在比特币中存档，否则它不是图灵完整的。而这是一个不同的问题，这仅仅取决于存储空间的多少，并非计算的本质。[2018/9/5]
杨某授权公司员工张某开发某信贷系统软件，该软件内的“网络爬虫"功能能与深圳市居住证网站链接。2018年5月，该软件连续两小时对深圳市居住证系统查询大量访问，致使深圳市居住证系统无法正常运作，极大地影响了该居住证系统使用方深圳市局人口管理处的日常运作。二人均构成破坏计算机信息系统罪。【(2019)粤0305刑初193号】
现场 | Craig S Wright：比特币网络将会成为数据中心:金色财经独家报道，在8月1日香港举行的扩融世界BCH周年国际峰会暨BCH生态建设项目发布会上，Craig S Wright在演讲中指出，我们分析风险时不是要100%安全，要思考的在经济上是否可行，以及很难被攻击。未来比特币将会成为数据中心，闪电网络也会传输到数据中心，没有其他的替代办法。原因非常简单，经济学上规模最终总会取胜，总会有数据中心。因为一个大型的机器在管理所有信息时需要非常高额的管理费用，需要非常高额的成本。唯一的方式就是区域性的连接，把所有的机器联系起来同时工作，就可以减少我们的成本，因为他们不需要付费，所以我们需要重新定义金融或定义其他的行业，这就是我们所面临的机遇。[2018/8/1]
与使用方式相比，如何使用爬取的信息和数据，对爬虫行为的定性影响更大。
非法使用爬取的数据和信息主要有：
（1）盗取个人信息：使用爬虫技术恶意抓取网站上的个人信息，可能涉及侵犯他人隐私、个人信息，严重可构成侵犯公民个人信息罪。
（2）商业竞争中的不正当行为：使用爬虫技术获取竞争对手的商业秘密、定价信息、用户数据等，对数据整合后“搬家”到其他平台，通过这种便捷的方式获取大量有价值的数据、信息，以谋取不正当竞争优势。
在“酷米客诉车来不正当竞争纠纷案”中，法院认为，未经权利人许可，利用网络爬虫技术进入权利人的服务器后台的方式非法获取并无偿使用权利人的实时公交信息数据的行为，实为一种“不劳而获”、“食人而肥”的行为，且具有非法占用他人无形财产权益，破坏他人市场竞争优势，构成不正当竞争。
（3）侵犯知识产权：爬取受版权保护的内容，然后用于未经授权的公开传播或商业用途，属于侵犯知识产权的行为。
03 爬虫数据“投喂”大模型的风险
通过前面的分析可知，使用爬虫技术的风险主要在于爬取的方式以及爬取的内容，那是不是控制爬取的频率和内容，爬取公开内容，用来训练机器人就没有什么风险了呢？
首先，知乎官方账号早在2018年就发布了《关于知乎用户权益保护升级的公告》，提到：知乎对第三方开放知乎内容的使用采取白名单制，第三方需要通过官方合作渠道进行申请。如果爬取行为违反了知乎的服务条款，知乎可能采取封禁账号、IP地址或者其他法律行动。
摘自《知乎机构号使用规范》（试行）
其次，知乎上的内容通常由用户原创或授权发布，著作权归用户本人所有。未经授权地爬取和使用这些内容，可能涉及侵犯知乎的版权和著作权。
其实，训练AI大模型，“数据盗窃”并非个案。上个月，笔神作文公开指控昔日合作伙伴学而思，认为学而思通过爬虫方式“偷数据”训练自家AI产品。笔神作文表示，将通过司法程序解决纠纷，要求“学而思”支付1元赔偿金，公开道歉，并删除已爬取的数据。
04 小结
在人工智能创业的热潮中，数据变得越来越重要。在面对爬虫技术带来的诱惑时，应当认识到，虽然爬虫技术本身并未被禁止，但其不当使用可能导致法律问题，尤其是在涉及个人信息、隐私、版权和不正当竞争等方面。
《生成式人工智能服务管理暂行办法》中明确提到，训练数据处理活动时，应当使用具有合法来源的数据和基础模型。各位老板在创业过程中，要确保数据采集的合法性和道德性。如果想要使用爬取的数据训练AI大模型，务必事先获得数据来源方的授权，并遵守相关平台的规定。
刘红林律师
个人专栏
阅读更多
Foresight News
金色财经 Jason.
白话区块链
金色早8点
LD Capital
-R3PO
MarsBit
深潮TechFlow
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。