文章来自微信民众号：陈述基本（ID：caijinggenben），作者：陈根，题图：视觉中国

数字经济时代，数据作为一种新的生产要素，在预判市场走向、调控买卖行为、影响各主体权力义务等方面施展着主要作用。市场参与者特别是互联网企业，通过网络、存储、挖掘、加密、买卖等一系列行为，充分施展数据作为生产性资源的经济价值，更有企业直接将数据视为一种资产。

与传统财富性资产差别，线上数据不具备显著的有体性，而以无形、可共享及可传输为主要特点，这也就导致了商业竞争向新的偏向生长，并以争取数据占有状态为主要形式。其中，除直接通过用户采集数据之外，另一大数据泉源就是使用网络爬虫采集公然信息。

但也正因为互联网和大数据产业的迅速生长，使得定向抓取网页资源的网络爬虫产业生长迅猛。在吸引大量商业公司和小我私家从事其中的同时，大数据也带来诸多平安风险。因此，若何有用指导网络爬虫已经成为现实性问题。

从爬虫手艺到爬虫行为

网络爬虫也被称为网页蜘蛛或者网络机器人等，是指能够凭据自身规则抓取信息的程序。作为搜索引擎的基础构件之一，网络爬虫直接面向互联网，是搜索引擎的数据泉源，决议着整个系统的内容是否厚实、信息能否获得实时更新。网络爬虫的性能显示直接影响整个搜索引擎的效果。

网络爬虫平时会在网络上自动爬取有用的数据，通过一定的选取机制、过滤机制、任命机制等，来厚实它们的数据库。事实上，每个搜索引擎的爬虫机器人都不一样，它们有着自己的一套“爬取机制”。

谁把这个机制优化得最好，那么谁就能更快给到用户真正想要的信息。好比，百度的爬虫机器人叫做百度蜘蛛（ Baiduspider ），360的爬虫叫做360 Spider ，搜狗的叫做 SogouSpider ...基于差别的程序爬取算法，它们也拥有不一样的搜索效果。

网络爬虫系统运行时，会自动选择一个较大网站的统一资源定位符即网页地址作为聚集，在系统中把种子聚集作为初始资源的地址。抓取数据时，在已经存在的网页资源地址的基础上获得新的网页资源地址，相当于把种子网页地址对应的网页作为森林中一棵树的根节点。

系统运行过程中，把种子URL加入到下载行列，并从队首取出一个网页地址下载对应的网页，之后储存内容数据，行使解析器处置信息并获得新的网页地址，把新的网页地址加入到下载排队，频频执行上述操作，直到知足所需条件，循环事情竣事。

网络爬虫可以简朴分为通用网络爬虫、聚焦网络爬虫和增量式网络爬虫。

通用网络爬虫可从种子网页地址不停扩展到整个万维网。通用网络爬虫的作用是为用户站点搜索引擎时采集数据。爬行局限和数目非常大，不需根据特定的爬行页面顺序，但新的页面刷新时间较长。

聚焦网络爬虫是选择性爬行，优先爬行预先设定的相关的网页，且只爬行与主题相关的页面，能够有用节约硬件和网络资源，知足特定人群对特定信息的需求。聚焦网络爬虫相关爬行计谋有以下几方面。第一，基于内容评价的爬行计谋。把用户搜索查询时的查询词作为主题，爬行页面与这一主题相关。第二，基于毗邻结构评价的计谋。其主要涉及两种算法，一种是PageRank算法，可对盘算值比较大的页面举行毗邻接见；另一种是HITS方式，通过盘算每个已经接见的页面决议接见顺序。第三，增强学习的爬行计谋。凭据网页文本和链接文本分类超链接，通过链接的主要性决议接见顺序。

增量式网络爬虫则在对应下载网页的基础上举行更新，即在新发生和发生变化的网页中，保证的其爬行页面为最新页面。增量式网络爬虫可以在很大水平上削减数据下载量，实时更新网页，制止空间和时间上的虚耗。

网络爬虫按授权情形又可分为正当爬虫和恶意网络爬虫。

正当爬虫指在遵守网站的机器人协议（robots.txt）前提下，对网页或网络公然接口举行爬取，其爬取行为不会影响网站的正常运行，对网站数据的爬取也不会侵略网站用户的小我私家信息和网站的主要数据资源。恶意爬虫则会突破网站机器人协议的克制爬取要求（划定在robots.txt文件的Disallow部门），爬取网站的焦点数据资源，并可能极大地消耗被爬取网站服务器的性能。

爬虫开罪详细路径

事实上，作为一项互联网手艺，爬虫行为自己并不违法，甚至许多信息类网站的基础手艺就是爬虫程序。然而，当手艺中立受到商业偏好的影响时，非正当爬虫行为则对云空间中的种种数据形成平安性打击，进一步更深地影响到包罗小我私家权、知识产权在内的正当权益。

第一，从网络爬虫对小我私家信息权的侵略来看，大数据时代，多数公民的小我私家信息都是以电子数据的形式存储于盘算机信息系统或者网络之中，易被网络爬虫抓取。小我私家信息区别于通俗数据的最大特征在于其与信息主体存在某种关联性、专属性，能识别特定小我私家，具有侵略信息自决权的隐忧。凭据我国刑法第二百五十三条之一第三款划定，窃取或者以其他方式非法获取公民小我私家信息的，组成侵略公民小我私家信息罪。

此外，大数据时代下对小我私家数据的财富化旨在保障数据主体能从对自身数据的网络、行使中获益，并强化数据自己的经济驱动功效，以打破传统隐私权、信息权过分珍爱而阻碍数据流通的僵局。但财富权珍爱只能说明小我私家数据执法珍爱的必要性，却不能作为接纳绝对权珍爱模式的依据，且当前我国司法实务中亦无讯断认可小我私家数据的财富权属性，可见小我私家数据的财富权珍爱进路与现实生涯经验、需求并不吻合。这导致以小我私家数据财富侵权来追究网络爬虫民事责任难以实现。

第二，对于企业来说，若是是被爬取方，则其依托相关数据而享有的知识产权等可能会因此受到损害。在知识产权领域，企业数据的权力类型主要涉及著作权、专利权、商业隐秘等。其中，著作权珍爱仅针对企业数据中具有“独创性”的作品部门，而不包罗缺乏独创性的企业数据编排；专利权珍爱仅针对具有鲜明手艺属性并能解决一定手艺问题的大数据运算程序，但不包罗缺乏新颖性、非显而易见性和实用性的企业数据编排；商业隐秘珍爱仅针对具有价值性、新颖性和保密性的企业数据，而不包罗缺乏新颖性、隐秘性的企业原初数据。

上述手艺特征导致实务中通过知识产权珍爱对网络爬虫提起诉讼存在较大障碍。对于企业数据的财富权珍爱，主要思量数据经营者通过对数据的网络、加工、行使、买卖等而形成了动态的使用、利益关系，获得了数据资产的经营权和资产权。这种财富权旨在放置一种激励企业数据经济化的私有结构，以体现企业数据的可支配性和排他占有性私益，却又面临相关财富权的控制、分享、拯救难题。

对数据“权力化”的私法珍爱进路是通过对小我私家数据、企业数据的迭加式赋权来回应数据主体的利益诉求，却在权益层级方面（民事权力或利益）和权益属性方面（人格权、财富权）历经旷日持久的争论，这就导致网络爬虫的民法规制在权力确定、行为界线和权力拯救上都相当难题。其基本缘故原由在于，私法赋权忽略了数据自己的无形性、可分享性、公共性特点以及数据必须通过分享来实现自身价值的客观事实。因而，基于数据的流动性、共享性对数据的开放水平及其公共秩序建组成为规制网络爬虫的另一个主要手段。

第三，大数据靠山下，网络爬虫的不正当使用或损害的公正、自由的数据竞争秩序。从竞争法的角度而言，规制数据竞争的焦点目的是维护数据要素市场的竞争秩序和竞争机制，这既需要兼顾数据控制方与数据使用方的利益诉求，也需要平衡数据资源的产出激励效率和设置使用效率。

当前数据竞争的实质是上下游数据竞争者之间的利益博弈，上游数据企业基于对数据资源的伟大投资和收益期待，发生了数据珍爱诉求；下游数据企业基于互联网“互联互通”精神提倡数据流通和开放共享，发生了数据共享诉求。

因而，对数据竞争秩序的维护包罗对公正数据竞争秩序的维护和对自由数据竞争秩序的维护：前者需要关注数据使用者的不正当竞争行为，如行使网络爬虫恶意窃取竞争对手的数据资源，攫取他人竞争优势的“搭便车”行为；后者需要考察数据控制者限制竞争的欠妥垄断、圈占数据行为，如行使服务条款、手艺措施等有针对性地拒绝他人获取数据以打压潜在竞争对手。

例如，民众点评诉百度不正当竞争案件、新浪微博诉脉脉不正当竞争案件等，这些案件最终都认定为被告组成不正当竞争。缘故原由正是被告未经原告允许，使用爬虫手艺抓取而且行使从原告网站中获取的数据牟利。

第四，网络爬虫的手艺风险还包罗造成被爬取数据的网站拥堵甚至系统溃逃、对被爬取的数据举行损坏等。随着数字化手艺的生长，数据行使渗透至生涯的每一个角落，针对数据的窃取、窜改、损坏、扩散等行为日益增多，并转化成整体的资讯风险，对数据主体的使用、处分权能造成极大威胁，因而发生了针对数据自身平安的自力珍爱需求。

这催生了新的数据法益——数据平安法益，包罗数据的保密性、完整性和可用性，旨在珍爱数据行使的三个面向：数据的“保密性”是指确保数据免受未授权人探知、获悉、使用；数据“完整性”是指确保数据不被修改或损害；数据“可用性”是指确保权力人能实时、有用地获取、使用数据。

当前，各国主要通过“身份认证、接见控制、平安治理审计、平台基线设置等大数据平台平安手艺，以及数据防泄露、营业数据风险治理、结构化和非结构化数据珍爱等平安制度，确保数据的保密性、完整性、可用性”。数据平安法益弥补了民法对非结构化数据的权力的忽视，并接纳准备行为执行化的计谋将网络爬虫非法获取数据的行为纳入刑法珍爱范围，如我国《刑法》第285条第2款划定的非法获取盘算机信息系统数据罪。

若是网络爬虫侵入盘算机信息系统后，对盘算机信息系统举行损坏、对数据举行损坏，或者对盘算机信息系统平安措施举行暴力破解，甚至将爬虫手艺滥用为网络攻击方式等，都可能组成损坏盘算机信息系统罪。

 

爬虫规制的执法界线

固然，网络爬虫作为数据资源获取和行使的主要手段，其手艺中立更多的是一种理念，现实生涯中的手艺通常都是行为的工具，通过手艺实行的竞争行为与手艺自己的中立性不能简朴画等号。手艺中立有利于手艺创新，但手艺创新仍有其执法界线。

无论是私法领域数据确权照样刑法领域数据法益珍爱，网络爬虫抓取数据的正当性、有用性都源于数据主体的授权，这种授权与数据的接见权限和开放水平密切相关，由此衍生出的手艺排他性规则和数据排他性规则组成了网络爬虫入罪判断的两个维度。

数据的接见权限是界定网络爬虫执法责任的要害要素，要求对抓取是否被“授权”举行规范性注释。为了维护数据平安，防止非法抓取，通常要求数据网站主观上对数据具有珍爱的意思，客观上接纳一定的平安防控措施。

这些珍爱措施包罗：合约授权，即通过意思示意允许或克制他人接见、获取数据。如Facebook、LinkedIn、eBay、Craigslist等都在其网站中设置爬虫协议、用户协议、权责声明、使用条款、服务条件等对网络爬虫举行限制。手艺措施，即通过设置种种手艺性手段来监控、防止数据抓取，如监控网站流量、设置身份验证措施等。

违反合约授权或突破手艺措施意味着对数据权力的侵略，但合约授权和手艺措施所体现的数据珍爱意愿、自治能力及执法实效均差别，所负担的执法责任也不相同。这组成规制网络爬虫的第一个维度，并决议了其民事造孽与刑事造孽的界线。

从数据开放水平来说，数据网站有权决议数据的公然或共享的局限和水平，除非涉及公共利益或其他强制性要求。显然，数据的性子决议了网络爬虫的正当性和有用性。数据的独占性与价值越弱，法益珍爱需求就越低，网络爬虫被以为犯罪的可能性就越小。因此，数据的开放水平成为规制网络爬虫的第二个维度，并决议了其抓取数据行为的侵权内容和法益损害实质。

当网络爬虫逐渐成为互联网生态系统中的一个主要组成部门，数据网站一定向法院追求抓取、使用数据的执法界线。这凸显了数字经济时代数据经营者对数据资源的重视与争取，以及建立在数据流动纪律基础上的数据权力化与数据分享性的理念冲突和执法关切。

但这一问题不可能通过一般性的犯罪评估予以解决，而必须“清晰划分相关领域的界线，平衡响应的被珍爱利益，创立新的平衡机制”。最后，基于数据的流动性、共享性对数据的开放水平及其公共秩序的构建，已经成为当前我国规制网络爬虫的基点。