1、侵蚀您的利润网络爬虫程序对电商行业有何影响互联网现状/安全性第 10 卷，第 3 期目录3 爬虫程序：良性、恶意和中性4 报告的关键见解5良性爬虫程序与恶意爬虫程序的对比6抓取类爬虫程序的基本概念6抓取类爬虫程序引起关注，客户开始警觉 9网络内容抓取的一般附带后果9出租抓取类爬虫程序：第三方网络内容抓取服务11 AI 僵尸网络的抓取流程 14案例研究：网络内容抓取检测解决方案的优势16增强防护，抵御恶意爬虫程序19合规考虑因素 20结论21方法22 致谢名单您知道吗？超过一半的网络流量都来自于爬虫程序。特别是商业垂直行业，由于该行业依赖 Web 应用程序和资产创收，因此他们受高风险爬虫程序流量

2、的影响最大（图 1）。尽管我们常常听到爬虫程序在不断进化，但当前的电子商务类企业特别关注的是网络抓取类爬虫程序，因为它们的经济影响往往隐藏在表面之下，与其他类型的爬虫程序截然不同。随着人工智能(AI)僵尸网络和无界面浏览器技术的崛起，抓取类爬虫程序越来越难以检测，也就变得极其难以躲避。举个例子，Akamai 的一家电商客户在不知不觉中拦截的高达 99%的高风险流量就源自于抓取类爬虫程序。每月的爬虫程序请求数量：三大垂直行业2023 年 1 月 1 日 2024 年 3 月 31 日200B800B700B500B300B400B100B0B600BBot Request CountNovemb

3、er 2023January 2023February 2023March 2023April 2023May 2023June 2023July 2023September 2023August 2023October 2023December 2023January 2024February 2024March 2024Monthly Bot Requests:Top 3 VerticalsJanuary 1,2023 March 31,2024CommerceHigh TechnologyFinancial Services图 1：商业是收到爬虫程序请求数量最多的垂直行业，从 2023

4、年初至 2024 年第一季度，全球商业垂直行业的爬虫程序流量呈现出上升趋势因此，在这份互联网现状(SOTI)报告中，我们将聚焦于这些爬虫程序及其操纵者的演变与专业化趋势。尽管爬虫程序的存在由来已久，但我们依然观察到各种非法团伙在利用这种手段来实施犯罪攻击、欺诈活动以及窃取竞争情报。最近，我们观察到爬虫程序的使用呈现普遍增长的趋势，其中抓取类爬虫程序对企业造成的负面影响正在加剧。本报告旨在提供技术见解和应对策略，以加深整个商业行业对这一日益严峻问题的认识。22024 年|侵蚀您的利润：网络爬虫程序对电商行业有何影响|第 10 卷，第 3 期爬虫程序：良性、恶意和中性每家以电商为主的大型企业都面临

5、着爬虫程序带来的挑战，这些爬虫程序不断演变进化，变得更加专业化，以实现其攻击目的。在商业垂直行业中，存在着各种各样的爬虫程序，它们各自承担着不同的任务。为了方便理解，可以将它们分为三类：良性爬虫程序、恶意爬虫程序和中性爬虫程序。良性爬虫程序有助于客户找到您的网站。恶意爬虫程序则出于恶意目的从您的网站抓取内容。中性爬虫程序往往比较活跃，但仍然是合法的。它们实际上是良性爬虫程序的一个子类（比如频繁发送 ping 回显请求的合作伙伴爬虫程序或频繁发出调用请求的程序 API）。考虑到聊天机器人和搜索引擎类爬虫程序所带来的诸多益处，比如回答用户的基本问题和提供能够返回更准确搜索结果的网站内容，我们希望在

6、控制 IT 成本的同时，能够优化这类爬虫程序的性能。对于那些恶意爬虫程序，比如未经授权尝试访问客户帐户以进行帐户接管的撞库爬虫程序，我们希望在不损害整体客户体验的前提下采取防范措施。近期，网络抓取类爬虫程序已成为亟待解决的一大难题，它们会导致收入减少、忠诚度下滑，以及成本不断攀升。抓取类爬虫程序是一种用于直接从互联网的网站上提取数据和内容的僵尸网络，它非常特别。网络抓取类爬虫程序引起了人们的高度关注，因为它们的运作方式、对业务的影响以及检测难度都有别于其他爬虫程序。网络抓取类爬虫程序的应用场景也多种多样，具体取决于企业和爬虫程序操纵者如何利用这些爬虫程序收集的信息来创收。不论具体的目标为何，抓