前言

从互联网的诞生，到如今人工智能技术的炙手可热，每一次技术革命都给人来带来极大的便捷。同时，存在这样一群人，他们掌握先进的抟术，并利用技术对企业与个人资产实施入侵与破坏，牟取利益，给社会带来极大的安全隐患。

技术不是恶的本身，我们唯有接近黑产，了解黑产，才能更有针对性的与之抗衡。

《2018交互安全行业研究报告》报告主要聚焦于 OSI 第七层的业务层，极验交互安全实验室通过2018年全年对全国近万个域名、数千亿次的交互数据展开分析，尽可能真实还原2018年国内互联网机器流量状况。

机器流量的定义

Good Bot：通过编程人员的设计脚本自动执行简单且重复的任务，提升工作效率。

包括:

搜索引擎爬虫: Googlebot、 Bingbot、 Baidubot在线爬虫服务自动发现和索引互联网网站的内容，收录到搜索引擎，方便互联网用户更容易找到他们需要的內容。

自动交易程序：股票/数字货币/贵金属等交易平台可以设置自动止损止盈、加仓减仓、定 时委托等业务，完成自动交易。

网站监控软件：实时检测网站、App的可用性、报告页面加载时间和停留时间、改善应用的用户体验、提升业务转化、减少用户流失，很多的应用性能管理(APM)解决方案和大数据分析软件都是如此。

自动订阅机器人：包括订阅的电子期刊、邮件推送、实时新闻、天气信息等。

自动聊天机器人：以主流电商平台为例，提供的机器客服，可以根据实时客户情况完成大量订单、售前售后问题的处理解答。

Bad Bot：坏机器人会为您的网站带来虚假流量，其恶意可能涉及爬取有价值的数据(文章內容、商品价格、评论信息等)、发布垃圾评论和网络钓鱼链接，影响网络分析和搜索引擎优化，导致DDoS攻击等。

恶意机器流量的特点

持续性：

不同于数据泄漏、拖库、勒索病毒这样的偶发性安全事件,恶意的机器流量更多呈现的是持续破坏性。体现在两个方面：

1、利益驱动 以航空公司机票查询接口为例，超过60%的流量都是机器流量，由于行业特殊的价格浮动体系，需要不断的爬取最新价格与航班信息。

2、无人管理 很多爬虫早已处于无人管理的状态，甚至存在近十年之久，早已失去当时爬虫的价值，但是由于无人管理导致对整个互联网的持续资源消耗。

普遍性：

随着越来越多的资产从线下迁移到线上，近几年大数据与人工智能的飞速发展，硬件性能的不断提高，专门做大数据的公司或者公司的大数据部门对输入样本/数据的需求量达到顶峰，只要你的网站存在可以利用资源，几乎都会成为爬取的样本。

行业性：

由于行业性质的不同，其利益产生点也相应不同，所以机器流量的攻击行为也呈现差异化，具体差异性表现为间歇性与持续性的差异；不同场景攻击目的的差异；登录与非登录状态下的差异。

机器流量的分布

行业分布排名Top10：

票务(23.6%)、政府公共服务(15.8%)、电商(12.6%)、内容平台(9.4%)、视频/直播(7.6%)、社交(5.9%)、游戏(5.2%)、OTA(3.8%)、新闻(3.5%)、数字货币(1.8%)、其他(10.8%）

2018 国内机器流量占比 — 票务行业机器

解读:

恶意机器流量在票务中近3/4都在火车票领域，而在火车票中几乎所有的流量都指向了某售票网站及APP，由于特殊的市场性质以及运力不足，导致恶意机器流量呈现罕见的大规模性聚集。

而这一问题，在节假日出行高峰期格外凸显，一票难求冋题依然严峻，由此产生的巨大利益空间，催生恶意机器流量的疯涨。恶意机器流量的逐年增加，将原本就不平等的机器与人“抢票”矛盾进一步激化，导致目前抢票软件的肆虐，普通用户需要支付更高额的成本来换取车票。

航空领域，由于机票其特殊的价格浮动体系，让各大航空公司不得不面对恶意机器爬虫问题，迫使航司需每年向中航信支付大量额外接口查询费用航空公司的恶意占座问题依然严峻，近年来所采用的“超售”、“熔断”、“对于支付订单回仓”等解决方案并未根本解决占座问题。

2018 国内机器流量占比 — 政务公共服务

解读：

近年来越来越多的公司，利用国家公共平台的信息作为其商业化产品的重要数据来源（大数据征信产品，精准营销服务产品，车辆信息查询产品等），辅助以良好的交互体验、产 品包装实现商业化的目的。这样大规模的数据来源需要大量的机器爬虫来提升入库的效率。

目前网络安全法并没有对国家公共信息爬取相关行为做明确的解释或者界定，但是巨大恶意机器流量确实对公共平台的带宽资源造成了极大的消耗，近90％的带宽资源都被恶 意机器流量所占用。

2018 国内机器流量占比 — 电商行业

解读：

非登录态下的爬虫占了整个电商行业近一半的流量，包括动态数据（销量、库存、原价、 现价等）和静态数据（商品信息、评论、点评等），机器流量来源更多的是同类电商平台或者比价平台。

近1/4的恶意机器流量在撞库场景，一旦撞库成功，这些账号则会被分销至洗号产业链 ， 根据不同平台的账号细分完成进一步积分消耗，个人信息售卖，电信诈骗，持续其他平台撞库等行为。

其他场景的机器流量则体现为利用优惠券商品代下单，养号，刷单等业务问题。

2018 国内机器流量占比 — 内容平台

解读：

关于内容平台的恶意机器流量主要分为两部分，一是恶意爬虫对优质内容的爬取，二是广 告性质的发帖与评论，作为内容平台，不论是UGC还是PGC产出的优质内容，都是对平台本身用户砧性最基础保障。

2018 国内机器流量占比 — 游戏行业

 

解读：

2017年上半年，中国以275亿美元的游戏市场收入超过美国和日本，成为全球榜首。高额的攻击利润，让游戏行业成为黑产圈的“风口”。游戏公司因DDoS攻击，而造成经济 损失高达数百万元／天。其中，棋牌类游戏成为DDoS攻击“重灾区”，不少游戏公司因遭到DDoS攻击打击，被迫停止业务运营，频临倒闭。

欺诈作弊主要表现为：批量注册、流量造假、撞库盗号。欺诈作弊问题覆盖超过95％的游戏公司，一方面，游戏公司大量资源被黑产抢占，造成高成本、低转化的运营难题；另一方面，面对竞争，仅刷单欺诈一项，游戏商年损失超412亿。

根据2017年手游质量白皮书显示，近30％外挂手游都存在致命安全问题，即使这样，也未能阻挡外挂市场的空前繁荣，根据《绝地求生》反作弊系统BattlEye的官方数据报告显示，一条由成熟、庞大团队运作，规模达到数千亿美金的庞大游戏外挂黑色产业链已经形成。

2018 国内机器流量占比 — 其他

视频/直播行业

视频网站的恶意机器流量主要存在于刷量与刷榜中。一部网剧动辄几百亿的播放次数让人 畔目结舌的同时，其背后包括了视频制作方、视频出版方、广告主、投资方、平台本身等 复杂的利益关系；至于刷榜就是针对于某些节目或者艺人的变相投票业务，不论是经纪公 司还是粉丝都会与一些第三方刷量团队存在合作。这些恶意的机器流量通常会对视频平台 的用户荐权机制产生影响，因为播放量是其中一个重要的衡量因素。

直播平台恶意机器流量主要体现在虚假观看人数、主播订阅关注量、虚拟道具领取的场景。达到一定知名度的主播的工资体系由固定工资与浮动工资两部分构成，而浮动工资则 是与主播的人气、房间订阅量、礼物桂钩，所以衍生出了许多专门为主榴刷人气的第三方 团伙，也就是恶意流量的来源。这些恶意的机器流量对直播平台造成的危害不仅仅是高出 正常数倍的工资，还有其带来的巨大网络带宽的消耗所产生的CDN费用。

社交

社交领域的恶意机器流量主要集中在恶意注册、垃圾信息以及樟库攻击。

一方面，刷榜刷量的需求下，黑产利用程序，批量注册社交网站及APP马甲账号。并持续养号，用于谋取利益；

另一方面，通过撞库攻击，导致社交平台大量用户信息泄露，危及平台以及用户资产隐私信息安全。

OTA

OTA领域的恶意机器流量主要集中在数据造假与恶意爬虫上。随着互联网流量红利时代的消失，流量的成本也在剧增。而面临个性化市场需求，流量越来越分散，越来越贵。另 外，OTA领域同样也是爬虫重灾区，为维护平台活跃度的需要，针对UGC市场的争夺也早已进入白热化。

数字货币

从2016年开始，以几个主流货币为主的数字货币逐渐步入大众视野，据不完全统计，国内目前有近千家数字货币交易所，上万种数字货币。作为新兴的数字货币市场，大多企业正处在前期依靠大量补贴，简单粗暴的获客阶段。其所面对的主要恶意机器流量，主要为羊毛党。

业务场景分布占比

解读：

业务安全必须立足与业务，场景则是业务最直接的体现。

查询场景占31.4％的恶意机器流量正面说明了目前整个互联网爬虫肆虐的现状，包括国家公共政务平台、医院挂号系统、火车票务网站、演唱会票务网站、机票／酒店价格查询 等众多行业都饱受恶意爬虫的危害，给企业带来巨大不必要的带宽成本；

下单场景则主要集中于电商行业，随着电商行业的GMV不断刷新，以抢购、刷单为目的 黑色产业涟也逐渐走向成熟，在每年“双十一”、”618″、“年货节”等大促时间段内，下单场景的恶意流量都会出现激增；

登录、注册场景是重中之重的账户安全环节，也是所有黑产攻击的入口，随着近几年整个 行业对于账户安全的认知不断提高，大多数企业都在入口做了一定程度安全措施，近两年 占比相对稳中有降。

风险IP追踪分析

黑产团伙的定义

在业务安全的范畴内，黑产团伙特指通过复用相同的资源（IP池、UA池、手机卡、身份信息等）或使用相似的攻击手法在时间维度呈现一定的聚集性对业务方有目的的攻击行为发起方。

当前黑产团伙基础工具：VPS混合拨号、猫池＋卡池、群控＋云控。以标准版本来说：一套 100台手机的群控系统大概整体需要10w（整体包含服务器、日UB、手机支架、操作系 统、100台2G+16G的三网通手机）一套100台手机云控系统大概整体需要5w（包含8 核16G安卓版本4.4物理机100台以及必要的’P代理、一键新机、日志调试、应用下载 功能）

黑产团伙五大特点

专业化：

黑产团伙技术升级迭代非常快，甚至在相关业务场景已实现Al技术的应用

产业化：

网络黑产已经形成规模巨大、上下供应链成熟的庞大的产业链条，极大降低了犯罪的各环节成本

规模化：

目前我国网络黑产专职从业人员已经超过150万人，年产值达千亿级别

集团化：

黑产团伙具备较高的隐蔽性，从业者会专门注册合法公司，披着科技外衣来获取灰色收入

国际化：

黑产团伙往往跨境作案，并和国内多地维持隐蔽的联络，以此逃避警方打击。近年来，黑 产团伙活跃于泰国、菲律宾、柬埔寨、越南等东南亚国家

极验交互安全实验室对国内黑产主要工具进行长期持续的监控，以一款主流黑产工具“火 牛”为例：在12.11-12.21十天的时间内就监测到7个版本的更新，一个月更新了23个 版本，除了修复Bug之外，更多的是攻击策略的不断变化更新。从侧面直接体现出，黑 产团伙与业务方安全团队对抗的不断升级。

整个安全行业攻守双方的不平等性一直存在，而且随着黑灰产业链的不断分工细化、人工 智能技术的普及与应用，对抗的形式在2018年更是愈加激烈。

极验交互安全实验室通过对2018年全年top2O黑产工具全年的跟踪分析、数＋家一线互 联网公司风控部门交流，涉及电商、金融、航空、区块链等多个核心行业，2018业务安 全领域“业务规则”平均有效寿命不到100个小时，其中1月、6月、10月、11月、12 月几个业务高发期寿命甚至低于48小时。

多企业遭遇同一团伙攻击

专业的黑产团伙由于其前期软硬件投入成本、对甲方业务规则分析成本、账号可能被封禁的时间成本存在，往往都会同时在相同行业或者相同业务类型的多家业务方作案，有些团伙甚至有跨行业跨业务的作案行为。极验交互安全实验室通过近半年对数万家企业用户的 持续监控和对长链条时间跨度的聚类分析，抽取典型的10个的团伙覆盖企业数统计如下：

总结

随着互联网的快速发展，企业资产不断向网络倾斜。在暴利驱动下，网络黑产的市场规 模、技术创新以及破坏性，已到达互联网有史以来的巅峰。在我们享受科学技术带来的便利的同时，黑产已从往曰混迹于暗网黑市的小团伙，发展成如今登堂入室的新势力。

作为黑产攻击的主力军，恶意机器流量已经渗透至各行业的核心场景，并将随着人工智能技术的发展，对企业相对传统的业务安全防御体系造成近乎碾压之势。

同时黑产团伙由互联网初期的工作室、个体发展成为当前组织庞大的黑产集团。他们在财力、人力、技术等核心资源上，已经得到空前发展。从互联网初期小规模的礴羊毛行为， 到如今高频次、大规模的企业攻击行为，黑产团伙对抗已经成为全球企业发展无法回避的课题。

与之对应，越来越多的企业以及个人逐渐意识到黑产团伙对于资产与敏感信息的巨大破坏性。未来的业务安全，一定是交互场景与安全的紧密结合。随着人工智能技术在安全领域的应用与创新，企业与黑产之间的博弈将更加复杂多变。未来企业网络安全攻防，也将更具挑战。

原文链接：https://www.anquanke.com/post/id/172031