查看原文
其他

OPPO 应用分发业务黑灰产对抗实践

王建 DataFunSummit
2024-09-10

导读 本文将介绍 OPPO 应用分发业务在面对黑灰产攻击时的防控实践。

文章将围绕以下四点展开:

1. 应用分发业务及黑灰产攻击介绍

2. 整体防控架构及对抗思路

3. 典型案例介绍

4. 总结&展望

分享嘉宾|王建 OPPO广东移动通信有限公司 高级风控算法工程师 

编辑整理|肖禹

内容校对|李瑶

出品社区|DataFun


01

应用分发业务及黑灰产攻击介绍

1. 应用分发业务介绍

OPPO 应用分发业务主要包括软件商店、游戏中心和主题商店,服务对象涵盖开发者和普通用户。开发者可以在平台上上传和管理应用,而用户则可以下载或更新应用、体验游戏,甚至下载自定义主题、字体和壁纸等。平台方在提供优质体验和内容的同时,需要借助安全与风控能力,确保安全分发和隐私保护。

应用分发业务面临的风险主要分为两类:一是恶意应用上架侵犯用户隐私,二是恶意流量损害开发者利益和用户体验,破坏生态平衡。恶意流量主要表现为软件商店和游戏中心的恶意点击和刷下载行为。平台方需构建反作弊系统,以识别并处置恶意流量,防止产生收入损失。

2. 应用分发业务的刷量产业链

在应用分发业务中,存在一个刷量产业链,涉及两类不同的开发者。第一类开发者是正常进行 APP 开发和运营的主体,他们通过两种主要手段来提升自己的业务表现。首先,他们会优化应用的内容和用户体验,以吸引更多用户并提高用户量。其次,他们可能会在广告平台上购买关键词,投放广告,以增加应用的曝光度、下载量和用户量。

与此相反,第二类开发者专注于刷量的开发和运营。他们通过伪造下载流量和虚假搜索行为,以及刷关键词等手段,欺骗平台的后端算法,包括推荐算法、搜索算法和评级评分系统。这些不正当的操作使得他们的应用获得了不应有的曝光和下载量。虽然这些应用的好评、星级和下载量可能因此上升,但实际上用户是被诱导使用的,这种情形对平台的利益和用户的体验都造成了损害。

应用分发业务的刷量产业链涉及多类从业人员。第一类是恶意软件开发者,主要负责破解业务 APP,利用自动化脚本来实现刷量行为。第二类是软件和服务销售代理,主要承担接单和销售服务的角色,通过售卖刷量服务来获取利益。第三类是刷量团伙,通过伪造手段制造虚假数据,并以此牟利。第四类是 APP 开发运营人员,他们通常具有规模化运作的能力,能够在短时间内产生大量的虚假流量,以实现自己 APP 排名快速提升的目的。最后是众包人员,通过众包平台接取任务,进行人工刷量操作。这些从业人员通过各自的行为和相互协作,形成了一个完整的刷量产业链,对应用分发平台的正常运营和用户体验造成了严重的负面影响。

在应用分发业务的刷量产业链中,为了应对平台的防御措施和提高刷单的效率与隐蔽性,黑产刷单手段经历了几个阶段的演化:
  • “假机”阶段,黑产使用模拟器和云真机等工具,通过破解应用分发业务的协议,直接调用后端接口进行刷量。这种方法技术上较为简单,容易被识别和阻止。
  • 真机假用户阶段。通过手机墙技术批量控制真实设备,进行虚假操作。这些账号往往是虚假注册或恶意注册的,以此来模拟真实用户的行为。
  • 真机真人假行为阶段,黑产通过木马或具有再分发能力的应用程序,秘密植入用户手机中。在云端控制下,用户无感知地完成了下载、启动等任务,刷单行为更加隐蔽。
  • 真机真人假动机阶段,通过众包、任务群等方式吸引所谓的羊毛党进行真人操作。在这个阶段,账号和设备都是真实的,但操作的动机是虚假的,主要是为了赚取佣金而非真正的应用需求。
02

整体防控架构及对抗思路

1. 应用分发业务流量反作弊架构

OPPO 应用分发业务的流量反作弊架构是一个综合性的防控体系,旨在有效识别和处置恶意流量,保障业务的正常运行和用户体验的优质性。该架构总体上分为三个主要部分:端侧防护系统、智能风控云端系统和告警监控系统。

端侧防护系统是架构的第一道防线,它包括应用加固、白盒加密、环境检测和链路层加密等措施。这些措施通过端云协同系统,确保采集到的数据安全,并将识别结果传输至后端的环境风险检测系统和设备标识系统中,为后续的分析和处理提供支持。

智能风控云端系统是架构的中间部分,它利用大数据分析技术构建用户画像系统,进一步细化和加强对异常行为的识别能力。该系统中包含离线识别子系统和实时识别打击子系统,分别处理 T+1 的数据和实时数据,以适应不同的业务场景和算法处理需求。离线识别子系统主要关注下游算法训练任务和业务收入指标的清洗,而实时识别打击子系统则专注于流量的实时分发和算法的实时处理。

告警监控系统作为架构的最后环节,负责对离线和实时识别结果进行监控,确保风控决策的实施效果。该系统通过对各类异常指标的持续跟踪和分析,为业务系统后端和算法系统提供进一步的应用结果,从而形成一个完整的闭环风控体系。

2.面临的问题及挑战

OPPO 应用分发业务在发展过程中面临三大主要问题,这些问题对于业务的安全性和稳定性构成了挑战。
  • 黑灰产攻击手段的不断演化与升级:随着黑灰产技术的不断进步,攻击手段也在不断演化和升级。这些攻击行为不仅会给平台收入造成损失,还可能对用户体验产生负面影响。为了应对这一问题,OPPO 构建了一个集感知、识别、评估和处置于一体的循环系统,重点是感知和评估体系的建设,以便及时捕捉到黑灰产攻击的最新趋势和变化。
  • 流量反作弊的效果评估问题:与金融风控不同,业务风控缺乏一个明确的表现期来评估识别结果的精度。这使得业务风控在解释和预估用户价值方面存在一定的困难。为了解决这一问题,OPPO 构建了业务指标和名单库,通过近似评估的方式来衡量风控策略的有效性。
  • 真人真机众包类流量的识别难题:随着众包平台的兴起,真人真机的刷量行为日益增多,这类流量的识别对于传统的风控系统来说是一个巨大的挑战。为了应对这一问题,OPPO 采取了构建真人众包子画像和开发专门的众包识别算法等策略,以专门识别和处置这类黑产攻击。
3. 反作弊工具箱

在 OPPO 应用分发业务的实践中,第一个反作弊工具为“感知与评估模块”,该模块的核心作用是构建一个完整的感知、评估和处置体系,其中重点在于提升感知和评估的能力。
  • 感知模块:主要目标是敏感地捕捉到黑灰产攻击的变化。为了实现这一目标,OPPO 采取了多种措施,包括收集外部情报、分析关联关系指标以及设备类指标。主要采用的分析维度包括环比、同比以及与大盘数据的对比分析。
  • 识别模块:OPPO 已经建立了多种规则和算法。具体来说,这些规则和算法包括设备类规则、画像类规则,以及线上使用的无监督和有监督算法。此外,还采用了异常检测算法、图分析和图神经网络的社团挖掘方法等技术手段,以增强识别恶意流量的能力。
  • 处置模块:OPPO 采取了三种主要的处置方式:首先是拒绝请求,即直接拦截恶意请求;其次是降级处理,主要应用于实时风控请求,例如识别到恶意请求后,将其降级处理,不再继续后续的算法分发和调用流程;最后是标记处置,即不对当前请求进行拦截,而是为其打上恶意标签,供下游业务方使用。
  • 评估模块:目的是在风控实施后进行近似的评估,以判断识别结果的有效性。由于业务风控缺乏金融风控中的表现期,因此无法直接评估识别精度。OPPO 通过采用转化率指标,如安装成功率和启动转化成功率,来进行评估。这些指标能够反映出恶意流量相对于正常流量的偏低转化率,从而为评估识别结果提供依据。此外,还会利用名单库对当前识别结果进行评估,以此来衡量策略的有效性。

第二个反作弊工具是“黑名单”,它在打击黑灰产方面发挥着重要作用。黑名单的主要功能是构建一个及时有效的名单库,供线上策略调用,并在评估阶段使用,以计算关键指标如安装成功率或启动成功率,作为恶意流量的基线,进而评估其他策略的有效性。黑名单系统的设计与实施需考虑以下几个关键点:
  • 解决的问题:黑名单应该具备高可用性和跨周期作弊的打击能力。这意味着黑名单是能够实时调用的,并跟踪记录历史上有可疑行为的设备请求或账号,以便打击那些可能在不同时间段内重复作弊的资源。
  • 黑名单类型:黑名单的构建应侧重于黑产使用的稀缺资源,如 IP 地址、设备标识和账号等,这些都可以作为构建黑名单的重要维度。
  • 更新机制:黑名单需要定期更新,包括新条目的加入和旧条目的移除。加入黑名单的标准通常是基于强规则,如命中次数限制;而移出黑名单的标准则可能参考设备或账号最后的活跃时间,以保持名单的时效性和准确性。
  • 质量保证:为了保证黑名单的质量,需要对新接入黑名单的趋势进行监控,同时监控准确率和误伤率,确保黑名单中的名单准确且有效。

第三个反作弊工具是“图算法”,它专门针对黑产团伙的聚集性和组织性特征进行设计。图算法能够有效识别和分析黑产团伙的行为模式,从而辅助 OPPO 采取相应的防控措施。OPPO 在使用图算法时,遵循了包含筛选、监控和应用三个关键环节的流程:
  • 筛选环节:首先,通过社团挖掘算法,如 Louvain 或连通分支等,从大量数据中筛选出可能的黑产团伙。然后,根据社团的属性,如大小、节点分布特征和聚集情况,进一步筛选出真正具有恶意行为的团伙。例如,可以根据设备属性如 APP 版本或操作系统版本进行筛选。
  • 监控环节:在识别出恶意团伙后,OPPO 会持续监控这些团伙的活动趋势,包括识别量的增减情况。如果出现异常变化,如识别量急剧上升或下降,将及时进行分析,以确定是否需要调整算法或筛选条件。
  • 应用:包含两方面的应用,一是将识别出的恶意团伙的所有请求标记为刷量,即认定该设备下的所有流量,包括下载、点击和搜索等,均为恶意流量。二是将恶意团伙的信息纳入名单库,以便其他业务或实时风控系统进行调用,从而实现跨业务的联防联控。

第四个反作弊工具是“行为序列模型”,该模型利用用户的事件序列特征来预测和分类流量的行为模式,从而有效识别出异常行为。行为序列模型的构建和应用包括以下几个关键步骤:
  • 事件序列特征选取:在模型构建的初始阶段,首先需要从用户在应用中的行为中筛选出有意义的事件序列特征。这一步骤涉及到从大量的埋点数据中提取出真实用户的关键行为,并去除冗余的埋点信息。
  • 黑白样本标记:为了训练行为序列模型,需要有明确标记的黑白样本。这些样本的标记可能来源于强规则的判定或历史数据的分析。
  • 模型选择与训练:在选取了合适的特征和样本后,可以选择适合的模型进行训练,如长短时记忆网络(LSTM)、卷积神经网络(CNN)等。这些模型能够学习到序列中的隐含信息,并进行有效的分类预测。
  • 预测结果应用:模型训练完成后,可以将预测结果直接作为规则用于线上流量的分类和识别。同时,也可以对召回的样本进行离线分析,以进一步优化模型的性能。
  • 模型监控与告警:在模型部署后,需要对模型的稳定性和预测结果的准确性进行持续监控。这包括对模型预测结果的实时跟踪和分析,确保模型在实际应用中的有效性和可靠性。
行为序列模型的应用,使得 OPPO 能够更加精确地识别出正常用户与黑灰产行为的差异,提高了反作弊系统的整体效能。通过这种方式,OPPO 能够更好地保护其应用分发平台,确保业务的健康发展和用户体验的安全性。

03

典型案例介绍

1. 游戏中心流量反作弊

“游戏中心流量反作弊”案例的对抗过程分为以下几个阶段:
  • 接口破解与伪造数据阶段:在此阶段,黑产尝试破解游戏中心的协议接口,通过模拟器等手段伪造数据,模拟正常用户的访问链路。OPPO 通过监控关键特征,如行为序列的完整性和 IP 地址的异常性,采取相应的对抗措施。
  • IP 资源对抗阶段:黑产开始使用海量 IP 资源,通过代理拉取 IP 地址来规避基于 IP 的打击。OPPO 通过结合设备基础信息和 IP 属性,加强了对异常设备属性的识别,以对抗此类攻击。
  • 设备信息盗用阶段:黑产盗用正常用户的活跃设备信息,进行虚假上报。OPPO 通过分析设备活跃度、常用地点和绑定账号等特征,识别出异常设备行为,从而进行有效对抗。
  • 模拟器使用阶段:黑产采用模拟器模拟设备在某地的活跃状态,同时批量注册虚假账号。OPPO 通过构建账号画像,包括风险评分、使用习惯和设备真实性等维度,来识别和对抗这种攻击。
  • 真人真设备操作阶段:黑产雇佣真人操作真实设备进行刷量,这种攻击行为与真实用户行为难以区分。OPPO 通过制定细致的线上策略,尽量避免误伤正常用户,同时识别出此类真人众包行为。

在该案例中,OPPO 应用分发业务实施了一系列有效的反作弊措施,取得了显著的成效。具体体现在以下两个方面:
  • 刷量请求的显著降低:通过一段时间的防控措施,游戏中心的日均搜索刷量请求从占总业务总量的 25% 显著下降至 1.5%。这表明,经过 OPPO 的反作弊系统识别和过滤,超过 98% 的刷量请求被成功拦截和处理。
  • 下载量价格的提升:OPPO 的游戏中心下载量价格相比业界其他平台有所提高,这一现象反映出黑产攻击 OPPO 平台存在一定的难度。较高的价格可能是由于黑产在攻击过程中遭遇了更多的挑战和阻碍,从而导致了攻击成本的增加。

2. 主题商店真人众包反作弊

“主题商店真人众包反作弊”案例,主要针对真人众包平台所进行的刷量行为进行识别和防范。

在该案例中,存在三个主要角色:真人众包平台方、真人众包的需求方以及任务的众包人员。真人众包平台方负责开发众包平台,如 APP、小程序或微信公众号,并在平台上招募任务者。需求方在众包平台投放任务,并在任务完成后结算费用给平台方。众包人员在平台上接取并完成任务,以获得分成。

为了有效识别和对抗真人众包的刷量行为,OPPO 采用了三种模型进行离线分析:搜索词匹配模型、行为聚类分析和图关联模型。搜索词匹配模型用于识别异常的搜索行为,行为聚类分析则针对众包用户的行为模式进行分析,而图关联模型通过分析用户行为路径的相似性来构建真人众包群体的子图。

通过这些模型的应用,OPPO 提炼出了一系列规则,并将其用于线上识别。针对真人众包的作弊行为,OPPO 采取了减少曝光量的处置方法,而不是直接拦截。这种策略旨在降低作弊行为的影响,同时避免对正常用户造成不便。

目前,OPPO 在主题商店真人众包反作弊方面的识别覆盖率达到了 84%,准确率达到了 95% 左右。这一成效展示了 OPPO 在反作弊领域的技术实力和对真人众包类刷量行为的有效管控。通过这些措施,OPPO 保护了主题商店的业务生态,确保了平台的正常运营和用户的合法权益。

04

总结&展望

最后,对 OPPO 应用分发业务的防控架构以及对抗思路进行一下总结,主要包括以下三个关键方面:
  • 工具链的完善:为了应对黑灰产攻击的不断演化和升级,OPPO 认识到必须不断完善工具链。这包括选择和使用合适的算法来应对特定的挑战,以及确保这些工具和算法能够及时更新和迭代,以适应新的攻击手段。
  • 反欺诈运营体系的辅助:OPPO 强调建立一个全面的反欺诈运营体系的重要性。这个体系不仅包括数据和规则的使用,还涉及到全链路监控,确保从数据采集到策略实施的每个环节都受到严格的监控和管理。这样的体系有助于及时发现和处理欺诈行为,减少平台和用户的损失。
  • 黑产情报的获取:了解和获取黑产的情报对于构建有效的防控体系至关重要。OPPO 通过加强黑灰产工具的研究和模拟攻击行为,提高了对攻击手段的理解。同时,通过及时获取和分析情报,OPPO 能够更快速地调整防控策略,减少对正常业务的影响。
以上就是本次分享的内容,谢谢大家。


分享嘉宾

INTRODUCTION


王建

OPPO广东移动通信有限公司

高级风控算法工程师

2017 年毕业,先后从事互联网金融风控算法、业务风控算法等岗位。目前在 OPPO 主要负责应用分发业务的黑灰产对抗,包括搭建实时和离线防刷系统,感知、识别和处置作弊。

往期推荐


知乎 DMP/CDP 平台的应用和实践

Alluxio:面向 AI 计算的高性能数据访问平台

基于深度学习多实验叠加效果因果推断

Alluxio 在携程大数据平台的探索与优化

GraphGPT: 大语言模型的图结构指令微调

锁定营销敏感人群:因果推断在智能营销中的关键作用

B 站的数据治理运营框架实践「 内有案例分享 」

云器Lakehouse:Multi-Cluster弹性架构如何实现湖上高并发低延迟分析

大模型百度数据科学领域典型应用

ClickHouse 在 58 同城画像系统的应用

点个在看你最好看

SPRING HAS ARRIVED

继续滑动看下一个
DataFunSummit
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存