René's URL Explorer Experiment

{"@context":"https://schema.org","@type":"DiscussionForumPosting","headline":"营销反欺诈全流程","articleBody":"## 1   欺诈定义\r\n欺诈是用户主观、以非法占有为目的，采用虚构事实或隐瞒事实真相的方法，骗取他人财物或金融机构信用，破坏金融管理秩序的行为。\r\n- 按照欺诈的人数来分可分为：个体欺诈和团伙欺诈；\r\n\r\n- 按照欺诈的主体来可分为第一、第二、第三方欺诈；\r\n\r\n- 按照欺诈的行为可分为：金融信贷欺诈、互联网业务欺诈和信用卡欺诈三大类。按照欺诈的行为，大的方向上可分为：金融信贷欺诈、互联网业务欺诈和信用卡欺诈三大类，如果进一步\r\n细分落到具体的场景上有：盗刷、薅羊毛、骗贷、套现、刷单、 刷好评等行为，根据不同的欺诈场景的应对方法是有所不同的。\r\n![](https://upload-images.jianshu.io/upload_images/11682271-4ee2b427e5ff2e8a.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n\r\n## 2  项目背景\r\n营销欺诈是互联网业务欺诈大类的一种，指的是羊毛党通过虚假身份参加营销活动大量获利的行为。据统计，存在1000万+被滥用身份信息、 200万+网络黑产从业者、超千亿黑产市场规模。“羊毛党”也逐渐从分散个体向组团集聚发展，形成了有组织、有规模、有分工的职业“羊毛党”。\r\n\r\n![](https://upload-images.jianshu.io/upload_images/11682271-9233cb2a09250e4e.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n在此背景下，为避免营销资源浪费，在加强活动规则设计的同时，亟需运用技术手段搭建营销反欺诈系统，以保护良好营销环境，提升营销效果。\r\n\r\n## 3   方案设计\r\n模型层面主要应用的技术有：有监督分类模型、知识图谱无监督模型、业务策略。由于欺诈形式大都是未知、复杂多样的，本方案通过数据分析及无监督检测的方式对有监督模型做补充。\r\n![](https://upload-images.jianshu.io/upload_images/11682271-c6d8d6df498b7266.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n\r\n\r\n## 4   欺诈分析：\r\n在复杂的欺诈任务上，无法仅凭仅有的少数欺诈标签建立一个良好的欺诈模型（更何况标签质量参差不齐的），知己知彼百战不殆，这需要去了解业务知识、欺诈链，并采用更合适的技术手段来识别欺诈。\r\n### 4.1  羊毛党主要类型\r\n第一类是个人纯手工进行薅羊毛的行为，这类行为往往因涉案金额和规模小，且在商家营销的允许范围内；\r\n第二类通过破解平台的后台接口建立虚假客户端进行薅羊毛（黑客类）；\r\n第三类利用外挂程序将薅羊毛过程完全自动化；\r\n第四类是团伙羊毛党，通常是组织者组织团伙成员薅羊毛;（与信贷团伙不同的是，羊毛党的欺诈涉及单笔金额较小，但团伙规模较大，团伙的实际组成可能只有单个人/工作室。）\r\n\r\n现实中，羊毛党会结合第三、四类薅羊毛方式，并存在与平台、商家瓜分利益，发展趋势更具规模化、产业化，这个是营销反欺诈的主要目标。\r\n\r\n### 4.2 薅羊毛的产业链\r\n![](https://upload-images.jianshu.io/upload_images/11682271-b00ec7ebb1a1e417.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n![](https://upload-images.jianshu.io/upload_images/11682271-a7a5e5010d9b9f73.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n### 4.3 欺诈特征\r\n\r\n\r\n通过业务数据分析（以某银行营销活动数据为例），发现了一些羊毛党特点\r\n- **群控特点**：每笔交易额度一样；商家集中性；活动开展短时间内交易频次高；行为序列类似；大量失败交易等；\r\n\r\n- **团伙性特点**：团伙间有资金往来；共用设备、手机号码、IP、相似GPS等；\r\n\r\n- **资源端特点**：代理IP、伪造GPS、伪造设备号、冒用身份证，存在大量一对多情况；\r\n\r\n-  **兑换端特点** ：集中电子券，白酒等硬通货；收货地址相似度高；\r\n\r\n对这些特点，主要有两种应用：\r\n1、可以加工出相关的强特征：比如活动短期内的优惠频次；\r\n2、采用比较合适的模型去识别欺诈：如交易额度一样且频次高可以使用策略去覆盖；行为序列类似可以先用表征学习然后聚类发现；收货地址相似度高可以用WMD算法匹配高频地址群；团伙特点可以用知识图谱去挖掘黑产团伙；\r\n\r\n## 5   建模过程\r\n![](https://upload-images.jianshu.io/upload_images/11682271-0185e4cfa89ea149.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n\r\n\r\n### 5.1  有监督模型\r\n![](https://upload-images.jianshu.io/upload_images/11682271-049b5492cee018e3.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n\r\n\r\n\r\n### 5.2  知识图谱无监督模型\r\n主要运用知识图谱社区发现，结合异常检测发现高可疑的团伙，方法如下：\r\n1、图谱构建：构建活动的知识图谱；\r\n![](https://upload-images.jianshu.io/upload_images/11682271-0ff5cd6dec586990.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n2、社区发现：先运行联通子图算法，在非孤立的子图内通过louvain社区发现算法挖掘团伙；\r\n![](https://upload-images.jianshu.io/upload_images/11682271-076bb20ee3922bf4.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n3、统计社区指标：如各团伙人数， 团伙人均参加活动次数，团伙内欺诈名单占比等指标；\r\n![](https://upload-images.jianshu.io/upload_images/11682271-fc4a3ffbeb9103d7.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n4、检测异常社区：社区指标通过（如log, 幂）转换近似成为高斯分布，高斯异常检测算法发现异常的团伙；\r\n![](https://upload-images.jianshu.io/upload_images/11682271-5b80f9a6b893def9.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n5、名单核实：业务人员调查核实异常团伙名单，并将核实后名单回馈有监督模型实时训练迭代优化；\r\n![](https://upload-images.jianshu.io/upload_images/11682271-7ef8b4bf6a0fbb64.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n-----------\r\n\r\n![](https://upload-images.jianshu.io/upload_images/11682271-2888956525d821e9.jpg?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n **欢迎微信关注公众号“算法进阶”**，这里定期推送机器学习、深度学习、金融科技等技术好文。欢迎一起学习交流进步！      ","author":{"url":"https://github.com/aialgorithm","@type":"Person","name":"aialgorithm"},"datePublished":"2021-01-18T03:17:39.000Z","interactionStatistic":{"@type":"InteractionCounter","interactionType":"https://schema.org/CommentAction","userInteractionCount":0},"url":"https://github.com/6/Blog/issues/6"}