爱分析联合网易易盾发布数字内容风控行业首本白皮书，打造长效安全的数字内容生态

　　数字内容包含文本、图片、视频等多种形式，起源于计算机问世，并随着互联网、智能手机快速发展，如今，数字内容已经成为个人及企业建立形象、传播价值的必要途径。

　　2022年起，随着ChatGPT的火爆出圈，AI大模型强大的生成能力受到全民关注，数字内容生产方式也历经PGC、UGC后进入AIGC时代，图片、视频、文本等多种形式数量呈指数上升。

　　数字内容生产方式的高度自由和数字内容的极大丰富为企业内容生态运营带来安全挑战，企业面临内容不合规、网络诈骗、黑客攻击、垃圾注册、代刷等风险。如何保护平台内容生态，防御黑灰产侵袭，维护平台声誉，成为企业内容运营的显著痛点。

　　数字内容风控解决方案能满足企业数字内容安全运营需求。数字内容风控解决方案涉及机审、人审、策略运营、舆情监测、蓝军服务和培训等应对措施，旨在通过多维度全面监管，实现对数字内容的有效管理和风险防控。

　　在数字内容风控解决方案落地过程中，各行业对数字内容风控的需求有何差异点？企业在不同的数字内容风控场景下应建立何种能力？如何选择数字内容风控解决方案供应商？以及领先企业的数字内容风控实践效果如何？

　　在此背景下，9月7日，爱分析联合网易智企旗下网易易盾正式发布《2023数字内容风控行业白皮书》。该白皮书作为数字内容风控行业首份白皮书，将对以上问题进行系统回答。

　　白皮书首先介绍了数字内容风控的缘起与定义，然后对企业面临的数字内容风控场景需求以及应具备的能力进行说明，并针对重点行业数字内容风控的需求差异进行分析，接下来白皮书对人机共融的数字内容风控解决方案进行详细阐述，最后详细展示娱乐社交、游戏电竞、汽车出行等行业领先企业的数字内容风控实践案例，为读者提供借鉴。

　　01数字内容风控的缘起与定义

　　1.1 数字内容风控的发展历程及驱动因素分析

　　1.1.1 数字内容风控发展历程

　　（1）从PGC、UGC到AIGC，数字内容生产再次迎来高速发展时代

　　图 1：PGC、UGC到AIGC标志性发展事件

　　1958年中国第一台电子计算机器103机问世，为PGC的发展奠定了硬件根基。1993年12月《杭州日报·下午版》通过杭州市的联机服务网络进行传输，标志着PGC时代正式拉开序幕。

　　1999年天涯社区成立，标志着UGC正式进入大众视野。此时，用户仍然较少。2007年苹果智能手机的发布，标志着UGC时代来临，数字内容生产迎来了第一次增长爆发期。彼时，内容生产从以专业人士为主，变成了更为广泛的非专业用户群体。

　　2016年AlphaGo战胜世界冠军李世石，成为AIGC进入应用的标志事件。2018年DeepFake出现，让人们在感叹AI技术先进性的同时，也对其产生了恐惧心理。2022年，ChatGΡT的智能化水平再次引爆AIGC市场，在AIGC影响下，预计国内数字内容生产将迎来第二次增长爆发期。不同于第一次的是，数字内容生产不再完全由人完成，而将主要由虚拟数字人完成。

　　表 1：PGC、UGC、AIGC对比分析

（2）内容数量突破增长，数字内容风控效率承压

　　根据机构发布的第51次《中国互联网络发展状况统计报告》显示，截至2022年12月，我国网民规模达10.67亿，占中国可上网人数90%以上。虽然生产周期从天级向小时级迈进，但人的时间总是有限，在网民数量接近存量上限后，以用户为代表的UGC进入增长瓶颈期。

　　图 2：中国数据总量和AIGC生产内容占比分析

　　AIGC内容通过程序训练生成，流程自动化，只要算力支撑到位，理论上数字人可无限增长，数字内容参与“人”数将突破物理限制，迎来新一轮增长。同时，AIGC内容是自动化生成，不受时间和精力限制，内容可实现秒级发布，未来发布量不可估量。现阶段看，AIGC内容占内容总量仍在1‰以内，处于快速增长阶段。

　　（3）内容质量逐渐不可控，数字内容风控受到挑战

　　用户内容生产多样化，难以形成连续性和品质保证，但和AIGC相比内容相对可控。在AIGC背景下，内容由算法生成，因流程黑盒问题，人们无法完全掌握生产内容的结果，风险不可控性增强，对数字内容风控的要求也大幅升高。

　　1.1.2 数字内容风控驱动因素分析

　　政策精准化演进。精准的政策法规，要求企业实现精准识别，强化了企业责任追究，加强了行业自律要求，要求内容平台和监管部门使用更加高效、准确的技术手段，对不良信息进行精准识别和分类，以便及时采取相应的风险防范措施。同时，也要求内容平台和相关企业承担起更多的法律责任，在内容管理和风控方面负起更多的社会责任，保障用户合法权益和社会公共利益。相关企业必须不断精细化发展数字内容风控手段，才能跟上和满足监管需求，实现自身的长久发展。

　　图 3：数字内容风控政策发展

　　经济发展线上化。在线经济的发展，带动了数字内容生产和消费方式的巨大变化，同时也带来了更多的风险和挑战。大量的数据和信息被存储、传输和使用，网络犯罪、虚假宣传以及侵权等情况也相应增多，也为版权侵犯、违规直播、淫秽色情等内容的宣传提供了更多的温床，需要通过有效的内容风控手段进行管控。

　　图 4：2022年经济发展线上化数据体现

　　社会内容生产多元化。行业方面，不同行业术语，创业内容差异较大，导致内容风控策略及重点也会产生差异。如娱乐社交行业，作为主要的UGC内容创业领域之一，平台吸引了全国各省市的爱好者参与，每天会产生大量的文字、图片、视频、音频，并且由于地方差异，会涉及各类方言的识别，对数字内容风控要求高。

　　技术的加持与挑战。技术的不断提升，为数字内容提供了更多创作工具、提供了自动化生产能力、更加便捷且多样的分发平台，同时更加个性化的需求也在不断被满足。技术也可能对内容产生一定挑战，如技术加持下，深度伪造技术已经越来越先进，数字内容在传播和使用过程中也会面临更多的风险，可能会导致内容同质化、缺乏原创性。

　　1.2 数字内容风控定义与分类

　　1.2.1 定义

　　数字内容风控，是通过AI等专业技术手段和业务规则，针对正常用户和黑灰产的APP下载、注册、内容发布与交互、内容持续维护进行监测、识别、评估和管理的过程。通过识别和防止数字内容中存在的违法、有害或不恰当行为，以保护用户和平台的利益和安全，最终达到“为数字安全守底线，为数字运营拔上限的”目的。具体而言，APP下载阶段通过APP加固，遏制黑灰产应用破解、通信劫持、服务端攻击等行为；在注册阶段智能风控、注册登录保护、渠道假量识别、设备风险识别，对账号、手机号、IP、设备进行多维度审核，实现黑灰产人员身份的识别和判定，以及违规内容的审核；在发布、交互和持续维护阶段通过识别用户发布文字、图片、音频、视频的内容，实现平台内容的合法、合规。

　　1.2.2 分类

　　与重点核查文字、图片、音频、视频违规的“内容安全“相比，数字内容风控范围更广，除内容安全外，数字内容风控还包括应用安全和业务安全。为用户和平台提供从APP下载、注册到内容生产与交互的全流程安全保障。

　　图 5：数字内容风控分类

　　02数字内容风控的场景及重点行业需求

　　2.1 数字内容风控需求场景及解决方案

　　2.1.1 PGC+UGC：守安全合规底线，创运营增长业绩

　　表 2：正常用户和黑灰产特征分析

　　因内容生产方式、目的与违规方式区别较大，使用群体可分为正常用户和黑灰产两类，其中正常用户主要是报告PGC专业人士和UGC的普通用户。

　　白皮书将正常用户的违规行为归属守安全合规底线，将黑灰产的整治归属创运营增长业绩。同时，创运营增长业绩还包含舆情管理和客户精准运营策略。

　　（1）守安全合规底线是保障平台持续运营的基本要求

　　图 6：正常用户数字内容风控环节和要点

　　正常用户数字内容风控解决方案

　　针对四个环节合规内容审核以色情、涉政、违禁、暴恐、谩骂等行为和内容的识别，需要企业具备完整机审+人审能力。

　　为应对数据量快速增长带来的大量审核需求，机审成为企业做数字内容风控的必备能力，通过机审可以有效提升审核效率、降低审核成本。但机审不是万能的，对机审不能确认部分，以及机审结果的复核都需要人审做最后的把关。同时，对机审结果的质量检查和统计分析可以调优机审模型，提升机审准确度，进一步降低对人审的依赖。通过审核管理系统的“预”、“审”、“检”、“溯”四流程，将机器审核、人工审核和模型调优做到高效分工和管理，做好内容安全监控。

　　（2）创运营增长业绩是数字内容风控的进阶要求

　　肃清黑灰产，为用户创造安全的产品运营环境

　　网络欺诈、黑产群控、引流等是黑灰产在网络的主要呈现形式，对平台危害很大。如引流，引流用户到特定平台进行作恶也是黑产常见手段之一。利用评论、私聊、头像、个性签名等一切可以利用的UGC位置发布诱导信息，以各种理由引诱客户脱离当前产品，到黑灰产指定的沟通平台中进行后续交流、进而完成不法行为。

　　黑灰产带来的网络风险对互联网企业带来优质用户流失、内容生态破坏、竞争力下降、承担法律责任、劣币驱逐良币等危害。

　　与普通用户相比，黑灰产的治理要在客户端加上APP安全加固、注册人及设备审核两个环节，涉及监控内容更加复杂。

　　舆情早知道，对热点内容针对性布控

　　舆情具备突发性、大规模性等多样特征，舆情的出现会对APP产品运营生态形成冲击，对APP形成潜在风险。从具体特征看，舆情信息存在强烈的突发性，需要及时监测和分析；舆情数据量庞大，需要通过大数据技术进行处理和分析；舆情信息涉及多个领域和主题，且常常存在不同观点、利益冲突等问题；舆情信息通常带有强烈的情感色彩，包含积极、消极、中性等不同情绪倾向；舆情信息的真实性和可信度存在一定程度的不确定性，需要进行进一步的验证和核实。

　　高精度识别，实现产品营销赋能

　　图 7：某女性头像识别结果

　　现在的机审在内容识别领域精确度已经很高，可以对各种类型的文本、图像、语音等进行分析和判断，并输出准确的结果。这些结果包含了丰富的信息，可以帮助企业更加精确地了解客户的需求、偏好、兴趣和行为特征等，从而为企业实现精准营销提供有力支持。

　　2.1.2 AIGC：数字内容风控的矛与盾

　　（1）AIGC提升了内容生产效率，是数字内容生产的“利器”

　　自2022年开始，从引爆AI作画领域的DALL-E 2、Stable Diffusion等AI模型，到以ChatGPT为代表的接近人类水平的对话机器人，AIGC技术逐渐走入人们的视野和日常生活，也逐渐成为内容生产的新引擎，其强大的内容生产能力更是给人们带来了极大的震撼。

　　AIGC的出现，也为数字内容风控实现更精准的防控创造了条件，为数字内容风控提供了更多工具和手段，有助于实现更精准的防控。通过AIGC可以快速生成大量的训练数据，并且可以实现对不同类型、不同场景下的内容进行分析和判断，这有助于提高模型的准确性和泛化能力。

　　（2）AIGC也成为黑灰产重要抓手，提升了数字内容风控难度

　　AIGC重塑了内容生产模式，为企业数字化转型和个人创作提供了有力抓手，也带来了重大发展机遇。但与此同时，对于内容风控来说，AIGC的大力发展也同样带来了巨大的挑战。

　　黑灰产得以利用其提供的更好工具降低有害内容生产的成本并提高生产效率。这促使有害内容的生成方式变得更加多样化和不规则，包括使用自动生成的文本、图像和视频等。由于这些内容是通过算法自动创建的，并且可以在短时间内大规模生成，因此可能存在风险和内容无法控制的问题。

　　（3）快速反应，全流程应对AIGC风险

　　在当前的AIGC环境下，虚假信息、恶意内容以及网络欺诈等问题已成为亟待解决的难题。因此，AIGC平台厂商需要建立完整的闭环风控体系，以实现全面的防范和处置。该体系应从事前防控开始，通过数据标注、数据治理等方法手段，将风险防控前置化；接着，在事中阶段，应精准审核各种内容，利用先进的人工智能算法进行快速筛选和判定是否存在违规行为；最后，在事后处置优化阶段，应采取有效的措施对违规行为进行处理，并通过持续的监控和反馈机制，不断完善和优化风控体系，确保AIGC平台的安全稳定运营。

　　2.2 重点行业数字内容风控需求异同点分析

　　2.2.1 行业需求概览

　　图 8：内容安全机审行业渗透率分析

图 9：内容安全机审整体规模测算

　　从行业渗透率看，娱乐社交行业整体渗透率已经较高，其中的直播短视频、社交平台作为数字内容风控的重点行业，安全手段处在行业前列；游戏电竞作为监管重点行业，在头部、腰部企业渗透率均较高；其他行业方面，在线教育、电商、媒体、车企渗透率依次下降。

　　从市场规模看，机审和人审是数字内容风控的重点投入方向，仅机审一项2022年全行业整体市场规模约20亿元。未来，随着AIGC等新兴重点行业的兴起，以及行业内公司重视程度的提高，预计未来两年增速会在25%左右。

　　2.2.2 重点行业数字内容风控需求分析

　　白皮书选择重点行业进行分析，依次是娱乐社交、游戏电竞、金融、媒体、车企、新零售。

　　03人机共融，持续构建良好企业运营生态

　　数字内容风控整体解决方案包括机审、人审、策略运营、舆情监测、蓝军服务和培训等综合应对措施，旨在通过多维度全面监管，实现对数字内容的有效管理和风险防控。其中，机审和人审结合可以提高审核效率和准确性；策略运营可以根据实际情况制定相应的审核规则和流程；舆情监测可以及时发现并应对网络上的负面信息；蓝军服务可以提供专业的技术支持和安全保障；培训和可以帮助用户提高数字内容安全意识和应对能力。

　　3.1 机审

　　技术准确性和服务响应速度是企业机审选型主要决定因素

　　图 10：企业机审关键采购因素调研

爱分析调研，n=100

　　根据爱分析所做的调研结果显示，95%的企业在选择机审数字内容风控服务商（以下简称“服务商”）时，最为关注的是技术准确度，其次是服务响应度、产品价格和易用性。相比于品牌知名度，这些因素更加重要，并且更能够直接影响到企业的数字内容安全保障水平。

　　分行业看，在娱乐社交、游戏电竞等行业，由于市场竞争激烈，价格相对敏感，但产品准确度和审核效率是两类行业更加关注的重点。行业特性决定，娱乐社交、游戏电竞需要快速识别风险点，保证平台运行稳定性。除了这些因素之外，企业还需要注重产品质量、用户体验、创新和品牌形象等方面的提升，以吸引更多的用户和客户，并保持市场竞争力。相比之下，在广电、新零售、车企等行业，服务商竞争相对较弱，因此企业可以更加注重产品质量、用户体验、创新能力和品牌形象等方面的提升，以满足消费者对高质量产品和服务的需求，构建良好的品牌形象和口碑。当然，价格仍然是一个重要的考虑因素，企业需要根据市场需求和竞争情况合理制定价格策略，以确保产品的性价比和市场地位。

　　3.2 人审

　　图 11：机审、人审关系图

　　数字内容安全领域，人审作为机审的补充，主要用于处理机审无法判断的内容、抽查机审及人审通过或不通过的内容，以及处理用户投诉和申诉内容等。从调研结果看，采购机审服务的企业，100%都需要人审服务，有外采、自建两种模式。外部采购机审服务的企业往往将人审服务外包给数字内容安全厂商，以减轻自身人力成本和管理负担，并能够获得更专业、更高效的审核服务。自建企业可以更好的实现人员管理，实现对人审策略的快速调整，并对人审质量实现全面掌握。

　　采购需求看，除外包审核人员需求外，部分公司有人员系统和人员管理服务需求，人审的综合服务可以帮助企业实现人审的全量托管。

　　图 12：企业人审关键采购因素调研