眼下，“杀猪盘”等电信网络诈骗层出不穷，严重侵害公民的人身财产权益，网络平台往往采取算法技术过滤可疑或不良信息，然而算法也会闹出乌龙。近日，北京互联网法院审结了首例涉及算法风控系统引发人身权益侵权纠纷的案件，认定被告某征婚交友平台运营者实施算法进行风险控制，尽到了合理注意义务并采取预防措施，并无主观过错，不构成侵权，驳回了原告李某的诉讼请求。一审宣判后，双方均未上诉，该案判决已生效。

　　法院：“预防性风控系统” 无主观过错，不侵权

　　原告李某为某金融公司员工，注册了被告运营的某征婚交友平台，提交了真实照片作为头像以及实名认证手机号。在李某正常使用平台期间，被告对其账户进行了封号处理，并向其他网友提示称“账号可能存在异常”“不要与之发生金钱来往”等信息。该情况导致原告多位朋友误认为原告是骗子，造成原告名誉受损。原告诉至法院，认为被告运营的平台实施算法技术造成误判，侵犯了其名誉权，请求法院判令被告在其平台上公开向原告道歉予以澄清，并赔偿原告损失2万元。

　　被告辩称，其为涉案平台运营者，按照法律法规的规定，对用户在平台的行为进行监管，履行平台主体责任。原告为其运营平台注册用户，在与平台其他用户聊天过程中，短期内多次被检测到出现“金融”“基金”“加微信”等“杀猪盘”诈骗案件所涉高频词汇，因此自动触发了被告平台风控系统的审核规则，经原告致电客服反映情况，被告人工核实后对该账户进行解封。被告的行为仅是为公共利益而依法履行主体监管责任，系统自动判定原告账户为风险账号，不存在侵权行为。

　　本案诉讼过程中，被告提交了《关于涉案软件风控审核系统的情况说明》及相关证据，向法庭说明其“预防性风控系统”算法逻辑机理，尽到了相应的算法披露义务。结合双方诉辩意见，本案中主要争议点为，被告采取涉案算法风控行为是否存在主观过错。

　　法院认为，根据涉案“预防性风控系统”针对的词汇和行为可见，该系统设置目的确系为预防“杀猪盘”等网络诈骗行为，系为实现法律要求的监管义务和公共利益，具有正当性。此外，算法设置需在现有技术条件下合理、合比例，不得存在算法歧视、算法滥用等侵害他人合法权益的非法手段，根据已查明的事实及被告披露算法逻辑过程，涉案算法设置系基于特定词汇和用户行为的自动化反应机制，并不存在对某类用户的不当歧视。

　　鉴于涉案平台为陌生人网络交友恋爱类平台，在目前社会背景下加强“杀猪盘”等网络诈骗犯罪的筛查力度，于被告服务类型来说具有一定合理性。此外，被告按照其承诺的人工审核方式，在声明的期限内核查误判并解除账户封禁和风险提示，尽到了与涉案算法风险相匹配的注意义务。

　　综上，法院认为，被告基于法律监管要求和公共利益保护的目的，设置“预防性风控系统”算法应用，对用户行为进行中立、无差别的风险筛查，虽因技术水平所限造成系统误判，但尽到了与涉案算法风险相匹配的注意义务，并采取了合理的预防侵权措施，并无主观过错，不构成侵权。驳回原告的诉讼请求。一审宣判后，双方均未上诉，该案判决已生效。

　　法官：司法判决关注构建算法行业健康发展的治理秩序

　　本案系北京互联网法院首次对算法应用于“风险控制”领域引发的侵权进行审理。

　　法官表示，当下随着数字经济背景下大数据、人工智能技术的飞速发展，算法技术被广泛运用于互联网应用场景中。与此同时，“大数据杀熟”“算法歧视”“诱导沉迷”“操纵榜单”“最严算法”“深度伪造”等算法应用乱象也时有发生。如何构建鼓励算法行业健康发展、规制不当运用算法的治理秩序，成为算法侵权案件司法裁判关注的重点。

　　针对“算法黑箱”问题，本案中，法院认定被告作为涉案软件的运营者，对算法应用过程具有披露义务，应提供证据证明涉案侵权行为系算法技术的实施所引发，并对算法运用的具体机理予以说明。

　　针对“过错认定”问题。法院结合算法技术特点和相关产业发展现状，对于涉案算法应用行为主观过错和侵权的认定，确立了算法行为目的和主观意图、是否具有正当性，行为手段和性质、侵害人身权益的风险性程度、行为过程的审慎程度、是否采取了预防侵权的合理措施，行为主体身份的特点、技术能力水平及所附注意义务等综合性评判因素。

　　2022年《互联网信息服务算法推荐管理规定》和《中华人民共和国反电信网络诈骗法》均规定了网络服务提供者需履行涉电信网络诈骗信息监测、识别和处置的义务。在此背景下，网络服务提供者通过技术手段，强化对高危风险账户的监测和预防功能，具有算法技术运用的正当性。

　　新京报记者 张静姝 编辑 杨海 校对 吴兴发