2024年国务院政府工作报告提到，要深入推进数字经济创新发展，并首次提到开展“人工智能＋”行动。据咨询机构沙利文预测，2024年我国人工智能市场规模将突破7993亿。
然而，随着AI大模型广泛应用，潜在的安全风险也日益突出。数据泄露、模型篡改、内容价值观偏差等问题不断出现，引发社会各界对AI大模型安全的深切关注。AI大模型亟需开展常态化测试评估，以保障AI数字健康。
三大挑战
决定AI大模型亟需常态化测试评估
第一，政策监管要求。国家对AI技术和应用的监管日益加强，先后颁布实施《生成式人工智能服务管理暂行办法》（中央网信办等七部门联合发布）以及《生成式人工智能服务安全基本要求》（全国网安标委发布），都提出开展AI安全评估、建立常态化监测测评手段等要求。
第二，内容合规要求。AI大模型应用使得生成钓鱼邮件、编写恶意软件代码变得更加容易，大大降低网络攻击技术门槛，导致攻击数量激增。同时，越来越多实例证明，AI大模型的产出可能存在暴力、虚假、诋毁、扭曲历史等不符合正向价值观的内容，需要常态化测评将内容风险前置。
第三，系统安全要求。AI大模型作为复杂的软件系统，其自身的基础设施也面临一定风险，比如网络环境、系统漏洞、数据泄露等等，需通过不同压力场景下的测试来检验其防御弹性。
响应落实国家政策，「数字风洞」支撑
AI大模型基础设施安全和内容风险测评
作为网络靶场和人才建设领军者、测试评估赛道领跑者，永信至诚依托自主研发专有云储备的算力技术与算法人才、国内首个RHG人工智能攻防平台进行AI技术测评的先发优势，以及「数字风洞」产品体系在测试评估领域的专业优势，为AI安全测试评估提供全面解决方案，基于创新的“产品乘服务”理念，常态化支撑AI大模型基础设施安全与内容风险测评，保障AI数字健康和规范应用。
一、在基础设施安全测评方面，为AI大模型筑牢生命基石。
全要素深度安全体检：与所有软件系统一样，AI大模型面临着体系化的网络和数据安全风险。永信至诚通过从攻击者视角出发，对大模型自身系统安全、算法漏洞、数据集、数据泄露等全要素进行全面深度安全体检，及时发现AI基础设施中的薄弱环节，评估现有安全防御措施的实际效果，并据此提出改进建议。
全生命周期安全风险验证：基于「数字风洞」产品体系，对大模型在训练、微调、部署、运维等各阶段进行风险量化评估，确保从模型构建到应用部署的每一步都符合安全要求。对于测评过程中出现的异常情况进行实时预警，不断发现并消除隐患，让安全趋于“证无”。
平台化统一管控和自动复测：依托「数字风洞」将测试评估载荷、工具及全流程进行数字化统一管理，实现对任意测评任务的随时查看、追溯、复测和重放。让安全测试评估不再是线性、一次性的工作，而是成为一个可追溯、可重复的过程，极大提高安全测试效率，确保AI系统在迭代优化中持续保障数字健康。
二、在内容风险测评方面，为AI大模型打造内容过滤引擎。
场景化检测数据集定制：集成永信至诚AI春秋大模型和「数字风洞」产品体系的技术与实践能力，结合国家政策标准要求和大模型使用场景，形成100+提示检测模板、10+类检测场景和20万+测评数据集，模拟虚假信息、仇恨言论、性别歧视、暴力内容等各种复杂和边缘的内容生成场景，评估其在处理潜在敏感、违法或不合规内容时的反应，确保AI大模型输出内容更符合社会伦理和法律法规要求。
诱导性测试载荷构建：通过诱导者视角构建引导AI大模型产生不当回答的测试载荷，高效检测和识别AI系统在复杂交互下可能出现的安全漏洞和内容风险，进一步强化大模型的安全规则和过滤机制。
持续性测评与规则更新：持续对AI大模型进行监控和测试，随着新的内容风险不断出现，系统会及时更新安全规则和过滤机制，确保AI大模型能够适应不断变化的内容安全要求，有效防范潜在的安全隐患。
测评任务总览
测试评估报告
测评智能分类永信至诚表示，AI时代已然来临，我们站在“人工智能+”风口，也站在了守护AI安全的起始点，开展常态化测试评估成为实现AI大模型安全的关键基础和根本保障。永信至诚作为AI安全测试评估先行者，以专业的「数字风洞」产品体系，立于护航AI安全前沿，持续助力监管机构和各细分行业领域AI开发者构建AI大模型基础设施和内容安全基线，保障AI数字健康，带给世界安全感。
数字健康是永信至诚提出的企事业单位在数字化建设中，网络、系统、数据等数字化资产实现实质安全的目标理念。有别于传统安全服务的风险“证有”理念，永信至诚认为，在数字化进程不断深入过程中，企事业单位的网络和数据安全保障是一个多维度、多场景、全生命周期及持续的过程，是一个不断发现新风险并形成新数字化免疫力的趋于“证无”过程。
永信至诚致力于基于“产品乘服务”创新体系和“家庭医生”专业理念，通过“数字风洞”测试评估系统和专业数字健康体检服务，用独立的第三方安全视角，持续关注人、系统、数据的数字健康状态，量化验证安全投入有效性，为企事业单位设计更有针对性的安全解决方案，优化安全预算，提高安全建设效能，建设企业内在安全免疫力，保障用户数字化系统及业务的实质安全。
（来源：News快报）
