微软发布新工具ASSERT：开发者可通过文本描述生成AI行为测试

2026年6月2日，微软发布了一款名为ASSERT（Adaptive Spec-driven Scoring for Evaluation and Regression Testing）的开源框架，旨在简化AI应用特定行为的测试流程。该框架能够将自然语言描述的目标、政策或预期行为转化为全面的可评分测试。ASSERT的工作流程包括：接收AI模型预期行为和政策的自然语言描述，将其转化为结构化的可接受与不可接受行为集，生成问题场景和测试用例，在目标系统上运行这些测试并对结果进行评分，同时记录AI系统的路径（包括中间操作和工具调用）以便开发者检查故障点。开发者还可提供系统上下文、工具和约束条件以进一步定制评估范围。例如，若开发者指定文档研究AI代理不应向公司外部人员发送电子邮件，且机密信息仅限C级高管访问并需结合先前上下文提供简洁摘要，ASSERT会基于这些规则生成持续检查系统是否遵循规则的测试用例。微软表示，该框架填补了通用评估在针对特定应用、产品上下文、政策和工具塑造AI行为时的空白。微软负责负责任AI的首席产品官Sarah Bird指出，评估对于做出良好决策至关重要，若不了解AI系统行为，很难判断其是否达到组织标准，而构建可信系统需要评估更多应用特定维度。ASSERT可用于系统构建时、部署后以及持续监控阶段。此发布正值AI行业逐渐转向可重复测试和回归检查的大趋势下，斯坦福大学的HELM、MLCommons的AILuminate以及METR等评估组织已推出用于衡量模型在不同条件下行为的基准。