瑞士初创公司LatticeFlow开发了名为“COMPL-AI”的大型语言模型测试工具（LLM Checker），旨在测试AI模型是否能满足欧盟人工智能法案的合规性要求，该工具受到欧盟官员的广泛欢迎。测试结果显示，一些顶级科技公司的人工智能模型在网络安全和防止歧视性输出等关键领域未能达到要求。

一、测试结果

该工具由LatticeFlow与苏黎世联邦理工学院和保加利亚计算机科学、人工智能和技术研究所合作设计，从技术稳健性和安全性，隐私和数据治理，透明度，多元化、非歧视和公平，社会与环境福祉，人类的主体性与监督等方面测试了OpenAI、Meta、阿里巴巴等顶级科技公司的AI模型。

这些模型的测试分数从0到1不等，大多数测试的模型平均得分为0.75或更高，例如Anthropic的“Claude 3 Opus”得分为0.89。但在测试中，一些模型也暴露了重大缺陷。

在测试歧视性输出时，OpenAI的“GPT-3.5 Turbo”获得了0.46的低分，而阿里巴巴的“Qwen1.5 72B Chat”得分更低，为0.37，凸显了人工智能在性别和种族等领域反映人类偏见的问题。

在测试“提示劫持”时（一种黑客使用欺骗性提示来提取敏感信息的攻击形式），Meta的Llama 2 13B Chat模型得分为0.42，而法国初创公司Mistral的8x7B Instruct模型得分为0.38。

二、未来展望

LLM Checker的开发是为了与欧盟人工智能法案不断变化的要求保持一致，随着未来两年执法措施的出台，该工具预计将发挥更大的作用。LatticeFlow已免费提供该工具，允许开发人员在线测试其AI模型的合规性，让他们了解满足欧盟AI法案要求时面临的挑战。此外，法案的部分要求预计将于2025年全面实施，不遵守AI法案的公司将面临3500万欧元（3800万美元）或其全球年营业额7%的罚款。

LatticeFlow公司的首席执行官兼联合创始人Petar Tsankov表示，测试结果总体上是积极的，能为各公司提供一个路线图，供他们根据法案微调模型。

欧盟委员会也一直在密切关注该工具的发展，一位发言人表示，该工具代表了将欧盟人工智能法案转化为技术合规要求的“第一步”，这表明更详细的执法措施正在计划中。

声明：本文来自上海市人工智能与社会发展研究会，稿件和图片版权均归原作者所有。所涉观点不代表东方安全立场，转载目的在于传递更多信息。如有侵权，请联系rhliu@skdlabs.com，我们将及时按原作者或权利人的意愿予以更正。