尊敬的各位领导、同仁，很荣幸今天有机会在这里来跟大家分享我们在AI安全领域的一些思考。我今天其实想跟大家汇报的还是最近很热的一个话题，生成式的人工智能及跟它相关的安全问题。很多东西不成熟，抛砖引玉，供大家共同探讨。

首先生成式AI大家应该都比较了解，这个应该是最近半年在整个社会中取得了非常大的反响，不管是文生图还是持续性对话，然后用AI做一些特定的任务。今天是人工智能从无到有地去创造出一些新的内容，它背后是依托于大模型技术，这个大模型技术在这中间有一个非常关键的特点，我们把它叫做“涌现”。

什么叫涌现？就是这个大模型对于它不了解的知识或者不知道的知识，它基于一些已有的相关知识，可以推导衍生去回答出一些新的知识。那涌现其实是今天被我们大家所津津乐道的大模型所带来的生成式AI非常重要且强大的一项能力，但这个能力本身也有它的问题和局限，就是当一个人工智能可以自主去输出信息、产生信息的时候，这个信息本身其实是存在诸多缺陷和不足的，大家经常讲模型是有价值观、宗教信仰的，这不是夸大其词，这确实是实实在在的现象。

我们今天可以看到，一个人工智能大模型基于你拿它训练的数据的差异，最后在回答各式各样问题的时候它所表现出来的内容其实是存在倾向性的。在过去人工智能，特别是交互式人工智能就存在这样的问题。我举个例子，前些年微软也发布了一个人工智能对话机器人，在中国和美国有不同的版本，美国那个版本上线半年之后就下线了，因为通过跟社会上的人大量去沟通的时候，这个对话的机器人就学会了一些涉嫌种族歧视的言论，所以最后这个模型就被下线了。

那要尝试去解决这个问题或者应对问题，首先我们还是要去思考或者我们要试图去思考涌现为什么会出现，这里面其实我也是从互联网上找到了很多不同的专家、学者的认知和理解。有很多这样的逻辑，但简而言之，首先模型的涌现能力来自足够大规模数据的输入。当数据超过了一个特定的阈值和量级之后，对于一个复杂的任务，AI模型可以去做自主地拆解、分解，最终完成，那它给我们人类的感受就更像是它具备了智能。所以本质上，一是足够多量的数据输入，让这个AI获得了更多的知识和认知的能力。二是在这样一个输入之上，它通过量变引发了质变。

当我们理解这一件事情之后，我们就可以试图去想我们怎么样在大模型时代更好地建设我们的安全的大模型，这里我有几点不成熟的建议供业内的同仁们共同去思索和探讨。

第一，对于训练数据的管理和监督。因为一切的人工智能模型的输入、认知来源、理解来源都是数据。特别是今天因为中文的语料比起英文的语料其实是存在着数量级差异的，所以即便是今天，国内的大模型建设也都是英文和中文双语混杂训练的，这中间就涉及一个海量的英文数据的语料使用，那这个语料我们怎么样能够更好地在中间承接，把更好的、更有价值的部分拿来做训练，这其实是值得整个行业共同探索的一个问题。

第二，对于模型评估体系的构建。但实际上大模型是一个非常难评估的东西，因为它不是解决特定任务，它是一个通用模型，今天它可以是一个和你聊天的人，那我们怎么去评估一个可以和你聊天的人呢？我们以前做一个数据集，我可以说一个评测的数据集每隔半年或者一年更新一次就足够了，但是在大模型时代，我个人认为是远远不够的，你需要持续、不断地动态更新，因为这个模型本身就在持续地迭代，而且涉及你想要评估它的内容和方面是一个非常开放的问题，我们很难用有限级快速地给它一个好的结论。

第三，鼓励开源共享。这中间不管是模型的开源还是数据的开源，我认为都是非常重要也非常有意义的工作，特别是数据的开源。但是在数据集开源上，过去虽然一直也有很多人在呼吁、提倡，但确实这个过程中遇到了各种各样的困难和限制。但是对于AI，特别是我们今天去做大模型，那你的训练数据是不是我们能有一定的开源，因为开源的数据是大家共同去维护的，那对于这样的数据我们就有一个更好地了解和把握。特别是如果我们的基模型被控制得很好，因为你的数据量非常大，那在后续的环节中使用的数据，如果我们能用一些开源的数据集去做这样的一些把控，那它整个的效果就会更好。

最后一点，也是长期人工智能一直要去推动的关键性任务，就是模型的解释和模型的可解释性研究，但这件事情说实话我认为它是一个中长期的持续性工作。因为从AI10年前取得突破性进展到今天，业内的研究者在这个方向的工作一直没有停，但这方面的工作进展其实远远滞后于模型本身的技术迭代进展，然而我们不能因为它长期或者目前效果并不显著就忽视它，这种模型的可解释性才是真正最终能让我们更好地对大模型有一个安全保护是必要的事情。

最后分享给大家一个小故事，1924年汽车刚刚开始量产，当时法国巴黎没有现在的交通规则，人、马车、汽车都是在一个路上混行的，汽车刚出来的时候因为速度快，很容易撞人，早期的汽车研发者就在车前面装了一个网兜，这样撞到人的时候就不会造成特别严重的伤害。

今天我们回过头来看汽车的安全，实际上有各种各样的技术进步去解决它，那会儿想象不到最后可能是通过一个规则，极大地缓解了这个问题，而我们当时能够想的就是给车前装一个网兜。所以我想说的是，今天面临新的技术进步，包括AI大模型可能也会是类似的，相信伴随着技术的迭代和进步，我们对它的安全保护的方式和能力也会不断地迭代和进步，只不过可能今天我们站在这里，由于我们的局限性，有些东西并不是我们今天立刻就能非常清晰地想清楚、想明白的，但是从历史回溯，相信这件事情终究会是一个极度乐观的答案。在这里，希望未来能够跟行业的同仁就如何更加有效、安全地利用人工智能、大模型，一起做出探索和实践。

以上是我的报告，谢谢！

（以上内容根据嘉宾发言速记整理）