人择创新受用户影响的人工智能模型：迈向民主化人工智能的一步
Summary:
人工智能公司Anthropic开发了一项涉及大型语言模型（LLM）的研究，该模型可以适应用户的价值判断。该实验是同类实验中的第一次，涉及大约1000名美国公民，他们为制定人工智能宪法做出了贡献。这一进程突出了某些挑战，但最终在有偏见的产出方面取得了微小的改善。Anthropic认为这可能是公共团体影响LLM行为的首批实例之一，并希望这种技术将来可以用来创建特定文化的模型。
人工智能公司Anthropic开创了一项前所未有的实验，根据用户的价值判断开发了相当大的语言模型（LLM）。在寻求人工智能发展民主化的过程中，它与@collect_intel合作，并利用@usepolis建立了基于大约1000名美国公民观点的人工智能宪法。随后，通过宪法人工智能对已建立的模型进行了测试。
护栏或预定义的功能规则用于设计许多面向消费者的LLM，包括Anthropic的Claude和OpenAI的ChatGPT，以遏制不良结果。尽管如此，批评者认为这些采用的护栏侵犯了用户的自主权。他们认为，被认为可以容忍的东西不一定是有益的，反之亦然。此外，文化、时间和人口差异使道德和价值判断进一步复杂化。
解决这一复杂问题的一种方法可能是使用户能够自己定义AI模型的值对齐。Anthropic试图通过集体宪法AI实验来解决这个复杂的问题，通过民意调查向1000名不同人口背景的用户提出一系列问题。目标是在允许编辑自由裁量权和防止不适当的内容输出之间找到平衡。该过程涉及在已训练的模型上实现用户反馈。
Anthropic利用宪法人工智能来微调LLM为安全和实用性量身定制的产品。这类似于用一套管理规则来指导模型，就像宪法一样，然后它必须严格遵守。在集体宪法AI实验中，尝试将集体反馈合并到模型的宪法中。
根据Anthropic的一篇博客文章，这项突破性的实验似乎已经达到了其科学目标，尽管在实现其最终目标方面存在障碍 - 使LLM用户能够确定他们的集体价值。障碍包括发明一种创新的基准测试方法，因为由于该实验的新颖性，没有针对通过众包练习调整的模型的既定测试。
总之，包含用户轮询数据的模型在有偏差的输出部门表现略好。Anthropic期待进一步探索该程序，并希望未来的全球社区能够利用这些方法来创建专门满足其个人需求的模型。
Published At
10/18/2023 5:00:00 PM
Disclaimer: Algoine does not endorse any content or product on this page. Readers should conduct their own research before taking any actions related to the asset, company, or any information in this article and assume full responsibility for their decisions. This article should not be considered as investment advice. Our news is prepared with AI support.
Do you suspect this content may be misleading, incomplete, or inappropriate in any way, requiring modification or removal?
We appreciate your report.