展开来说，在海量的SFT（监督式微调）后训练数据面前，研究者们常常陷入“黑盒式”的困境：不清楚哪些数据真正有用，也难以系统性地评估和比较不同的数据集。 OpenDataArena平台：一个公平、公开、透明的SFT后训练数据价值评测平台，涵盖一个多领域、可视化的数据竞技榜单。多维度数据打分：平台从几十种维度对已有数据进行精细化打分，并已开源了部分评分数据，便于研究员们后续直接下载使用，避免重复API调用。训评一体化工具：团队开源了整套数据训练、评估以及数据打分工具，让价值验证过程可复现、可扩展。 1、对数据质量的评估与筛选：帮助模型训练者数据研究者快速识别并筛选出高质量数据集，摆脱盲目试错，高效赋能模型训练与应用。 2、对数据生成的指导与优化：数据合成的研究者提供多维度的评分数据和工具，助力他们寻找高价值的“种子数据”，为生成更优质的合成数据提供指导。 3、对数据价值的深入洞察：赋能学术研究人员探索数据特征与模型效果的内在关联，为数据选择、数据生成等前沿研究提供坚实的数据支持和客观的评估依据。 平台目前已覆盖4+领域、20+基准测试、20+数据评分维度，处理了100+数据集，超过20M+数据样本，并完成了600+次模型训练、10K+次模型评估，这些指标都在不断增长。 平台覆盖了来自通用、数学、代码、科学等多个领域的后训练数据集。这些数据来自于HuggingFace并且有一定的下载和关注度，不仅具有代表性，而且具备时效性，确保了评测的现实意义。 平台采用了社区中最常用、最具代表性的Llama3.1Qwen 2.57B版本作为基准模型，它们代表了真实的学术和工业应用场景，同时尽可能反映了最多场景中实际使用的模型大小的数据性能。 测试环节使用OpenCompass进行全面评估，在测试环节的参数设置上，团队进行了大量预实验，确保推理模板和评估器等细节都经过了精心的优化，排除外部干扰，让测试结果能更公平、公正地反映训练数据集的真实质量。 平台选择了通用、数学、代码、长链推理等多维度基准测试集，力求全面、客观地反映单领域数据质量，以及混合领域的数据综合质量。 除了通过训练模型得到下游任务的表现来直接反应数据的质量之外，OpenDataArena还通过多维度的客观评分工具，来对数据本身进行细致的“体检”，这些客观评分指标得到了学界和业界的广泛认可。 不论是直接选用整个数据集，还是用于挑选优质子数据，都方便操作。同时，无论是指令数据，还是指令-响应对数据，平台都从不同方面提供了相应的评分。 平台的评分工具整合了多种维度评估方法，包括基于模型的评估（Model-based Evaluation，如IFD）、大模型作为评委（LLM-as-a-Judge，如准确性、复杂度）和启发式方法（Heuristic，如回复响应长度）。 对于需要依赖常见评价指标开展数据筛选、种子数据生成等任务的科研用户而言，这不仅极大降低了打分成本，还有效避免了重复的API调用，从而节省了实际开销，可谓一项极其宝贵的资源。 通过上述努力，平台为数据合成、数据筛选的研究者提供了多维度的评分数据和工具，助力他们寻找高价值的“种子数据”，最终为生成更优质、更高价值的数据提供了直接的帮助。 为了“公平、公正、公开”的OpenDataArena平台的设计原则，同时也为了让更多人能参与到数据价值验证中来，真实地评价数据的质量，OpenDataArena团队将整个平台的核心工具都进行了开源。 平台基于主流的LLaMA-Factory训练框架，以及评测端知名的OpenCompass框架，打造了一套端到端的训练与评测工具，给出了所有的配置和流程复现脚本，确保了评估实验的结果可复现性与公平性。 目前已实现的大部分评估维度打分工具均已开源，并提供了详细的使用教程。不管是单个维度的数据评估，还是所有已支持的数据评估维度，用户都可以在官方wiki文档中了解到如何使用这些工具，并为自己的数据进行“体检”。 通过上述的工具开源，OpenDataArena团队希望提供一个开放共享的数据价值评估平台，让所有用户都能参与到数据评估中来，并为产生真正的高价值数据共同努力。 扩展验证范围： 逐步支持多模态等更复杂的数据类型；深化应用场景： 扩展至医疗、金融、科学等更多专业领域；保持新鲜度： 每月更新数据竞技场，确保数据排行榜的及时性。
