基准测试的开发和使用对于评估人工智能模型性能和推动技术进步至关重要。然而，当这些基准测试背后的资金来源和数据使用方式不够透明时，就可能引发一系列问题。Epoch AI开发的FrontierMath基准测试就因为与OpenAI的资金关系以及数据访问权限问题而受到关注。

根据公开信息，OpenAI资助了FrontierMath的开发，但这一事实直到o3模型发布才被公开披露，而且这一合作关系在项目早期并未被公开透明地告知参与项目的数学家和承包商。这种不透明的沟通方式引发了社区的质疑，尤其是在数据使用和信任方面。Epoch AI的代表Tamay在回应中承认了这一失误，并表示他们受到了合同限制，无法在OpenAI的o3模型发布前披露相关信息。但这种解释并未完全平息社区的质疑，许多人认为Epoch AI应该在合同谈判中争取更大的透明度，以便让参与项目的数学家和承包商能够充分了解他们的工作将如何被使用。

此外，Epoch AI声称OpenAI口头承诺不会将FrontierMath的数据用于模型训练，但许多人对这种非书面承诺表示怀疑。一些人指出，即使OpenAI不直接使用这些数据进行训练，他们仍可能通过频繁评估模型来优化其架构和性能，从而间接提升模型的能力。这种使用方式将会削弱FrontierMath基准测试的独立性和可信度，因为它可能会让OpenAI在模型开发过程中获得不公平的优势。社区成员呼吁Epoch AI和OpenAI提供更明确的书面承诺，以确保数据不会被用于任何可能影响基准测试公正性的目的。

在该问题的讨论中，一位自称为Epoch首席数学家的Reddit用户表示，OpenAI对该项目提供了资金支持并且持有相关数据集，这一情况使得OpenAI能够在内部对o3进行评估工作。然而，对于OpenAI声称的25%相关说法，目前Epoch尚未完成独立的验证。为了能够更准确地对OpenAI的模型进行测试，Epoch正着手开发一个预留数据集，目的是确保测试过程中OpenAI模型不会提前接触到这些问题，从而保证测试结果的公正性和可靠性。

他个人的看法是，OpenAI的分数是合理的，也就是说，OpenAI没有在这个数据集上进行训练，而且他们没有理由在内部基准测试表现上撒谎。不过，在完成独立评估之前，Epoch也无法为OpenAI的评测结果担保。