谷歌 AI 推出 CardBench 评估框架：含 20 个真实数据库，更全面评估基数估计模型

　　谷歌 AI 研究人员最新推出了 CardBench 基准，主要为学习型基数估计(cardinality estimation)满足系统评估框架需求。

　　CardBench 基准是个综合评估框架，包含 20 个不同真实数据库中的数千次查询，大大超过了以往的任何基准。

　　项目背景

　　基数估计(cardinality estimation，简称 CE)是优化关系数据库查询性能的关键，涉及预测数据库查询将返回的中间结果数量，直接影响查询优化器对执行计划的选择。

　　对于选择高效的连接顺序、决定是否使用索引以及选择最佳连接方法来说，准确的卡入度估计至关重要。

　　这些决策会对查询执行时间和数据库整体性能产生重大影响。不准确的估计会导致糟糕的执行计划，从而大大降低性能，有时甚至会降低几个数量级。

　　现代数据库系统中广泛使用的基数估计技术，依赖于启发式(Heuristic)方法和简化模型，例如假设数据统一和列独立。

　　这些方法虽然计算效率高，但往往需要准确预测基数，在涉及多个表和过滤器的复杂查询中表现尤为明显。

　　最新的数据驱动方法试图在不执行查询的情况下，对表内和表间的数据分布进行建模，从而减少了一些开销，但在数据发生变化时仍需要重新训练。

　　尽管取得了这些进步，但由于缺乏全面的基准，因此很难对不同的模型进行比较，也很难评估它们在不同数据集上的通用性。

　　CardBench

　　CardBench 能在各种条件下对学习到的基数模型进行更全面的评估。该基准支持三种关键设置：

　　基于实例的模型，即在单个数据集上进行训练;

　　零点模型，即在多个数据集上进行预训练，然后在一个未见数据集上进行测试;

　　微调模型，即进行预训练，然后使用目标数据集的少量数据进行微调。

　　该基准测试提供两组训练数据：一组用于具有多个筛选条件谓词的单个表查询，另一组用于涉及两个表的二进制联接查询。

　　该基准测试包括 9125 个单表查询和 8454 个二进制连接查询，适用于其中一个较小的数据集，从而确保为模型评估提供强大且具有挑战性的环境。

　　例如，微调图神经网络(GNN)模型在二进制连接查询中的 q-error 中位数为 1.32，第 95 百分位数为 120，明显优于零点模型。结果表明，即使是 500 次查询，对预训练模型进行微调也能大幅提高其性能。这使它们在训练数据有限的实际应用中变得可行。

　　总之，CardBench 代表了在学习的基数估计方面的重大进步。研究人员可以通过提供全面、多样的基准，系统地评估和比较不同的 CE 模型，从而促进这一关键领域的进一步创新。该基准能够支持需要较少数据和训练时间的微调模型，为训练新模型成本过高的实际应用提供了切实可行的解决方案。

　　IT之家附上参考地址

　　CardBench: A Benchmark for Learned Cardinality Estimation in Relational Databases

　　Google AI Introduces CardBench: A Comprehensive Benchmark Featuring Over 20 Real-World Databases and Thousands of Queries to Revolutionize Learned Cardinality Estimation