免费问答

外调法（out-of-sample estimation）是一种评估模型预测准确率的方法，通过将学习算法拿去预测未曾遇到过的数据，来估算建模误差。它允许预测模型预测准确度的评估，无论是基于训练数据还是利用未曾遇到过的数据。外调法更能反映机器学习算法的真实表现，从而给出一个更精确的估计。 外调法的本质是使用测试数据集来评估训练数据集训练出的模型的表现。常用的方法有交叉验证，自验证，留出验证，测试抽样等。交叉验证将数据集分成k个子集，并分别取其中一个集来测试，其余k-1个集来训练，然后重复这样的操作，把k个子集都用一次作为测试集，最后可以得到k个测试结果，然后求均值就是最后的结果，通常k取5或者10较为合适。留出法则是将训练数据集的一部分作为测试数据集。自验证（self-validation）是一种以简化交叉验证的方式进行外调法的方法，它是在每一轮迭代中为每一个模型指定一个独立的测试集，然后在后面的轮迭代中不再使用测试集，这样在每一轮迭代中只有一个测试模型，而不像交叉验证那样必须选择多个测试模型。 拓展知识： 外调法不仅可以用来评估模型预测准确性，还可以用来比较不同模型的优劣，例如训练多个模型，像逻辑回归、支持向量机、决策树、神经网络等，并使用外调法来评估每个模型的表现，最后取最好的模型作为最终的预测模型。