开发者:上海品职教育科技有限公司 隐私政策详情

应用版本:4.2.11(IOS)|3.2.5(安卓)APP下载

dream66 · 2024年05月21日

这三个衡量指标是衡量啥的?


这三个衡量指标是衡量啥的?从左往右,1、2越大越好,3越小越好?


1 个答案

袁园_品职助教 · 2024年05月21日

嗨,从没放弃的小努力你好:


是对模型的拟合优度和泛化能力进行评估,检测有没有过度拟合的问题。

  1. 左边第一个叫误差分析。它包含4个指标,每个指标一般都是越高越好,但是适用的场景不同不能简单的用谁高来判断谁好:

(1)查准率(Precision, P)

  • 公式:Precision = TP / (TP + FP)
  • 解释:查准率衡量的是模型预测的正类中实际为正类的比例。高查准率意味着模型在预测正类时较少出错。
  • 适用场景:当误报(FP)成本很高时,查准率是一个重要指标。例如,在垃圾邮件过滤中,错误地将重要邮件归类为垃圾邮件的成本很高,此时需要高查准率。

(2)召回率(Recall, R)

  • 公式:Recall = TP / (TP + FN)
  • 解释:召回率衡量的是所有实际正类中被正确预测为正类的比例。高召回率意味着模型能捕捉更多的实际正类。
  • 适用场景:当漏报(FN)成本很高时,召回率是关键指标。例如,在癌症筛查中,漏掉一个癌症患者的代价非常高,此时需要高召回率。

(3)准确率(Accuracy)

  • 公式:Accuracy = (TP + TN) / (TP + FP + TN + FN)
  • 解释:准确率衡量的是所有预测中正确预测的比例。高准确率表示模型在整体上表现良好。
  • 适用场景:当数据集类别分布均衡时,准确率是一个有效的评价指标。然而,当类别分布不均衡时,准确率可能会产生误导。

(4)F1 值(F1 score)

  • 公式:F1 score = 2 * (P * R) / (P + R)
  • 解释:F1 值是查准率和召回率的调和平均数,综合考虑了这两个指标。高 F1 值表示模型在查准率和召回率上都表现良好。
  • 适用场景:当类别分布不均衡且需要平衡查准率和召回率时,F1 值是一个更综合的评价指标。

综合应用

  • 查准率召回率:在许多实际应用中,查准率和召回率是权衡的关键。根据业务需求,有时需要提高查准率,有时需要提高召回率,或者在两者之间找到平衡。
  • F1 值:特别适用于类别不均衡的场景,它能够综合反映模型在查准率和召回率上的表现。
  • 准确率:适用于类别均衡的场景,或者作为多个指标中的一个进行参考。

2.第二个叫ROC曲线。 ROC曲线下方的面积(Area under the curve,AUC)占整个正方形的比例越大,模型的预测效果也就越好。AUC=1意味着完美的预测,而AUC=0.5意味着随机猜测。所以ROC越凸,下面的面积AUC越接近1越好。

3.第三个叫均方根误差。RMSE的值越小,模型表现的越好。


所以如果考察误差分析,其实是最复杂的。要考虑适用情景来选择合适的指标进行对比,哪个大,哪个就是最好的模型。


----------------------------------------------
努力的时光都是限量版,加油!

  • 1

    回答
  • 0

    关注
  • 104

    浏览
相关问题