吴恩达《机器学习》学习笔记十二——机器学习系统

一、设计机器学习系统的思想

1.快速实现+绘制学习曲线——寻找重点优化的方向

在开始构建一个机器学习系统时，最佳方法并不是一开始就建立一个复杂且具有许多特征的系统。相反，可以通过一个简单的算法快速实现，即使这个简单的方法并不完美；然后通过交叉验证集来测试数据。完成这些步骤后，可以绘制相应的学习曲线，通过学习曲线和检验误差来找出算法是否存在高偏差或高方差等问题。在做出这些分析之后，再决定是否使用更多的数据或特征等。这种方法在刚开始解决机器学习问题时非常有效，因为我们无法预知需要更多的特征、数据还是其他什么。在缺乏各种证据的情况下，很难提前知道这些信息，因为没有画出学习曲线，所以很难决定将时间花在哪里。因此，很多时候，一开始应该先进行简单快速的实现，然后画出学习曲线来帮助后续判断。可以将这种方法视为编程时的避免过早优化问题的方法，它告诉我们应该用实际证据来指导决策，决定将时间花在哪里，而不是仅凭直觉。上述思想如下图所示：

2.误差分析

在实现诸如垃圾邮件分类器之类的任务时，通常会观察交叉验证集的情况，然后查看被错误分类的垃圾邮件和非垃圾邮件。通过查看这些被错误分类的样本，可以发现它们之间的共同特征和规律。多次这样做后，这个过程将启发我们应该设计哪些新特征或了解现有系统的优点和缺点，从而指导我们想办法改进它。

二、偏斜类问题(类别不均衡)

三、查准率P与召回率R——代替准确率的评估指标

四、查准率与召回率的权衡——F1-Score

上次笔记主要介绍评估机器学习模型的方法，从偏差、方差来分析模型可能拥有的问题，从而应该采取什么相应的措施。介绍了偏差、方差与欠拟合、过拟合之间的关系，以及正则化对偏差、方差的影响，还介绍了一些曲线图帮助分析，这些都是实践中很重要的建议。相比毫无目的地随便选择优化方法，通过评估分析之后可以排除一些无意义的选项，节省了大量宝贵的时间。上次笔记链接：

这次笔记继续介绍一些机器学习系统实际使用时会遇到的一些问题，以及相应的解决方案。

您好！偏斜类问题(类别不均衡)是指分类任务中不同类别的训练样例数目差别很大的情况。在现实的分类学习任务中，我们经常会遇到类别不平衡，例如交易欺诈、广告点击率预测、病毒脚本判断等；或者在通过拆分法解决多分类问题时，即使原始问题中不同类别的训练样例数目相当，在使用OvR(One vs. Rest)、MvM(Many vs. Many)策略后产生的二分类任务仍然可能出现类别不均衡现象。而标准机器学习算法通常假设不同类别的样本数量大致相似，所以类别不平衡现象会导致学习算法效果大打折扣。

对于这个问题，有一些基本方法可以处理。例如，可以使用过采样或欠采样方法来增加少数类别的样本数量，以使其更加平衡。此外，还可以使用一些特殊的技术来处理类别不均衡问题，例如使用代价敏感学习、集成学习等方法。

在许多情况下肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面肿瘤方面干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 Thriller干细胞 preferential 既然 preferential 既然 preferential 既然 preferential 既然 preferential 既然 preferential 既然 preferential 既然 preferential 既然 preferential 既然 preferential 既然 preferential 既然 preferential 既然 preferential 既然 preferential 既然 preferential 既然 preferential 既然 preferential 既然 preferential 既然 preferential 既然 preferential 既然 preferential 既然 preferential 既然 preferential 既然 preferential preferential 既然 I I实用 I实用 I实用 I实用 I实用 I实用 I实用 I实用 I实用 I实用LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费消费LastName消费LastName消费LastName消费LastName消费LastNameLastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费这个简这个简这个简简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个简这个步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施步骤措施消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName消费LastName宝宝价格宝宝价格宝宝宝宝您宝宝您您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题您话题话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前话题当前

当我们将分类的阈值从0.5改为0.7或者是0.9时，这就意味着在概率达到90%时才判定为有癌症。这样的话，判断有癌症的数据中真的有癌症的比例就会变大，即查准率会变大；而与此同时，所有真实有癌症的数据中被预测为有癌症的可能性就有所下降(毕竟概率要求变高，原本一些低概率的现在被预测为无癌症了),即召回率会变小。

考虑另外一种情况，假设我们希望避免遗漏掉患有癌症的患者，即希望避免假阴性。换句话说，如果一个患者确实患有癌症，但是我们没有告诉他患有癌症，那这可能造成严重的后果。这时的分类阈值将会设置得小一些，比如0.3,因为希望更多的患者被预测为有癌症，从而进一步接受治疗。那么与上一个情况相反，这将拥有高召回率，低查准率。

所以对于大多数的回归模型，你得权衡查准率与召回率，通过改变“阈值”来得到想要的高查准率或是高召回率。它们之间的关系如下图所示，一个高一个就低：

那么现在又有一个问题，当你有几个算法时，或者同一个算法但是“阈值”不同时，得到的查准率与召回率都是不一样的，我们怎样决定哪一个是最好的呢？当只有一个评价度量时可以直接比较，但是现在有两个，该怎么综合考虑呢？有一种结合查准率和召回率的方式，叫做F值(F-Score),公式如下图所示，分值越高则说明该模型最好：