吃瓜教程Task1_学习笔记

第1章 绪论

机器学习发展历程

机器学习是人工智能研究发展到一定阶段的必然产物。

  • 二十世纪五十年代到七十年代初,人工智能研究处于“推理期”,那时人们以为只要能赋予机器逻辑推理能力,机器就能具有智能。
  • 二十世纪七十年代中期开始,人工智能研究进入了“知识期”。在这一时期,大量专家系统问世,在很多应用领域取得了大量成果。
  • 二十世纪八十年代,“从样例中学习”的一大主流是符号主义学习,其代表包括决策树和基于逻辑的学习。典型的决策树学习以信息论为基础,以信息熵的最小化为目标,直接模拟了人类对概念进行判定的树形流程。符号主义学习占据主流地位与整个人工智能领域的发展历程是分不开的。
  • 二十世纪九十年代中期之前,“从样例中学习”的另一主流技术是基于神经网络的连接主义学习。
  • 二十世纪九十年代中期,“统计学习”闪亮登场并迅速占据主流舞台,代表性技术是支持向量机以及更一般的“核方法”。
  • 二十一世纪初,连接主义学习又卷土重来,掀起了以“深度学习”为名的热潮。所谓深度学习,狭义地说就是“很多层”的神经网络。

监督学习: 代表有 分类和回归

  • 分类:预测值为离散值
  • 回归:预测值为连续值

无监督学习: 代表有 聚类

  • 聚类:将训练集中的数据分成若干组,每组称为一个“簇”

假设空间

  • 归纳: 从特殊到一般的“泛化”,即从具体的事实归结出一般性规律
  • 演绎:从一般到特殊的“特化”,即从基础原理推演出具体状况
    例如西瓜问题的假设空间可如下图所示
    QQ图片20220614004216

版本空间

现实问题中我们常面临很大的假设空间,但学习过程是基于有限样本训练集进行的,因此,可能有多个假设与训练集一致,即存在着一个与训练集一致的“假设集合”,我们称之为“版本空间”。
例如西瓜问题的版本空间可如下图所示
QQ图片20220614004929



第2章 模型评估与选择

经验误差与过拟合

  • 过拟合:可以理解为“过配”。当学习器把训练样本学得“太好”了的时候,很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质,这样就会导致泛化性能下降。
  • 欠拟合:可以理解为“欠配”。欠拟合通常是由于学习能力低下而造成的。
    过拟合、欠拟合直观类比图如下图所示
    QQ截图20220614220934

评估方法

  • 留出法:“留出法”直接将数据集D划分为两个互斥的集合,其中一个集合作为训练集S,另一个作为测试集T。
  • 交叉验证法:也称为“k折交叉验证”。“交叉验证法”先将数据集D划分为k个大小相似的互斥子集,每个子集Di都尽可能保持数据分布的一致性,即从D中通过分层采样得到。然后,每次用k - 1个子集的并集作为训练集,余下的那个子集作为测试集;这样就可获得组训练/测试集,从而可进行k次训练和测试,最终返回的是这k个测试结果的均值。
    QQ截图20220614222841
  • 自助法:“自助法”是一个比较好的解决方案,它直接以自助采样法为基础。给定包含m个样本的数据集D,我们对它进行采样产生数据集D’:每次随机从D中挑选一个样本,将其拷贝放入D’,然后再将该样本放回初始数据集D中,使得该样本在下次采样时仍有可能被采到;这个过程重复执行m次后,我们就得到了包含m个样本的数据集D’,这就是自助采样的结果。
  • 调参与最终模型:大多数学习算法都有些参数需要设定,参数配置不同,学得模型的性能往往有显著差别。因此,在进行模型评估与选择时,除了要对适用学习算法进行选择,还需对算法参数进行设定,这就是通常所说的“参数调节”或简称“调参”。

性能度量

对学习器的泛化性能进行评估,不仅需要有效可行的实验估计方法,还需要有衡量模型泛化能力的评价标准,这就是性能度量。

  • 查全率与查准率:查准率与查全率是一对矛盾的变量。一般来说,查准率越高,查全率往往偏低;查全率越高,查准率往往偏低。
  • 平衡点:“平衡点”就是这样一个度量,它是“查准率=查全率”时的取值。
    QQ截图20220614224751
浙ICP备19012682号