机器学习--人工智能概述

人工智能概述

入门人工智能，了解人工智能是什么。为啥发展起来，用途是什么，是最重要也是最关键的事情。大致有以下思路。

1. 人工智能发展历程
2. 机器学习定义以及应用场景
3. 监督学习，无监督学习
4. 监督学习中的分类、回归特点
5. 知道机器学习的开发流程

人工智能发展历程

• 人工智能在现实生活中的应用
• 人工智能发展必备三要素
• 人工智能和机器学习、深度学习三者之间的关系

人工智能在现实生活中的应用

虽然人工智能在今天可能是一个流行词，但在明天，它可能会成为我们日常生活的标准一部分。事实上，它已经在这里了。

例如，自动驾驶汽车，学校门禁的人脸识别系统，手机语音助手，以及我们在各个平台上看视频的首页推荐。都是用到人工智能的。

人工智能发展必备三要素

• 数据
• 算法
• 计算力
  • CPU,GPU,TPU

• 计算力之CPU、GPU对比：

  • CPU主要适合I\O密集型的任务

  • GPU主要适合计算密集型任务

CPU和GPU的区别：

http://www.sohu.com/a/201309334_468740

人工智能、机器学习和深度学习

• 人工智能和机器学习，深度学习的关系
  • 机器学习是人工智能的一个实现途径
  • 深度学习是机器学习的一个方法发展而来

发展历程

图灵测试

测试者与被测试者（一个人和一台机器）隔开的情况下，通过一些装置（如键盘）向被测试者随意提问。多次测试（一般为5min之内），如果有超过**30%**的测试者不能确定被测试者是人还是机器，那么这台机器就通过了测试，并被认为具有人类智能.

人工智能主要分支

• 计算机视觉
• 语音识别
• 文本挖掘/分类
• 机器翻译
• 机器人

机器学习定义以及应用场景

什么是机器学习

机器学习是从数据中自动分析获得模型，并利用模型对未知数据进行预测。

机器学习工作流程

• 机器学习工作流程总结
  • **1.**获取数据
  • **2.**数据基本处理
  • **3.**特征工程
  • 4.机器学习(模型训练)
  • **5.**模型评估

结果达到要求，上线服务

没有达到要求，重新上面步骤

获取到的数据集介绍

• 数据简介

在数据集中一般：

一行数据我们称为一个样本

一列数据我们成为一个特征

有些数据有目标值（标签值），有些数据没有目标值

• 数据类型构成：

数据类型一：特征值+目标值（目标值是连续的和离散的）

数据类型二：只有特征值，没有目标值

数据分割：

• 机器学习一般的数据集会划分为两个部分：
  • 训练数据：用于训练，构建模型
  • 测试数据：在模型检验时使用，用于评估模型是否有效
• 划分比例
  • 训练集：70% 80% 75%
  • 测试集：30% 20% 25%

特征工程

特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。

意义：会直接影响机器学习的效果

• 注：业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。

特征工程包含内容

• 特征提取
• 特征预处理
• 特征降维

特征提取：例如将文字变成机器可以识别的语言

特征预处理：通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程

特征降维：指在某些限定条件下，降低随机变量(特征)个数，得到一组“不相关”主变量的过程。；例如将3D图像变换成2D图像的过程。

机器学习算法分类

根据数据集组成不同，可以把机器学习算法分为：

• 监督学习
• 无监督学习
• 半监督学习
• 强化学习

监督学习

• 输入数据是由输入特征值和目标值所组成。
  • 函数的输出可以是一个连续的值(称为回归），
  • 或是输出是有限个离散值（称作分类）。

回归

例如：预测房价，根据样本集拟合出一条连续曲线。

分类

例如：根据肿瘤特征判断良性还是恶性，得到的是结果是“良性”或者“恶性”，是离散的。

无监督学习

• 输入数据是由输入特征值组成，没有目标值
  • 输入数据没有被标记，也没有确定的结果。样本数据类别未知；
  • 需要根据样本间的相似性对样本集进行类别划分。

半监督学习

训练集同时包含有标记样本数据和未标记样本数据。

他与监督学习，无监督学习的区别就是模型在训练时需要人工标注的标签信息，监督学习利用大量的标注数据来训练模型，使模型最终学习到输入和输出标签之间的相关性；半监督学习利用少量有标签的数据和大量无标签的数据来训练网络；而无监督学习不依赖任何标签值，通过对数据内在特征的挖掘，找到样本间的关系，比如聚类。

监督学习：

半监督学习：

强化学习

实质是make decisions 问题，即自动进行决策，并且可以做连续决策。

举例：（学下棋）

小孩想要走路，但在这之前，他需要先站起来，站起来之后还要保持平衡，接下来还要先迈出一条腿，是左腿还是右腿，迈出一步后还要迈出下一步。

小孩就是 agent，他试图通过采取行动（即行走）来操纵环境（行走的表面），并且从一个状态转变到另一个状态（即他走的每一步），当他

完成任务的子任务（即走了几步）时，孩子得到奖励（给巧克力吃），并且当他不能走路时，就不会给巧克力。

主要包含五个元素：agent, action, reward, environment, observation；

强化学习的目标就是获得最多的累计奖励。

	监督学习	强化学习
反馈映射	输出的是之间的关系，可以告诉算法什么样的输入对应着什么样的输出。	输出的是给机器的反馈 reward function，即用来判断这个行为是好是坏。
反馈时间	做了比较坏的选择会立刻反馈给算法。	结果反馈有延时，有时候可能需要走了很多步以后才知道以前的某一步的选择是好还是坏。
输入特征	输入是独立同分布的。	面对的输入总是在变化，每当算法做出一个行为，它影响下一次决策的输入。

模型评估

模型评估是模型开发过程不可或缺的一部分。它有助于发现表达数据的最佳模型和所选模型将来工作的性能如何。

按照数据集的目标值不同，可以把模型评估分为分类模型评估和回归模型评估。

• 准确率
  • 预测正确的数占样本总数的比例。
• 其他评价指标：精确率、召回率、F1-score、AUC指标等

拟合

模型评估用于评价训练好的的模型的表现效果，其表现效果大致可以分为两类：过拟合、欠拟合。

在训练过程中，你可能会遇到如下问题：

训练数据训练的很好啊，误差也不大，为什么在测试集上面有问题呢？

当算法在某个数据集当中出现这种情况，可能就出现了拟合问题。

欠拟合：模型学习的太过粗糙，连训练集中的样本数据特征关系都没有学出来。

过拟合：所建的机器学习模型或者是深度学习模型在训练样本中表现得过于优越，导致在测试数据集中表现不佳。

Azure机器学习模型搭建实验

可以进行很简便的图形化训练。

Azure Machine Learning（简称“AML”）是微软在其公有云Azure上推出的基于Web使用的一项机器学习服务，机器学习属人工智能的一个分支，它技术借助算法让电脑对大量流动数据集进行识别。这种方式能够通过历史数据来预测未来事件和行为，其实现方式明显优于传统的商业智能形式。

微软的目标是简化使用机器学习的过程，以便于开发人员、业务分析师和数据科学家进行广泛、便捷地应用。

这款服务的目的在于“将机器学习动力与云计算的简单性相结合”。

AML目前在微软的Global Azure云服务平台提供服务，用户可以通过站点：https://studio.azureml.net/ 申请免费试用。