人工智能-机器学习-深度学习-分类与算法梳理

人工智能-机器学习-深度学习-分类与算法梳理

目前人工智能的概念层出不穷，容易搞混，理清脉络，有益新知识入脑。

为便于梳理，本文只有提纲，且笔者准备仓促，敬请勘误，不甚感激。
请看右边目录索引 。

人工智能

三大派系

符号主义(Symbolists) 基于逻辑推理的智能模拟方法。最喜欢的算法是：规则和决策树。符号主义的代表性成果有启发式程序、专家系统、知识工程等，IBM“深蓝”计算机为典型应用。

连接主义(Connectionist) 使用概率矩阵和加权神经元来动态地识别和归纳模式，奠基人是明斯基（MIT），发展最火是深度学习，深度神经网络，ChatGPT为典型应用。

行为主义(actionism) 其原理为控制论及感知-动作型控制系统。擅长于使用遗传算法（Genetic Algorithm，GA）和遗传编程。行为主义的代表性成果有六足行走机器人、波士顿动力机器人等。

还有五派分法，笔者本人未弄清内部逻辑，感觉无法和本文的体系融体，未列出。

三大分支

• 认知AI(cognitive AI)
• 机器学习(Machine Learning AI)
• 深度学习(Deep Learning) : 是一种特殊的机器学习。

2016年Alpha Go打败了李世石，确立了深度学习正在机器学习领域中的霸主地位

核心技术与领域

• 机器学习(Machine learning)
• 深度学习(Deep learning)
• 计算机视觉(Computer Vision) 图像识别、目标检测、图像分割、人脸识别等技；模型有CNN、FCN、RCNN 等
• 自然语言处理(Natural Language Processing, NLP） 语音识别、文本分类、信息抽取、机器翻译等多个方面，模型RNN、LSTM、transformer等
• 自动规划和决策：自动规划和决策涉及开发能够自主感知环境并作出决策的算法和系统，它可以应用于无人驾驶汽车、物流规划、智能机器人等领域

还有诸如：机器人、专家系统、智能搜索、自动程序设计等

四大要素

• 数据
• 算力
• 算法
• 应用

机器学习

问题分类

• 有监督学习(Supervised Learning)： 分类、回归
• 无监督学习(Unsupervised Learning）：聚类、维降、关联
• 强化学习(Reinforcement Learning)

监督学习常见算法

1. 朴素贝叶斯
2. 决策树
3. 支持向量机
4. 逻辑回归
5. 线性回归
6. k近邻
7. AdaBoost
8. 神经网络

前4解决分类问题，第5用于回归问题， 后3个解决分类回归问题

非监督学习算法

1. K-means(K-均值)
2. Birch(综合层次聚类)
3. Dbscan(基于密度聚类)
4. String(字符串聚类)
5. PCA(Principal Component Analysis 主要成分分析）
6. LDA(Linear Discriminate Analysis 线性判别分析)
7. LLE(Locally linear embedding 局线性判别分析部线性嵌入)
8. LE(Laplacian Eigenmaps 拉普拉斯映射)

前4为聚类算法，后4个为降维算法

强化学习

强化学习用以描述和解决智能体(agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。

基本模型

• 智能体(agent): 学习的本体，即学习者或者决策者
• 环境(environment): 智能体以外的一切，主要由状态集合组成
• 状态(state): 表示环境的数据
• 动作(action): 智能体可做出的动作
• 奖励(reward): 智能体在执行一个动作后，获得的正/负反馈信号

现在正当时的Q-Learning就是强化学习的一种

深度学习

基础知识

• 正向传播
• 反向传播
• 梯度计算
• 损失函数
• 激活函数：sigmoid、tanh、ReLu、SoftMax

深度算法

• 卷积神经网络（Convolutional Neural Networks，CNN）
• 递分子循环)神经网络（Recurrent Neural Networks，RNN）
• 长短时记忆网络（Long Short-Term Memory，LSTM）
• 生成对抗网络（Generative Adversarial Networks，GAN）
• 可变自编码器（Variational Autoencoders，VAE）
• 深度强化学习（Deep Reinforcement Learning，DRL）
• 深度信念网络（Deep Belief Networks，DBN）
• 自编码器(Autoencoders AE)
• 迁移学习(Transfer Learning）
• 残差网络(ResNet)
• 注意力机制(Attention)

机器学习、深度学习、强化学习三者交叉关系

• 机器学习：所有以优化方法挖掘数据中规律的学科
• 深度学习：运用了神经网络作为参数结构进行优化的机器学习算法
• 强化学习：不仅利用现有数据还对环境的探索获得新数据，并利用新数据循环往复地更新迭代现有模型
• 深度强化学习：运用了神经网络作为参数结构进行优化的强化学习算法。

AI大模型

大模型指的是在训练阶段和推理阶段需要大量参数和计算资源的深度学习模型。

特点

• 大量的参数
• 上下文理解和生成
• 强大的泛化能力
• 计算资源需求大
• 迁移学习能力
• 预训练与微调
• 多领域应用

所处位置

按工作方式分类

• 强化学习模型(Reinforcement Learning Models)
• 生成模型(Generative Models)

按数据类型分类

• 语言模型（Language Models)
• 图像模型（Image Models）
• 多模态大模型（Multimodal Models）

主流AI大模型

• OpenAI GPT大模型组
• Google PaLM & PaLM 2大模型组
• 百度文心大模型组
• 讯飞星火认知大模型
• 阿里通义大模型
• 清华开源大模型ChatGLM
• Llama2
• Baichuan

未来趋势

• 通用大模型与专用小模型协同发展
• 模型即服务将不断成为主流(MaaS)
• 拥有算力、模型、平台和产品经验的科技公司成为重要参与者

[参考]

• zhuanlan.zhihu.com/p/485787394
• zhuanlan.zhihu.com/p/652579528
• baijiahao.baidu.com/s?id=178154…
• baijiahao.baidu.com/s?id=177661…