P71自监督式学习

发布时间：2023年12月20日

命名都以芝麻街的角色命名

  • x 分为x’ 和 x’’ ，自己跟自己学
  • bert 架构跟 transformer Encoder 一样，输入一排向量，输出一排向量，一般用在自然语言处理上

在这里插入图片描述
模型大小：
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

  • x 分为 x’ x’’ 自学习

在这里插入图片描述

  • bert 可以做输入一排向量，输出一排向量，输入和输出一样长。 一般用在自然语言处理
  • bert 架构与 transformer encoder 一样
  • randomly masking some tokens ，随机盖住一些token
    * 使用 特殊 token 覆盖
    * 或者 随机数 覆盖
    *

在这里插入图片描述

  • 预测两个句子是不是连接的

在这里插入图片描述
bert 可用来完成各种各样的任务
bert 分化成各种各样的任务 （fine-tune）

文章来源:https://blog.csdn.net/weixin_39107270/article/details/135090499
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
最新文章