说说百度大模型算法工程师经历,整体效果还行

发布时间:2024年01月21日

应聘岗位:百度大模型算法工程师

面试轮数:第二轮

整体面试感觉:偏简单

最近技术群的一位张同学,分享了面试百度大模型算法工程师的经历与经验。

今天整理后分享给大家,如果你对这块感兴趣,可以文末加入我们的技术群

面试过程回顾

1. 自我介绍

在自我介绍环节,我清晰地阐述了个人基本信息、教育背景、工作经历和技能特长,展示了自信和沟通能力。

2. Leetcode 题

具体题意类似 【208. 实现 Trie (前缀树)】

  • 题目内容

Trie(发音类似 “try”)或者说 前缀树 是一种树形数据结构,用于高效地存储和检索字符串数据集中的键。这一数据结构有相当多的应用情景,例如自动补完和拼写检查。

  • 请你实现 Trie 类:

  • Trie() 初始化前缀树对象。

  • void insert(String word) 向前缀树中插入字符串 word 。

  • boolean search(String word) 如果字符串 word 在前缀树中,返回 true(即,在检索之前已经插入);否则,返回 false 。

  • boolean startsWith(String prefix) 如果之前已经插入的字符串 word 的前缀之一为 prefix ,返回 true ;否则,返回 false 。

  • 示例:

输入
["Trie", "insert", "search", "search", "startsWith", "insert", "search"]
[[], ["apple"], ["apple"], ["app"], ["app"], ["app"], ["app"]]
输出
[null, null, true, false, true, null, true]

解释
Trie trie = new Trie();
trie.insert("apple");
trie.search("apple");   // 返回 True
trie.search("app");     // 返回 False
trie.startsWith("app"); // 返回 True
trie.insert("app");
trie.search("app");     // 返回 True
  • 提示:

  • 1 <= word.length, prefix.length <= 2000

  • word 和 prefix 仅由小写英文字母组成

  • insert、search 和 startsWith 调用次数 总计 不超过 3 * 104 次

  • 题目解答

class Trie(object):
    def __init__(self):
        self.children = [None]*26
        self.is_end = False

    def insert(self, word):
        """
        :type word: str
        :rtype: None
        """
        node = self
        for c in word:
            c = ord(c)-ord("a")
            if not node.children[c]:
                node.children[c] = Trie()
            node = node.children[c]
        node.is_end = True

    def searchPrefix(self, prefix):
        node = self 
        for c in prefix:
            c = ord(c)-ord("a")
            if not node.children[c]:
                return None 
            node = node.children[c]
        return node 

    def search(self, word):
        """
        :type word: str
        :rtype: bool
        """
        node = self.searchPrefix(word)
        return node is not None and node.is_end 

    def startsWith(self, prefix):
        """
        :type prefix: str
        :rtype: bool
        """
        return self.searchPrefix(prefix) is not None

# Your Trie object will be instantiated and called as such:
# obj = Trie()
# obj.insert(word)
# param_2 = obj.search(word)
# param_3 = obj.startsWith(prefix)

3. 技术问题回答

3.1 结合 GNN 科研项目进行提问
  1. 样本构建的流程是怎样的,并且为什么 GCN 相较于其他方法在效果上更胜一筹?

  2. 节点特征指的是什么?

3.2 结合 基于 RAG 的医学问答项目进行提问
  1. 查询流程?

  2. 使用什么向量数据库?

  3. 介绍一下 RAG 原理?

  4. RAG 如何解决多实体提问问题?

用户提问:感冒和咳嗽需要吃什么药?
3.3 结合多模态科研项目进行提问
  1. Prompt是如何生成的,优化目标是什么,任务是什么?

  2. OCR 抽取效果不好,需要怎么排查问题?

3.4 技术问题
  1. 您是否使用过Pytorch提供的预训练模型,例如torchvision、transformers以及OpenAI开源的ClIP?对分布式训练有经验么?

回答:学过但是没用过

  1. RNN与GNN之间有哪些区别,以及它们各自适用于哪些场景?

回答:

RNN与GNN的区别:
1. 数据类型:
   - RNN 设计用于处理序列数据,即数据点按时间顺序排列,如时间序列分析、语音识别和自然语言处理。
   - GNN 专门用于处理图结构数据,图由节点和边组成,代表实体及其关系,如社交网络、交通网络和分子结构。
2. 结构和工作原理:
   - RNN 的核心是循环单元,它能够在序列的每个时间步上保持信息的状态,但是长序列会导致梯度消失或梯度爆炸问题,影响学习长期依赖。
   - GNN 通过节点和边的特征以及图结构本身的信息,利用特殊的邻居节点更新机制来学习图中的特征表示,更好地捕捉节点间的依赖关系。
3. 长期依赖问题:
   - RNN 在处理长序列时存在长期依赖问题,虽然有LSTM(长短期记忆网络)等变体来缓解这一问题,但本质上是序列模型。
   - GNN 通过图结构天然地能够捕捉节点间的依赖关系,因此在处理具有明确关系的数据时更为有效。

各自适用的场景:
- RNN 适用于处理时间序列数据、文本序列等,如股票价格预测、语音识别、机器翻译(序列到序列的任务)。
- GNN 适用于处理结构化数据,如社交网络分析、推荐系统、生物信息学(如蛋白质结构预测)、地理信息系统等,其中实体和关系是数据的核心组成部分。
总的来说,RNN适合处理时间或顺序上的数据,而GNN适合处理具有明确结构关系的数据。两者各有优势,选择哪种模型取决于具体问题和数据的特点。
  1. GPT和BERT在文本表征方面有哪些结构和工作原理上的差异?

回答:BERT是Transformer Encoder,属于自监督训练方式,然后两大预训练任务,主要用于下游任务抽特征,GPT是Decoder,自回归训练,主要是预测下一个词的分布,依赖大语料库,GPT-3可以表现出Few-shot/zero-shot learning

  1. 因为说了BERT好训练一些,问了为什么?

回答:说了GPT任务对简单、比较依赖语料库的大小,BERT的MLM比较直觉且个人能训练,GPT只有openai等公司有成品

  1. 说一说你对 Zero-shot和Few-shot的理解

回答:Few-shot先给定任务范式描述,Zero-shot就是直接做

  1. 怎么看待计算机网络和操作系统在DL中的作用

回答:谈了DL研究一些计算机网路的问题,比如网络拓扑、交换机拓扑等,分布式训练时会有通信,也会用到进程相关知识

  1. 你来调优一个BERT模型适应一个数据集或任务会怎么做

回答:固定BERT,训练分类头或者使用Adapter

  1. 训练完模型后准确率很低,怎么优化

回答:首先检查代码结构和分类器的网络结构和BERT量级是否匹配,学习率+余弦退火调整,改为Adapter,检查数据集质量,验证阶段代码是否有误

  1. 有一批文本数据,来源和质量不太一样,使用时如何处理

回答:反问文本来源不同是否混合或完全分开,结合多模态融合的技术,增加一个学习任务,对不同来源的文本表示进行线性变换投影到相同的特征空间中

个人本次面试总结

百度的面试篇项目面一点,整体效果还行,面试官给人感觉比较温和。

技术交流群

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了大模型面试与技术交流群, 想要进交流群、需要源码&资料、提升技术的同学,可以直接加微信号:mlc2060。加的时候备注一下:研究方向 +学校/公司+CSDN,即可。然后就可以拉你进群了。

方式①、添加微信号:mlc2060,备注:技术交流
方式②、微信搜索公众号:机器学习社区,后台回复:技术交流

在这里插入图片描述

用通俗易懂方式讲解系列

文章来源:https://blog.csdn.net/2201_75499313/article/details/135727222
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。