说说百度大模型算法工程师经历，整体效果还行

应聘岗位：百度大模型算法工程师

面试轮数：第二轮

整体面试感觉：偏简单

最近技术群的一位张同学，分享了面试百度大模型算法工程师的经历与经验。

今天整理后分享给大家，如果你对这块感兴趣，可以文末加入我们的技术群

面试过程回顾

1. 自我介绍

在自我介绍环节，我清晰地阐述了个人基本信息、教育背景、工作经历和技能特长，展示了自信和沟通能力。

2. Leetcode 题

具体题意类似 【208. 实现 Trie (前缀树)】

• 题目内容

Trie（发音类似 “try”）或者说 前缀树 是一种树形数据结构，用于高效地存储和检索字符串数据集中的键。这一数据结构有相当多的应用情景，例如自动补完和拼写检查。

• 请你实现 Trie 类：

• Trie() 初始化前缀树对象。

• void insert(String word) 向前缀树中插入字符串 word 。

• boolean search(String word) 如果字符串 word 在前缀树中，返回 true（即，在检索之前已经插入）；否则，返回 false 。

• boolean startsWith(String prefix) 如果之前已经插入的字符串 word 的前缀之一为 prefix ，返回 true ；否则，返回 false 。

• 示例：

输入
["Trie", "insert", "search", "search", "startsWith", "insert", "search"]
[[], ["apple"], ["apple"], ["app"], ["app"], ["app"], ["app"]]
输出
[null, null, true, false, true, null, true]

解释
Trie trie = new Trie();
trie.insert("apple");
trie.search("apple");   // 返回 True
trie.search("app");     // 返回 False
trie.startsWith("app"); // 返回 True
trie.insert("app");
trie.search("app");     // 返回 True

• 提示：

• 1 <= word.length, prefix.length <= 2000

• word 和 prefix 仅由小写英文字母组成

• insert、search 和 startsWith 调用次数 总计 不超过 3 * 104 次

• 题目解答

class Trie(object):
    def __init__(self):
        self.children = [None]*26
        self.is_end = False

    def insert(self, word):
        """
        :type word: str
        :rtype: None
        """
        node = self
        for c in word:
            c = ord(c)-ord("a")
            if not node.children[c]:
                node.children[c] = Trie()
            node = node.children[c]
        node.is_end = True

    def searchPrefix(self, prefix):
        node = self 
        for c in prefix:
            c = ord(c)-ord("a")
            if not node.children[c]:
                return None 
            node = node.children[c]
        return node 

    def search(self, word):
        """
        :type word: str
        :rtype: bool
        """
        node = self.searchPrefix(word)
        return node is not None and node.is_end 

    def startsWith(self, prefix):
        """
        :type prefix: str
        :rtype: bool
        """
        return self.searchPrefix(prefix) is not None

# Your Trie object will be instantiated and called as such:
# obj = Trie()
# obj.insert(word)
# param_2 = obj.search(word)
# param_3 = obj.startsWith(prefix)

3. 技术问题回答

3.1 结合 GNN 科研项目进行提问

1. 样本构建的流程是怎样的，并且为什么 GCN 相较于其他方法在效果上更胜一筹？

2. 节点特征指的是什么？

3.2 结合 基于 RAG 的医学问答项目进行提问

1. 查询流程？

2. 使用什么向量数据库？

3. 介绍一下 RAG 原理？

4. RAG 如何解决多实体提问问题？

用户提问：感冒和咳嗽需要吃什么药？

3.3 结合多模态科研项目进行提问

1. Prompt是如何生成的，优化目标是什么，任务是什么？

2. OCR 抽取效果不好，需要怎么排查问题？

3.4 技术问题

1. 您是否使用过Pytorch提供的预训练模型，例如torchvision、transformers以及OpenAI开源的ClIP？对分布式训练有经验么？

回答：学过但是没用过

2. RNN与GNN之间有哪些区别，以及它们各自适用于哪些场景？

回答：

RNN与GNN的区别：
1. 数据类型：
   - RNN 设计用于处理序列数据，即数据点按时间顺序排列，如时间序列分析、语音识别和自然语言处理。
   - GNN 专门用于处理图结构数据，图由节点和边组成，代表实体及其关系，如社交网络、交通网络和分子结构。
2. 结构和工作原理：
   - RNN 的核心是循环单元，它能够在序列的每个时间步上保持信息的状态，但是长序列会导致梯度消失或梯度爆炸问题，影响学习长期依赖。
   - GNN 通过节点和边的特征以及图结构本身的信息，利用特殊的邻居节点更新机制来学习图中的特征表示，更好地捕捉节点间的依赖关系。
3. 长期依赖问题：
   - RNN 在处理长序列时存在长期依赖问题，虽然有LSTM（长短期记忆网络）等变体来缓解这一问题，但本质上是序列模型。
   - GNN 通过图结构天然地能够捕捉节点间的依赖关系，因此在处理具有明确关系的数据时更为有效。

各自适用的场景：
- RNN 适用于处理时间序列数据、文本序列等，如股票价格预测、语音识别、机器翻译（序列到序列的任务）。
- GNN 适用于处理结构化数据，如社交网络分析、推荐系统、生物信息学（如蛋白质结构预测）、地理信息系统等，其中实体和关系是数据的核心组成部分。
总的来说，RNN适合处理时间或顺序上的数据，而GNN适合处理具有明确结构关系的数据。两者各有优势，选择哪种模型取决于具体问题和数据的特点。

3. GPT和BERT在文本表征方面有哪些结构和工作原理上的差异？

回答：BERT是Transformer Encoder，属于自监督训练方式，然后两大预训练任务，主要用于下游任务抽特征，GPT是Decoder，自回归训练，主要是预测下一个词的分布，依赖大语料库，GPT-3可以表现出Few-shot/zero-shot learning

3. 因为说了BERT好训练一些，问了为什么?

回答：说了GPT任务对简单、比较依赖语料库的大小，BERT的MLM比较直觉且个人能训练，GPT只有openai等公司有成品

4. 说一说你对 Zero-shot和Few-shot的理解

回答：Few-shot先给定任务范式描述，Zero-shot就是直接做

5. 怎么看待计算机网络和操作系统在DL中的作用

回答：谈了DL研究一些计算机网路的问题，比如网络拓扑、交换机拓扑等，分布式训练时会有通信，也会用到进程相关知识

6. 你来调优一个BERT模型适应一个数据集或任务会怎么做

回答：固定BERT，训练分类头或者使用Adapter

7. 训练完模型后准确率很低，怎么优化

回答：首先检查代码结构和分类器的网络结构和BERT量级是否匹配，学习率+余弦退火调整，改为Adapter，检查数据集质量，验证阶段代码是否有误

8. 有一批文本数据，来源和质量不太一样，使用时如何处理

回答：反问文本来源不同是否混合或完全分开，结合多模态融合的技术，增加一个学习任务，对不同来源的文本表示进行线性变换投影到相同的特征空间中

个人本次面试总结

百度的面试篇项目面一点，整体效果还行，面试官给人感觉比较温和。

技术交流群

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了大模型面试与技术交流群， 想要进交流群、需要源码&资料、提升技术的同学，可以直接加微信号：mlc2060。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

方式①、添加微信号：mlc2060，备注：技术交流
方式②、微信搜索公众号：机器学习社区，后台回复：技术交流

用通俗易懂方式讲解系列

• 用通俗易懂的方式讲解：自然语言处理初学者指南（附1000页的PPT讲解）
• 用通俗易懂的方式讲解：NLP 这样学习才是正确路线
• 用通俗易懂的方式讲解：28张图全解深度学习知识！
• 用通俗易懂的方式讲解：不用再找了，这就是 NLP 方向最全面试题库
• 用通俗易懂的方式讲解：实体关系抽取入门教程
• 用通俗易懂的方式讲解：灵魂 20 问帮你彻底搞定Transformer
• 用通俗易懂的方式讲解：图解 Transformer 架构
• 用通俗易懂的方式讲解：大模型算法面经指南（附答案）
• 用通俗易懂的方式讲解：十分钟部署清华 ChatGLM-6B，实测效果超预期
• 用通俗易懂的方式讲解：内容讲解+代码案例，轻松掌握大模型应用框架 LangChain
• 用通俗易懂的方式讲解：如何用大语言模型构建一个知识问答系统
• 用通俗易懂的方式讲解：最全的大模型 RAG 技术概览
• 用通俗易懂的方式讲解：利用 LangChain 和 Neo4j 向量索引，构建一个RAG应用程序
• 用通俗易懂的方式讲解：使用 Neo4j 和 LangChain 集成非结构化知识图增强 QA