关于谷歌Gemini大模型

2023年12月7日，谷歌AI宣布发布新一代基于Transformer架构的大模型Gemini。

Gemini的名字来源于双子座，象征着模型的双重性质：

一方面，它是一个强大的训练模型，可以在各种下游任务上进行微调，如文本摘要、机器翻译、问答、对话等；另一方面，它也是一个创造性的模型，可以根据用户的输入生成有趣和有用的内容，如诗歌、故事、代码、博客等。

Gemini 版本：

谷歌当天发布的Gemini 1.0共分为Ultra, Pro和Nano三个版本：

Gemini Ultra：能力最强，复杂度最高，能够处理最为高度复杂的任务，

Gemini Pro：能力稍弱，可以用来处理多任务，

Gemini Nano：更注重于移动端的处理能力。

?Gemini的功能：

Gemini在多模态方面取得了突破性的进展，包括生成文本、图像、视频、音频、翻译语言、编写不同类型的创意内容、以及回答问题等各个方面全面超越了GPT-4的能力。

Gemini Ultra 模型的性能在大型语言模型 (LLM) 研发中使用的 32 个广泛使用的学术基准中的 30 个上超过了当前最先进的结果。

Gemini Ultra 的得分高达 90.0%，是第一个在MMLU（大规模多任务语言理解）上超越人类专家的模型，该模型结合了数学、物理、历史、法律、医学和伦理学等 57 个科目来测试知识和解决问题的能力。Gemini 在文本和编码等一系列基准测试中超越了最先进的性能。

Gemini Ultra 还在新的MMMU基准测试中取得了 59.4% 的最先进分数，该基准测试由跨越不同领域、需要深思熟虑的推理的多模态任务组成。

根据测试Gemini Ultra 的性能优于以前最先进的模型，无需从图像中提取文本以进行进一步处理的对象字符识别 (OCR) 系统的帮助。这些基准凸显了Gemini 双子座天生的多模态性，说明了Gemini双子座拥有更复杂的推理能力。

?Gemini训练方法：

Gemini 是在谷歌的大规模多语言语料库上训练的，该语料库包含了来自互联网的文本、图像、音频、视频等不同类型的数据，覆盖了超过100种语言。

Gemini 采用了多种新颖的技术来提高模型的性能和效率，包括自适应稀疏注意力（Adaptive Sparse Attention）、多模态融合（Multimodal Fusion）和元学习（Meta-Learning）。这些技术可以让模型根据输入的复杂度和长度动态地调整注意力矩阵的稀疏度，从而减少计算和内存开销，同时保持高质量的输出；可以将文本、图像、音频、视频等不同类型的数据融合在一起，作为模型的输入，从而提高模型的泛化能力和多样性；可以让模型在训练过程中自动地调整其学习率、优化器、损失函数等超参数，从而适应不同的任务和数据分布。

?如何集成gemini：https://zhuanlan.zhihu.com/p/673079995

1. 如何创建 Google API 密钥。
2. 如何使用 Google Generative AI SDK 调用 Gemini API。
3. 如何使用 LangChain 框架集成 Gemini API。

?LangChain是什么？

https://zhuanlan.zhihu.com/p/644500258