多向量检索器(Multivector Retrieval)是一个信息检索技术。它允许在不同类型的数据(如文本、图片、视频等)之间进行联合检索。
主要特点和工作原理如下：
针对不同类型的数据，使用不同的卷积神经网络或词向量模型来学习其向量空间表示。
将这些不同源空间中的向量映射到一个共同的语义空间中，这样向量之间就可以进行比较和相似度计算了。
映射通常采用权值共享的多任务框架，使得不同类型向量空间的学习目的一致，利于空间对齐。
在检索时，用户可以输入多种类型的数据作为查询，系统在所有的向量空间中进行匹配，返回相似度高的结果。
还可以根据查询内容的类型，过滤结果保留与查询同类型的结果项。
相比传统的单源检索，多向量检索器具有以下优点：
突破了单一向量空间的限制，实现了跨类型检索。
召回率和覆盖范围都有明显提升。
加强了检索表达能力，更贴近用户复合型信息需求。
它在新闻、社交媒体等结构松散的多源数据检索中表现优异。
多模态嵌入(Multimodal Embedding)是一种自然语言处理技术。它可以将不同类型的数据(如文本、图像、视频等)映射到一个共同的低维语义空间，实现跨模式的匹配与理解。
主要特征和工作流程如下：
对不同类型的数据使用专属的模块学习独立向量表示，如图像用CNN，文本用word2vec等。
引入对齐机制(常用最大内积或最小距离)，实现不同空间向量的共同学习。
训练目标是最小化不同模式向量间的距离，极大化它们在语义空间中的关联程度。
训练后，不同模式数据都可以用相同的低维空间进行表示。
实现跨模式检索，如根据图像内容检索相关文本、翻译视频标题等。
优点：
突破单一模式检索的限制，支持复合查询。
揭示不同模式数据内在的桥接语义。
在NLP、信息检索、人机交互等领域广泛应用。
限制：需要大量标注数据实现有效对齐，对某些新数据扩展性较弱。
总体来说，多模态嵌入利用深度学习技术极大增强了系统跨模式理解能力。
在LLM中，对齐通常指的是将输入和输出之间的关联进行匹配和对应。具体来说，对齐可以是将输入文本与相应的目标文本或标签对应起来，以便模型能够理解输入和输出之间的关系。这种对齐可以通过大量的标注数据来实现。
例如，在机器翻译任务中，对齐可以指将源语言句子与目标语言句子进行对应。这样，模型在训练过程中可以根据输入语句生成相应的输出语句。对齐还可以应用于其他任务，如问答系统、命名实体识别、文本分类等。
实现有效的对齐通常需要大量的标注数据，这些数据包含输入和输出之间的正确对应关系。人工标注者需要仔细阅读输入，并为每个输入提供正确的输出或标签。这些标注数据可以用于训练和优化模型，使其能够理解输入和输出之间的映射关系，并在新的输入上进行准确的预测。
值得注意的是，对齐不仅仅指的是文本级别的对应，它还可以涉及到更细粒度的对齐，例如将句子中的单词或短语与相应的目标单词或短语对应起来，这在一些序列标注任务中非常常见，如命名实体识别或词性标注。
多模态嵌入和多向量检索器可以结合起来进行更好地多模式信息检索，以下是一些最佳使用方式：
利用大量多模态数据预训练多模态嵌入模型，获取不同模式间语义对应的低维嵌入空间。
对新输入的数据使用预训练模型提取其嵌入向量表示。
将预训练模型和新数据提取的所有向量构建多向量检索系统数据库。
用户多模式复合查询时(如文本+图像)，在所有嵌入向量空间进行深度匹配检索。
考虑查询模式属性，过滤检索结果保留与查询模式一致的项目。
在检索后的语义扩充中，可以利用多模态嵌入探索跨模式关联。
不断收集新数据重复训练更新多模态嵌入模型，优化嵌入空间质量。
多模态数据在线学习可以实时学习用户喜好和反馈，优化检索效果。
多向量检索抽取深度语义特征，作为新一轮多模态嵌入训练的输入。
结果生成中使用多模态理解能力，产生跨模式叙事性输出。
通过有机组合两种技术各自的优势，可实现更高效的多模式信息检索与理解任务。