2024/01/02 每日AI必读资讯

减少LLM幻觉的方法

这篇论文总结了减少LLM幻觉的32种方法，包括RAG、微调模型，提示词工程等。 论文：https://arxiv.org/abs/2401.01313E5-mistral-7b-instruct：使用合成数据训练的Embedding模型 亮点是仅使用LLM生成的数据即可实现不错的效果，使用合成数据+标记数据训练可以实现SOTA。 大小比其他模型大10倍，性能也仅是微弱提升。更大的意义是实践了合成数据的作用。

论文：https://arxiv.org/abs/2401.00368

模型：https://huggingface.co/intfloat/e5-mistral-7b-instruct

OpenVoice：语音克隆

能克隆音色和语调，目前对中文的支持不好，官方反馈后续会优化。

Github：GitHub - myshell-ai/OpenVoice: Instant voice cloning by MyShell.

在线体验：https://huggingface.co/spaces/myshell-ai/OpenVoice

Axolotl：简化 LLM 微调过程的工具

目前对 LLaMa 和 Mistral 的支持比较完善。

Github：GitHub - OpenAccess-AI-Collective/axolotl: Go ahead and axolotl questions

MosaicBERT：低成本训练BERT的方法

BERT是Transformer的一种实现，训练成本比较高。MosaicBERT大幅降低了训练成本，从头开始训练大概值需要花费100美元，为后续BERT模型的训练提供了一种低成本方法。模型权重和代码后续会开源。

论文：https://arxiv.org/abs/2312.17482

Github：GitHub - mosaicbert/mosaicbert.github.io: Experiment Details for MosaicBERT Research Paper