# \#llm **URL:** https://meta.101.dev/tag/llm/99.md [最新](https://meta.101.dev/latest.md) · [类别](https://meta.101.dev/categories.md) · [标签](https://meta.101.dev/tags.md) --- ## [大模型评估排障指南 | 关于可复现性](https://meta.101.dev/t/topic/1477)
**Author:** [@101](https://meta.101.dev/u/101)\ **回复:** 0\ **最近更新：:** [2025 年5 月 13 日 09:14 UTC](https://meta.101.dev/t/topic/1477 "2025-05-13T09:14:18Z")
这是 大模型评估排障指南 系列文章的第三篇，敬请关注系列文章: 关于推理 关于 \\LaTeX 公式解析 关于可复现性 假设你读了一篇最近的新模型技术报告，然后心血来潮想要在本机复现他们的结果，却发现根本没法复现，这是为什么？ 让我们… --- ## [让 LLM 来评判 | 技巧与提示](https://meta.101.dev/t/llm/1451)
**Author:** [@101](https://meta.101.dev/u/101)\ **回复:** 0\ **最近更新：:** [2025 年4 月 9 日 07:50 UTC](https://meta.101.dev/t/llm/1451 "2025-04-09T07:50:49Z")
这是 让 LLM 来评判 系列文章的第六篇，敬请关注系列文章: 基础概念 选择 LLM 评估模型 设计你自己的评估 prompt 评估你的评估结果 奖励模型相关内容 技巧与提示 LLM 评估模型已知偏差及缓解措施: 缺乏内部一致… --- ## [让 LLM 来评判 | 设计你自己的评估 prompt](https://meta.101.dev/t/llm-prompt/1407)
**Author:** [@101](https://meta.101.dev/u/101)\ **回复:** 0\ **最近更新：:** [2025 年2 月 27 日 12:51 UTC](https://meta.101.dev/t/llm-prompt/1407 "2025-02-27T12:51:19Z")
设计你自己的评估 prompt 这是 让 LLM 来评判 系列文章的第三篇，敬请关注系列文章: 基础概念 选择 LLM 评估模型 设计你自己的评估 prompt 评估你的评估结果 奖励模型相关内容 技巧与提示 通用 prompt … --- ## [让 LLM 来评判 | 奖励模型相关内容](https://meta.101.dev/t/llm/1404)
**Author:** [@101](https://meta.101.dev/u/101)\ **回复:** 0\ **最近更新：:** [2025 年2 月 22 日 14:04 UTC](https://meta.101.dev/t/llm/1404 "2025-02-22T14:04:18Z")
奖励模型相关内容 这是 让 LLM 来评判 系列文章的第五篇，敬请关注系列文章: 基础概念 选择 LLM 评估模型 设计你自己的评估 prompt 评估你的评估结果 奖励模型相关内容 技巧与提示 什么是奖励模型？ 奖励模型通过学习… --- ## [让 LLM 来评判 | 评估你的评估结果](https://meta.101.dev/t/llm/1385)
**Author:** [@101](https://meta.101.dev/u/101)\ **回复:** 0\ **最近更新：:** [2025 年2 月 11 日 13:45 UTC](https://meta.101.dev/t/llm/1385 "2025-02-11T13:45:07Z")
评估你的评估结果 这是 让 LLM 来评判 系列文章的第三篇，敬请关注系列文章: 基础概念 选择 LLM 评估模型 设计你自己的评估 prompt 评估你的评估结果 奖励模型相关内容 技巧与提示 在生产中或大规模使用 LLM 评估… --- ## [让 LLM 来评判 | 基础概念](https://meta.101.dev/t/llm/1361)
**Author:** [@101](https://meta.101.dev/u/101)\ **回复:** 0\ **最近更新：:** [2025 年1 月 11 日 12:43 UTC](https://meta.101.dev/t/llm/1361 "2025-01-11T12:43:59Z")
基础概念 这是 让 LLM 来评判 系列文章的第一篇，敬请关注系列文章: 基础概念 选择 LLM 评估模型 设计你自己的评估 prompt 评估你的评估结果 奖励模型相关内容 技巧与提示 什么是评估模型？ 评估模型 (Judge … --- ## [通用辅助生成: 使用任意辅助模型加速解码](https://meta.101.dev/t/topic/1342)
**Author:** [@101](https://meta.101.dev/u/101)\ **回复:** 0\ **最近更新：:** [2024 年11 月 19 日 14:00 UTC](https://meta.101.dev/t/topic/1342 "2024-11-19T14:00:05Z")
太长不看版: 许多 LLM (如 gemma-2-9b 、 Mixtral-8x22B-Instruct-v0.1 等) 苦于缺乏对应小模型，而无法适用 辅助生成 方案。本文，我们将介绍由英特尔研究院和 Hugging Face 合作开发的… --- ## [将 LLMs 精调至 1.58 比特: 使极端量化变简单](https://meta.101.dev/t/llms-1-58/1328)
**Author:** [@101](https://meta.101.dev/u/101)\ **回复:** 0\ **最近更新：:** [2024 年9 月 29 日 05:47 UTC](https://meta.101.dev/t/llms-1-58/1328 "2024-09-29T05:47:33Z")
随着大语言模型 (LLMs) 规模和复杂性的增长，寻找减少它们的计算和能耗的方法已成为一个关键挑战。一种流行的解决方案是量化，其中参数的精度从标准的 16 位浮点 (FP16) 或 32 位浮点 (FP32) 降低到 8 位或 4 位等低位… --- ## [对 LLM 工具使用进行统一](https://meta.101.dev/t/llm/1326)
**Author:** [@101](https://meta.101.dev/u/101)\ **回复:** 0\ **最近更新：:** [2024 年9 月 26 日 02:16 UTC](https://meta.101.dev/t/llm/1326 "2024-09-26T02:16:00Z")
我们为 LLM 确立了一个跨模型的 统一工具调用 API。有了它，你就可以在不同的模型上使用相同的代码，在 Mistral、Cohere、NousResearch 或 Llama 等模型间自由切换，而无需或很少需要根据模型更改工具调用相关的… --- ## [LAVE: 使用 LLM 对 Docmatix 进行零样本 VQA 评估 - 我们还需要微调吗？](https://meta.101.dev/t/lave-llm-docmatix-vqa/1318)
**Author:** [@101](https://meta.101.dev/u/101)\ **回复:** 0\ **最近更新：:** [2024 年9 月 5 日 03:05 UTC](https://meta.101.dev/t/lave-llm-docmatix-vqa/1318 "2024-09-05T03:05:06Z")
在开发 Docmatix 时，我们发现经其微调的 Florence-2 在 DocVQA 任务上表现出色，但在基准测试中得分仍比较低。为了提高基准测试得分，我们必须在 DocVQA 数据集上进一步对模型进行微调，以学习该基准测试的语法风格。… --- ## [更难、更好、更快、更强：LLM Leaderboard v2 现已发布](https://meta.101.dev/t/llm-leaderboard-v2/1291)
**Author:** [@101](https://meta.101.dev/u/101)\ **回复:** 0\ **最近更新：:** [2024 年6 月 27 日 02:45 UTC](https://meta.101.dev/t/llm-leaderboard-v2/1291 "2024-06-27T02:45:35Z")
摘要 评估和比较大语言模型 (LLMs) 是一项艰巨的任务。我们 RLHF 团队在一年前就意识到了这一点，当时他们试图复现和比较多个已发布模型的结果。这几乎是不可能完成的任务：论文或营销发布中的得分缺乏可复现的代码，有时令人怀疑，大多数情… --- ## [来自 AI Secure 实验室的 LLM 安全排行榜简介](https://meta.101.dev/t/ai-secure-llm/1238)
**Author:** [@101](https://meta.101.dev/u/101)\ **回复:** 0\ **最近更新：:** [2024 年3 月 12 日 14:35 UTC](https://meta.101.dev/t/ai-secure-llm/1238 "2024-03-12T14:35:25Z")
近来，LLM 已深入人心，大有燎原之势。但在我们将其应用于千行百业之前，理解其在不同场景下的安全性和潜在风险显得尤为重要。为此，美国白宫发布了关于安全、可靠、可信的人工智能的行政命令; 欧盟人工智能法案也对高风险人工智能系统的设立了专门的强… --- ## [欢迎 Gemma: Google 最新推出开源大语言模型](https://meta.101.dev/t/gemma-google/1230)
**Author:** [@101](https://meta.101.dev/u/101)\ **回复:** 0\ **最近更新：:** [2024 年2 月 22 日 14:19 UTC](https://meta.101.dev/t/gemma-google/1230 "2024-02-22T14:19:05Z")
今天，Google 发布了一系列最新的开放式大型语言模型 —— Gemma！Google 正在加强其对开源人工智能的支持，我们也非常有幸能够帮助全力支持这次发布，并与 Hugging Face 生态完美集成。 Gemma 提供两种规模… --- ## [句子嵌入: 交叉编码和重排序](https://meta.101.dev/t/topic/1223)
**Author:** [@101](https://meta.101.dev/u/101)\ **回复:** 0\ **最近更新：:** [2024 年2 月 6 日 12:44 UTC](https://meta.101.dev/t/topic/1223 "2024-02-06T12:44:24Z")
这个系列目的是揭开嵌入的神秘面纱，并展示如何在你的项目中使用它们。第一篇博客 介绍了如何使用和扩展开源嵌入模型，选择现有的模型，当前的评价方法，以及生态系统的发展状态。第二篇博客将会更一步深入嵌入并解释双向编码和交叉编码的区别。进一步我们将… --- ## [开放 LLM 排行榜: 深入研究 DROP](https://meta.101.dev/t/llm-drop/1217)
**Author:** [@101](https://meta.101.dev/u/101)\ **回复:** 0\ **最近更新：:** [2024 年1 月 15 日 15:09 UTC](https://meta.101.dev/t/llm-drop/1217 "2024-01-15T15:09:02Z")
最近，开放 LLM 排行榜 迎来了 3 个新成员: Winogrande、GSM8k 以及 DROP，它们都使用了 EleutherAI Harness 的原始实现。一眼望去，我们就会发现 DROP 的分数有点古怪: 绝大多数模型的 F1 … --- ## [用 bitsandbytes、4 比特量化和 QLoRA 打造亲民的 LLM](https://meta.101.dev/t/bitsandbytes-4-qlora-llm/1190)
**Author:** [@101](https://meta.101.dev/u/101)\ **回复:** 0\ **最近更新：:** [2023 年11 月 7 日 16:04 UTC](https://meta.101.dev/t/bitsandbytes-4-qlora-llm/1190 "2023-11-07T16:04:31Z")
众所周知，LLM 规模庞大，如果在也能消费类硬件中运行或训练它们将是其亲民化的巨大进步。我们之前撰写的 LLM.int8 博文 展示了我们是如何将 LLM.int8 论文 中的技术通过 bitsandbytes 库集成到 transform… --- ## [面向生产的 LLM 优化](https://meta.101.dev/t/llm/1182)
**Author:** [@101](https://meta.101.dev/u/101)\ **回复:** 0\ **最近更新：:** [2023 年10 月 18 日 16:56 UTC](https://meta.101.dev/t/llm/1182 "2023-10-18T16:56:06Z")
注意 : 本文同时也是 Transformers 的文档。 以 GPT3/4、Falcon 以及 LLama 为代表的大语言模型 (Large Language Model，LLM) 在处理以人为中心的任务上能力突飞猛进，俨然已成为现代知… --- ## [Hugging Face 的文本生成和大语言模型的开源生态](https://meta.101.dev/t/hugging-face/1130)
**Author:** [@101](https://meta.101.dev/u/101)\ **回复:** 0\ **最近更新：:** [2023 年8 月 9 日 11:42 UTC](https://meta.101.dev/t/hugging-face/1130 "2023-08-09T11:42:30Z")
\[更新于 2023 年 7 月 23 日: 添加 Llama 2。\] 文本生成和对话技术已经出现多年了。早期的挑战在于通过设置参数和分辨偏差，同时控制好文本忠实性和多样性。更忠实的输出一般更缺少创造性，并且和原始训练数据更加接近，也更不像… --- ## [用 Hugging Face 推理端点部署 LLM](https://meta.101.dev/t/hugging-face-llm/1104)
**Author:** [@101](https://meta.101.dev/u/101)\ **回复:** 0\ **最近更新：:** [2023 年7 月 21 日 15:11 UTC](https://meta.101.dev/t/hugging-face-llm/1104 "2023-07-21T15:11:22Z")
开源的 LLM，如 Falcon、(Open-)LLaMA、X-Gen、StarCoder 或 RedPajama，近几个月来取得了长足的进展，能够在某些用例中与闭源模型如 ChatGPT 或 GPT4 竞争。然而，有效且优化地部署这些模型… --- ## [Open LLM 排行榜近况](https://meta.101.dev/t/open-llm/1088)
**Author:** [@101](https://meta.101.dev/u/101)\ **回复:** 0\ **最近更新：:** [2023 年7 月 12 日 00:51 UTC](https://meta.101.dev/t/open-llm/1088 "2023-07-12T00:51:16Z")
Open LLM 排行榜是 Hugging Face 设立的一个用于评测开放大语言模型的公开榜单。最近，随着 Falcon :eagle: 的发布并在 Open LLM 排行榜 上疯狂屠榜，围绕这个榜单在推特上掀起了一轮热烈的讨论。 讨论… --- ## [如何使用 Megatron-LM 训练语言模型](https://meta.101.dev/t/megatron-lm/1025)
**Author:** [@101](https://meta.101.dev/u/101)\ **回复:** 0\ **最近更新：:** [2023 年5 月 31 日 12:19 UTC](https://meta.101.dev/t/megatron-lm/1025 "2023-05-31T12:19:27Z")
在 PyTorch 中训练大语言模型不仅仅是写一个训练循环这么简单。我们通常需要将模型分布在多个设备上，并使用许多优化技术以实现稳定高效的训练。Hugging Face :hugs: Accelerate 的创建是为了支持跨 GPU 和 T… --- ## [越小越好: Q8-Chat，在英特尔至强 CPU 上体验高效的生成式 AI](https://meta.101.dev/t/q8-chat-cpu-ai/1015)
**Author:** [@101](https://meta.101.dev/u/101)\ **回复:** 0\ **最近更新：:** [2023 年5 月 23 日 13:02 UTC](https://meta.101.dev/t/q8-chat-cpu-ai/1015 "2023-05-23T13:02:10Z")
大语言模型 (LLM) 正在席卷整个机器学习世界。得益于其 transformer 架构，LLM 拥有从大量非结构化数据 (如文本、图像、视频或音频) 中学习的不可思议的能力。它们在 多种任务类型 上表现非常出色，无论是文本分类之类的抽取任… --- ## [为大语言模型建立红队对抗](https://meta.101.dev/t/topic/977)
**Author:** [@101](https://meta.101.dev/u/101)\ **回复:** 0\ **最近更新：:** [2023 年4 月 27 日 15:41 UTC](https://meta.101.dev/t/topic/977 "2023-04-27T15:41:03Z")
在巨量文本数据下训练的大语言模型非常擅长生成现实文本。但是，这些模型通常会显现出一些不良行为像泄露个人信息 (比如社会保险号) 和生成错误信息，偏置，仇恨或有毒内容。举个例子，众所周知，GPT3 的早期版本就表现出性别歧视 (如下图) 与 仇… --- ## [如何评估大语言模型](https://meta.101.dev/t/topic/935)
**Author:** [@101](https://meta.101.dev/u/101)\ **回复:** 0\ **最近更新：:** [2023 年3 月 29 日 02:01 UTC](https://meta.101.dev/t/topic/935 "2023-03-29T02:01:31Z")
大家可以使用 Hugging Face Space 上的 Evaluation on the Hub 应用在零样本分类任务上评估大语言模型啦！ 零样本评估是研究人员衡量大语言模型性能的一种流行方法。因为大语言模型已经在训练过程中 显示 出…