倒排表QA system 中 返回相似度最高的答案，对于知识库，需要计算N次相似度，O(N) 每次相似度计算的复杂度，无法满足实时性要求解决问题核心思想“层次过滤思想” 遇到问题，O 输入，和所有问题匹配， 10^6 多次过滤 -> 10 ^3 -> 10 ^2;最后通过余弦相似度比较最后5个… 核心思想 过滤依次选取时间复杂度最快的，即过滤器1时间复杂度1>>过滤器2In
转载
2024-07-13 08:16:41
45阅读
使用ChatGPT的朋友应该遇到过这样的情况，模型有时候会答非所问甚至自相矛盾，这种情况被成为大语言模型的“幻觉”，即在处理和生成文本时出现的一些特定的错误或误解。这些幻觉可能源于模型对现实世界的理解不足、数据训练的偏差、或者算法本身的局限性。出现幻觉的原因有几个方面：1、数据训练偏差LLM通常是通过大量的文本数据训练得来的。如果这些数据存在偏差，比如特定类型的文本过多或过少，模型在生成回应时可能
原创
2024-01-09 18:03:41
299阅读
随着ChatGPT 的兴起，大语言模型再次被提及，越来越多的行业开始探索，如导购、政府、教育、医疗等行业；大语言模型的突破
原创
2024-10-28 16:09:35
109阅读
本文抛开了现实世界中“正确性”的复杂定义，转而在一个形式化的世界，用数学为幻觉下定义，由此我们可以在一个精确的讨论环境
原创
2024-02-29 12:17:49
165阅读
2）人类评价：让多位专家或普通用户评估大模型生成的内容，打分或标注幻觉出现的频率和严重程度。4）数据自行检测
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大
原创
2024-08-09 15:50:17
160阅读
自18年谷歌BERT横空出世以来，预训练语言模型一跃成为自然语言处理领域的研究热点，海量数据与大规模模型的预训练+少量下游任务数据微调（Pre-training + Fine-tune）也成为NLP任务的新范式。从在开源数据集上进行评测到业务实践中的价值体现，预训练语言模型都被证明能够显著提高模型性能和算法效果。如果说预训练语言模型是2019年以来NLP领域的关键词，随着GPT系列模型的诞生，各大
转载
2024-02-25 11:51:54
5阅读
本文深度分析了大型语言模型(LLM)产生AI幻觉的成因机制与解决方案。研究表明，AI幻觉源于数据质量缺陷、训练机制偏差、模型架构局限和推理过程放大四方面因素，形成"概率生成-错误传导"的完整链条。在解决方案上，数据层面通过Concept7数据集等优化技术提升知识覆盖度，模型架构采用Gemini 2.5 Pro的混合注意力机制增强推理能力，动态数据更新和假设验证循环等技术可显著降低幻觉率。当前研究虽取得一定进展，但模型对自身知识边界的识别能力仍有待突破，这将成为未来AI可靠性研究的关键方向
某中心发布RefChecker工具及基准数据集，通过知识三元组结构检测大语言模型生成内容中的事实性错误，支持零上下文、噪声上下文和精确上下文三种场景评估，提供更细粒度的幻觉分析。
大模型的幻觉问题是指当我们观察一个大型物体时，会出现一种错觉，即这个物体看起来比实际上要小。这种错觉是由于我们的视觉
原创
2024-04-18 14:03:57
98阅读
随着ChatGPT 的兴起，大语言模型再次被提及，越来越多的行业开始探索，如导购、政府、教育、医疗等行业；大语言模型的突破
大模型「幻觉」是指大模型在生成文本、图像或代码时，会产生一些看似合理实则虚假或毫无意义的内容的现象。这些内容就像幻觉
原创
2024-05-11 16:28:35
0阅读
使用一些统计学指标（如ROUGE、BLEU）来评估模型输出和目标参考信息（通常是正确的文本）之间的相似度。这个目
原创
2024-01-14 00:41:11
314阅读
编者按：目前大模型仍然存在一个非常致命的缺陷——大模型的“幻觉”（Hallucination）问题。为什么 LLM 会出现幻觉？如何缓解这种情况？使用的数据集对此现象的影响几何？今天为大家带来的这篇文章将一一解答。
作者首先分析了LLM中出现幻觉的原因，主要是由于训练数据的压缩以及信息的不一致、受限或过时造成的。之后，作者通过对TruthfulQA数据集进行多次实验，比较了多种减少幻觉的方法：降低temperature值限制模型的创造力；使用逐步推理的prompt提高回答的准确性；融合外部知识库增强模型效果。作者发现prompt工程技术尤其关键，必要时可以链接外部知识库。
原创
精选
2023-10-23 10:44:02
1339阅读
纵观国内外，大数据的市场发展迅猛，政府的扶持也达到了空前的力度，甚至将大数据纳入发展战略。如此形势为社会各界提供了很多机遇和挑战，而我们作为卫生(医学)统计领域的一份子，更要把握好机会。放眼全球，大数据的应用规模仍在持续扩张，几乎每个行业都将目光瞄准了大数据背后的巨大价值。未来五到十年，是我国推进大数据发展的关键时期，打造高效的大数据应用机制和产业链迫在眉睫。 空格根据当前大数据行业发展的分析，我
LLM解决AI幻觉方法的深度分析引言：AI幻觉的定义与研究背景AI 幻觉作为大型语言模型（LLM）部署的核心挑战，其学术价值体现于对模型"概率生成天性"的机制探索（如 OpenAI 2025 年论文《Why Language Models Hallucinate》揭示的底层逻辑），产业意义则关乎医疗 ...
本篇来继续讲具体的幻觉问题的度量方法与缓解方案，来具体解决某些应用场景下的问题，例如：应用于医疗垂直领域时如何判断
原创
2024-09-24 16:02:37
236阅读
目录:一基本训练二语言模型打分三语言模型剪枝四语言模型合并五语言模型使用词典限制一、基本训练#功能
读取分词后的text文件或者count文件，然后用来输出最后汇总的count文件或者语言模型
#参数
输入文本：
-read 读取count文件
-text 读取分词后的文本文件
词典文件：
-vocab 限制text和count文件的单词，没有出现在词典的单词替换为<
转载
2024-03-20 16:41:00
84阅读
类似其他的机器学习的数据预处理，自然语言处理也需要进行文本预处理，例如中文需要分词，英文需要词性还原等。常见预处理方法1、文本规范化大写转小写output_str = input_str.lower()数字处理 去掉所有数字import re
output_str = re.sub(r'\d','',input_str)标点符号处理 python中的string类型中有一个方法是translate
转载
2024-10-11 10:42:14
90阅读
