Spring Boot + RustFS 构建高性能 S3 兼容的对象存储服务

RustFS 简介 RustFS 是一个基于 Rust 语言开发的高性能分布式对象存储软件，定位与 MinIO 高度相似，功能基本对齐 MinIO 开源版（包括分片上传、桶策略、版本控制、事件通知、生命周期管理等），完全兼容 AWS S3 协议，部署简单（Docker 一键启动），并提供现代化的可视
作者：old wang
分类： 环境搭建
标签： #环境搭建

知识库文档入库任务系统设计

文档入库不是上传完文件就结束，后面还有解析、分块、Embedding、向量写入、状态更新这些步骤。这里面解析可能失败，Embedding 可能超时，向量库可能写入失败，用户也可能在任务执行中删除文档或取消任务。所以我不会把它做成一个同步接口，而是设计成 上传接口 + 任务状态机 + MQ 异步消费
作者：old wang
分类： RAG

本地搭建 PostgreSQL + PGvector 向量数据库

Docker 快速安装 PostgreSQL + PGvector 我们直接使用官方封装好的镜像，一步到位。打开终端，直接复制并运行下面这段命令（请注意修改 -v 挂载目录为你本地的实际路径）： docker run -d \ --name my_pgvector \ -p 5432:5
作者：old wang
分类： 环境搭建
标签： #环境搭建

Spring Boot 集成 Apache Tika 实现文档内容解析

在业务系统中，经常会遇到文档内容解析的需求。 例如： 上传 PDF 后提取正文内容； 解析 Word、Excel、PPT 文件内容； 对附件内容做全文检索； 读取用户上传文档中的文本信息； 判断文件类型； 提取文件元数据。 如果每种文件格式都单独引入解析库，代码会比较分散，维护成本也比较高。 这类场
作者：old wang
分类： 工程实践

Spring Boot 中使用策略模式优化多分支业务逻辑

在业务系统中，经常会遇到这样一种场景： 同一个接口入口，根据请求中的某个字段，走不同的业务处理逻辑。 比如： 第三方 OA 系统回调； 支付渠道回调； 消息通知分发； 文件类型处理； 不同业务类型的审批流程； 不同来源的数据同步逻辑。 最直接的写法，可能是在一个方法里写大量 if...else if
作者：old wang
分类： 工程实践

RAG实际应用场景

这是 RAG 最经典的应用场景，几乎每个上了规模的公司都有需求。 员工想查公司的报销制度、请假流程、技术规范，以前要么翻 Wiki 翻半天，要么直接问同事。现在接个 RAG 系统，自然语言问一句就能得到答案，还能告诉你出处在哪个文档。 典型的知识来源包括：公司制度文档、产品手册、技术文档、历史项目沉
作者：old wang
分类： RAG

RAG的几个难点

1. 数据入向量库 企业里的知识不会乖乖地以纯文本形式等着你。PDF、Word、PPT、网页、Markdown、数据库，什么都有。光是把这些东西解析成干净的文本，就是一堆脏活累活。PDF 里的表格、扫描件、双栏排版，每一个都是坑文档要切成小块才能检索，但切多大是个问题。切太大，检索不精准，一大段里可
作者：old wang
分类： RAG

RAG的优缺点

优点 1. 成本低 上手快 想让你的大模型懂你的业务知识 拿你的数据去微调模型 二用RAG把知识喂给大模型 微调模型要准备训练数据 要算力 要时间 RAG只需要你将文档灌进向量库 2. 知识更新方便 微调完的模型 知识就固话了 你想更新你得再去微调一轮 RAG不一样 文档有变动重新处理一个就好了 对
作者：old wang
分类： RAG

RAG的核心

RAG大致分为6个流程 1. 导入 将你的数据接入系统 可能是PDF word内容 网页内容 这一步的目标就是 要拿到干净的文本内容 2. 分块 文档一般很长 直接用的会有两个问题 1大模型的上下文窗口有限 塞不下整篇文档 2我们检索时是找到最相关的一段而不是整篇文档 比如你的产品手册 可以按章节切
作者：old wang
分类： RAG

什么是RAG?

RAG 概念最早是 2020 年 Meta（当时还叫 Facebook AI）的研究团队提出的。他们的思路很直接：与其让模型把所有东西都记在脑子里，不如教它"先查资料，再回答"。这样一来，模型的回答就有据可依了——既利用了大模型理解语义的能力，又能接入最新的、私有的知识库数据。 我觉得了解什么事RA
作者：old wang
分类： RAG
共 46 篇文章
页