type
status
date
slug
summary
tags
category
icon
password
最近在考虑本地部署vector database 来做rag(这个领域感觉做的人很多 我也就是稍微了解一下 看看能不能用特定领域数据 做出能显著看出差异的搜索质量提升)
暂且先不谈 graph rag 如果比较一般 vector database 的话
现阶段的总结是 作为查找来说 faiss 性能最好 但是也最消费资源 作为一种搜索方式
vector store 必须要用 langchain/llamaindex 的？
体验来讲 chroma 感觉语法简单 完全开源 local host 很容易用
但是因为很新 应该非常不适合production
怎么定义? 是db大小? 如果需求只是100本书 左右 —> 可以测试一下
Milvus 应该也好用 同时应该是最快的 如果local的话 只能用lite ?
下面是别人总结的
来源:
下面是两套使用 Chroma + Ollama 的 sample code(本地这里都用的是llama3.1:8b 可以自行更换):
首先是从pdf书(扫描版应该不支持)里提取
共两个步骤
1. 收集数据 创建本地client → collection → store (注意这套代码没有做embedding)
- 接下来是query部分(接续之前本地存好的db 重启client 使用get_or_create_collection)
因为有paywall 有钱可以支持一下 像我一样穷的一可以搜索freedium
Ok 下面应该是第二套 也就是ollama 官方的chromadb implementation了 代码很简单 用的也只是几句话来当文本
用的emb model是mxbai-embed-large(mix bread) 也是ollama上现在下载量最大的
因为文本被改的太奇怪了 所以模型也是很快反应过来了 回答也很是幽默…
这边贴几个
但是最后不知道为什么调用多了模型话就变少了 也逐渐顺从我了 不知道为啥
- Author:ran2323
- URL:https://www.blueif.me//article/15071a79-6e22-803f-bc17-eb7ea3e8f236
- Copyright:All articles in this blog, except for special statements, adopt BY-NC-SA agreement. Please indicate the source!
