SQLite 存随笔,值不值得上向量库
试过。结论是:不值得。
这个站的全部内容大概也就几千字,SQLite 的 LIKE 查询在十万行以内都是毫秒级的。为了搜一段中文把 embedding 存进去,还要处理向量库的部署和索引重建,收益完全不成比例。
几个踩过的坑:
- FTS5 默认分词器不切中文,unicode61 会把一整串汉字当成一个 token
- 真要用 FTS,trigram 分词器更合适,但少于三个字符搜不到
- 最省事的办法还是
LIKE加一个 tags 列做过滤
等哪天真的需要语义搜索再说。