随笔 NOTES 写一篇

SQLite 存随笔,值不值得上向量库

试过。结论是:不值得。

这个站的全部内容大概也就几千字,SQLite 的 LIKE 查询在十万行以内都是毫秒级的。为了搜一段中文把 embedding 存进去,还要处理向量库的部署和索引重建,收益完全不成比例。

几个踩过的坑:

  • FTS5 默认分词器不切中文,unicode61 会把一整串汉字当成一个 token
  • 真要用 FTS,trigram 分词器更合适,但少于三个字符搜不到
  • 最省事的办法还是 LIKE 加一个 tags 列做过滤

等哪天真的需要语义搜索再说。