当前位置:首页 > 源码资源 > 正文内容

一个开源的文档内容高效检索 AI 工具:Semantra

二向箔2023-04-29 18:05:33源码资源1307

ai工具.png

一个开源的文档内容高效检索 AI 工具:Semantra,与传统的文本匹配方式不同,它能够直接使用语义查询,提升检索效率。可选择多种语言模型,支持在本地离线部署运行,注重隐私安全。


使用命令行即可快速处理本地的文本和 PDF 文件。在任务完成后,它会在本地搭建一个 Web 搜索页面,让你能在界面上对直接查询文档。


Semantra 的设计目的是方便易用,可定制。适合需要在大量文档中进行精确搜索的个人或团体,例如新闻从业者、研究员、学生或教师等。主要作用是对存储在本地计算机上的文档(文本或 PDF 文件)进行操作,你可以选择处理单个或多个文档。


该项目对文档的处理有两种方式:「内嵌模型」和调用「OpenAI API」。默认是用的 MPNet 语言模型。


如果你电脑配置还过得去,或者想离线处理文档,可以优先选择下载大语言模型,这种方式可以最大程度保证你的隐私安全。


如果想用 OpenAI API,项目也提供了相对应的方案,不过所产生的 Token 消耗,你需要自行承担。


针对这两种方案,作者都在 GitHub 中给出了详细文档。


GitHub地址:

https://github.com/freedmand/semantra







扫描二维码推送至手机访问。

版权声明:本站内容为原创和部分整理自网络,如有侵权务必联系我们删除,保障您的权益,本站所有软件资料仅供学习研究使用,不可进行商业用途和违法活动,本站不承担任何法律责任。

本文链接:https://www.erxbo.com/post/777.html

分享给朋友:

“一个开源的文档内容高效检索 AI 工具:Semantra” 的相关文章

一个概念性的Chrome插件,让你用自然语言过滤掉不感兴趣的内容

一个概念性的Chrome插件,让你用自然语言过滤掉不感兴趣的内容

一个开源的、概念性的Chrome插件,它让你可以用自然语言过滤掉社交网络种你不感兴趣的部分,或者只留下你感兴趣的部分。目前支持推特和知乎两个平台。配置:将扩展固定在工具栏上。单击扩展图标。填写偏好以及可以在此处 (https://platform.openai.com/account/api-key...

Lamini 让开发人员轻松创建类似于ChatGPT的语言模型

Lamini 让开发人员轻松创建类似于ChatGPT的语言模型

Lamini 让开发人员在大规模数据集上训练高性能语言模型,无需成为机器学习专家,通过Lamini,可以轻松创建类似于ChatGPT的语言模型官方网址:https://lamini.ai/blog/introducing-lamini...

潘多拉 Pandora一个开源的 ChatGPT 命令行工具

潘多拉 Pandora一个开源的 ChatGPT 命令行工具

潘多拉 Pandora,一个开源的 ChatGPT 命令行工具,可直接通过 access token 来访问网站功能。后端优化,绕过 Cloudflare,提升访问速度。主要用于解决以下问题:- 高峰期能绕过官方限制,继续使用;- 应答速度直逼 PLUS;- 官方故障的时候,它可能还是能跑;- 多模...

Midjourney  prompt 提示词生成工具

Midjourney prompt 提示词生成工具

基于GPT-2用25万条Midjourney的promps训练出来的小模型,可以生成高质量的Midjourney  prompt。其中包含用户在一个月内向Midjourney文本到图像服务发出的 250k 文本提示。此提示生成器可用于自动完成任何文本到图像模型(包括 DALL·E 系列)的...

Palantir 将 AI和LLMs 应用于战争军事中(大语言模型用于军事辅助作战)

Palantir 将 AI和LLMs 应用于战争军事中(大语言模型用于军事辅助作战)

Palantir 将 AI和LLMs 应用于战争军事中Palantir 正在研发的 AIP汇集了最新的LLMs和尖端AI技术,尝试以合规的方式使用高度敏感环境的数据和模型,为国防机构提供AI技术优势。AIP包括了用于数据发现、准备和集成的一套工具,以及自然语言处理、计算机视觉和机器学习等相关技术。P...

Midjourney中英双语图文辞典,中英双语图文提示词大全PDF

Midjourney中英双语图文辞典,中英双语图文提示词大全PDF

大名鼎鼎的Midjourney   以文生图,对中文提示词不是很友好,英文提示词相对效果更好一些,这个PDF是中英文对照。从风格,材质,灯光,艺术,摄影技巧,情绪,中国元素,特效等方面,给出了超过300个提示词,方便大家生成想要的图片下载地址:https://www.aliyun...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。