分享一下最近体验本地部署deepseek的心得

高中三年级 发布于 2025-03-14 09:15:41 回帖: 44 | 评论: 10 | 查看: -

首先,关于硬件配置。实际上没有官方说的要求那么高。我用的是ollama+chatbox 和cherry studio的方式,分别在本地测试了7b、14b、32b、70b的版本。

我的电脑配置比较老:

CPU:AMD R7 3800X
内存:32G DDR4-3733
硬盘:三星970evo
显卡: RTX 3090

在这个配置上,除了70b跑起来略感吃力以外,其他版本都没问题,14b以下的版本甚至非常丝滑;

比较以后我选定32b版本作为常用本地版本,一方面是速度可以接受的情况下本地可以部署的最大参数模型,另一方面是因为32b版本是用“千问”蒸馏的版本,相较于70b来说对中文的理解逻辑更好,对于绝大多数情况已经足够用。


其次,关于本地知识库。个人建议玩deepseek一定要做本地知识库或者调用别人训练好的知识库作为辅助。打个比方说,没有本地知识库,deepseek就是个思维缜密的聪明人,如果结合本地知识库,它就变成了一个特定领域的专家了。

我用cherry studio 做了个“宝石学”知识库,只喂给它《系统宝石学》《宝石学教程》。

然后我问Deepseek一个问题:4C相同的2颗钻石,交易价格差30%,可能是什么原因?
没挂知识库的情况下,它的回答大致是:季节因素、交易环境、品牌背书、渠道层级等等;而挂上“宝石学”知识库以后,它回答内容增加了:荧光、台冠比、相同净度下包裹体的种类、和位置差异,是否具备“非冲突地区产地证明”等等。


最后,关于deepseek与真人的可替代性。

我训练了一个“法律专家”的本地知识库,喂给它一大堆法律条文,还有很多优秀法律文书的范本,然后用我以往一个民事诉讼的案件,让它写出原被告双方的起诉书、答辩状、质证意见等。

总的来说,deepseek写的起诉书很规范,格式严谨,内容全面,逻辑清晰。

比如一个案子有10个关键点,我们一般的律师可能只会想到7-8个,尽管另外的可能并不是特别重要,但deepseek能非常全面地罗列出来。

相对于经验丰富的律师,deepseek在对内容要点的重要性侧重上略有不足,而且不太会运用后续诉讼进程逐步释放弹药,更不会采用给对方挖坑的诉讼策略。不过用deepseek作为防守一方,它倒是有可能预判到一些对方埋的雷。

总的来说,一个本地部署的deepseek 32b版本基本上胜过了3年以内从业经验的新手律师。

网站温馨提示:
  • 1. 用户在珠宝大家坛发布的内容仅为发布者个人的立场或观点,并不代表珠宝大家坛的立场或观点。作为内容的发布者,需自行对所发布内容负责,因发布内容引发的一切纠纷,由该内容的发布者承担全部法律及连带责任。珠宝大家坛不承担任何法律及连带责任。
    2. 关于侵权:请阅读使用协议中的侵权举报条款,此为官方的侵权投诉唯一渠道,其他渠道视为无效申请。该服务为免费,大家坛拒绝任何性质的有偿删帖,不会和任何公关公司合作。
    3. 本站为珠宝网站,请各位坛友不要在本站谈论政治和社会性话题,更不能攻击政府,否则后果非常严重,请务必遵守。
等71人 赞同
只看该作者
回帖
1楼
初中三年级

收藏,一会儿来学习

2楼
高中三年级 剑心通明

收藏

3楼
会分析运用起来的都是大神
4楼
大学四年级

好奇,怎样喂DS知识库?

: +1,这个不大会
: 用cherry studio,可以选自己添加知识库,然后在界面里把知识文件、网址什么的拖拽进去就行了。
5楼
研究实习员

技术贴,顶一下👍

6楼
高中二年级

感兴趣,从哪能学?

7楼
大学三年级 世事洞明皆学问,人情练达即文章

优秀!

8楼
辅导员
怎么建立本地知识库?
9楼
高中二年级

技术贴,值得好好学习!

可以说下操作步骤,如何投喂deepseek吗

: 抖音上有教程,搜“deepseek 本地知识库”我用的是cherry studio方案
回复 : 优秀,感谢分享~赠金币
: 学习
10楼
高中三年级

学习。我得关注你。你发的贴我都不想错过

11楼
大学二年级

优秀,💓

12楼
研究生一年级
收藏,别删好吗,另外问下怎么喂知识库呢
14楼
研究生一年级

非常非常有用!如果能介绍一下怎么具体训练就更好了

15楼
高中三年级
本地知识库怎么训练求教程
16楼
大学四年级 平安喜乐 万事无忧 向阳而行 向美而生

收藏,技术指导贴,慢慢学习

17楼
大学二年级

对呀,我也想知道怎么投喂?如何做到的?谢谢分享……

18楼
大学一年级

谢谢楼主写一篇怎么高效使用ds的攻略,供小白们学习🫡🫡🫡

19楼
大学三年级

感谢分享

20楼
研究实习员

展开讲讲怎么训练本地知识库

21楼
高中二年级

学习学习

22楼
研究实习员
看来初级律师,会计师真的很容易被替代,这些职业以前都是以为有专业护城河的
: 初级的律师、会计、药剂师、内科医生、营养师,这些原本有职业门槛的基本都被干掉了,如果AI再发展一些,年轻人找工作就更难了。
23楼
研究生一年级
我们在某个科技研究方面测试了一下,给的方案非常全面,也有一定深化能力,比很多本硕学生强很多,但前沿创造性方面比较弱。
: 目前DS的知识库是到2024年,所以要通过本地知识库来丰富它的知识储备
回复 : 嗯,体验总结,特别高端的和特别初级的,都不太用得上。但完成基础性工作,实在很优秀。
24楼
小学六年级

感谢分享

25楼

好厉害,也想学习

26楼
二级副教授

我们最近也在建设和投喂自己集团的DS,不过涉及到法律上的风险,所以没办法在网络上分享,会用且用好了,DS可以简化太多的费时费人的工序。但上个月把CRS给搞出毛病了,这个月忙着修复

27楼
高中二年级
感兴趣,围观
28楼
初中一年级

技术人,顶一下

29楼
研究生一年级

感谢分享!跟着时代的步伐加强学习