网站技术

网站技术

16G显卡也能调大模型?显存消耗真相揭秘

16G显卡也能调大模型?先搞懂显存消耗的3大核心原因 (一)引言:为什么显存是大模型微调的“拦路虎”? 大家好,我是七七,看到经常有网友:“博主,我用16G显卡微调7B模型,一跑就报OOM(显存溢出),是不是必须换24G以上的卡?”“同样是微调13B模型,为什么别人单卡能跑,我却...

16G显卡也能调大模型?显存消耗真相揭秘

16G显卡也能调大模型?先搞懂显存消耗的3大核心原因 (一)引言:为什么显存是大模型微调的“拦路虎”? 大家好,我是七七,看到经常有网友:“博主,我用16G显卡微调7B模型,一跑就报OOM(显存溢...

校园网不同子网如何实现LocalSend跨子网组播发现?

各位好久不见~下半年又是忙论文又是忙项目的,实在是没什么时间更新笔记了。趁着今天有点空闲,咱来写写最近抽空解决的一个小网络问题叭(゜ー゜)。 0. 问题背景 咱实验室有一台连接着打印机的计算机,我...

微调 + RAG 组合方案:1+1>2 的大模型应用技巧

微调 + RAG 组合方案:1+1>2 的大模型应用技巧 微调 + RAG 互补发力,解锁大模型 1+1>2 效果 大家好,我是七七!上个月帮一家连锁药店做智能客服项目,一开始踩了个大坑:只用微调...

Spring AI学习:基本配置&聊天客户端

创建spring boot项目并选择ai功能: spring boot版本不能过高,4.x.x暂时不支持ai 非本地部署可以使用openai,本地部署可以使用ollama。对应的,在创建项目初(上...

剑指offer-65、矩阵中的路径

题目描述 请设计⼀个函数,⽤来判断在⼀个矩阵中是否存在⼀条包含某字符串所有字符的路径。路径可以从矩阵中的任意⼀个格⼦开始,每⼀步可以在矩阵中向左,向右,向上,向下移动⼀个格⼦。如果⼀条路径经过了矩...