幽狐阁 - AI
type: channel
link: https://youhuge.site/tag/AI/
items: 一眨眼
items: 最近关于大模型的探索历程
items: 录取通知书到手
items: 初中毕业惹，呆在家里玩

一眨眼
type: item
date: 2026-02-10T05:53:00+08:00
description: 一眨眼，就临近春节了。回看初入高中的这第一个学期，我学到了不少科学文化知识，结交到了新的朋友，见识到了许多以往未曾见的。在这几个月里，发生了许多的事，就比如：校运会、元旦晚会等。校运会嘛，其实也没啥好玩的，除了参加项目（非自愿）就是看着别人参加项目，还有来回搬东西。给我的感觉就像是一件不怎么重要的事，唯一值得说道的就是不上课了。元旦晚会嘛，看了三天的晚会，前两天是比赛，最后一天就是真正的元旦晚会了，有歌舞、课本剧、还有一些社团的表演，最后的节目是走秀，就是一堆 Cos 上去转一圈，有游戏角色、动漫、动画的角色，我没怎么数过数量，约莫是二十往上的数量。在元旦晚会之前的约有一两周左右，分班了。我的最最最好的兄弟（兼同桌）去了一班，我则是留在了原来的七班。对于这一点，我没有异议，毕竟从文理上说就不可能会在同一个班，他是大理，我是大文。原本期待着我的好朋友抱着书本和背着书包进教室来和我组同桌，奈何他不给力，落在了十五班，我还有一个朋友，他则是落在了二十一班。我坐在我原来的位置上，看着人来人往，清闲自在，和不认识的同学组了同桌。我们坐在第二组倒数第二桌，这位置算是悠闲，离老师距离远，被点名几率不高，老师也不常走到后面，所以可谓是惬意。新的同学、新的舍员，新的老师。嗯，还行吧，也就那样。往后的日子里，关系还算融洽，没有矛盾之类的琐事。学习也还好，在班里算是靠前的，能够进前二十自主选位置就行了，不必追求什么。至于我的其他朋友，有七八个是进了十三班。这可不是什么好地方，因为从这个班分出来的人都自称“脱北者”，上课不敢懈怠，有QQ消息响时全员统一抬头，看看是不是自己又被点了，作业也很多。我的那个进十五班的朋友说，要是再呆在那个班他就要去实践自由落体运动了。进了十三班的，其中就有我的好朋友，他原是八班，现在过着压力爆大的生活，如同身处某个半岛的北国一般。他原来的班主任人很好，和学生关系都不错，如今是我的班主任。十三班班主任嘛，难评。只能说是非常关系学生的一举一动并很在意学生吧。我的文科班生活。日常作息：起床、吃早餐、学习、吃午餐、睡觉、起床、学习、吃晚餐、学习、吃夜宵（不固定）、学习、洗澡、睡觉。也就那样，没有什么不同。不一样的是，学习。上课氛围轻松，没有什么压力，平常作业很少，周末作业也相对来说不算多。可能是我们的数学都很烂吧，班主任是数学老师。数学课还算轻松，学得进去一些，也就三角函数会得很多了。地理和政治是北海支教的，满一年就走了。地理走了就走了吧。政治嘛，她教得很好，我们都不想让她走，她答应我们带完下个学期才走。内心还是感到难过的。每个月都有联考，已经习惯了。每次联考的成绩都在接受范围之内，没有什么太大的目标，不是倒数就行。期末成绩六百多一些，感觉还算是可以吧，不是倒数就行。语文拉了坨大的，作文是议论记叙二选一，不知怎么的，脑子一抽，写了记叙，还写得很烂。得了个四十多一点。最不好的是化学，二十九。化学老师：“不是零分就行。”历政地：七十八、七十八、七十七。嗯，及格了。假期生活嘛，基本是美国作息了，白天睡，晚上玩。捣鼓自己的小项目，一个 AI 对话网站，不止对话，集成工具调用、记忆、知识库、 skill 、定时任务、邮件提醒，及开放 API 平台。整体来说功能还算完备吧，还在加功能和打磨。要注意的是，这个项目99%的代码都是 AI 写的，我起主导、监督和质检。混用了许多 AI IDE 。主要是 Cursor 和 Trae 国际版。模型是 GPT 、 Gemini 和 Claude 。Claude 是前期搭建框架是用得多，现在很少用了，基本上都是 GPT 和 Gemini 。GPT 用来修 Bug 还蛮好用的，写文档也是，比 Gemini 详细多了。部署上线的版本没有明显问题，发现的都是使用时的小问题，修修就好了。网站集成多个模型， DeepSeek 、 Longcat 、 Mimo 、 Step 。主要使用的是 DeepSeek ，原因是它比较廉价且比较稳定，效果也还好，智商在线。新功能上线时也最先适配 DeepSeek 。目前项目主要有我和我的朋友在使用，都没反馈有什么大问题。对于设备的适配，我的选择是桌面端优先，移动端其次，毕竟主要都是在桌面端使用的，移动端只有在不在家时才会用。项目在构建前都要先经过 ESLint 的检查，我设置的检查规则还是比较严格的，有问题就不给过构建，所以能够 Git 提交的更改都是没有什么问题的（除了没发现的功能性 Bug ）。这也算是我使用 AI 写东西的一点心得吧。项目是闭源的，迄今为止已经有了六百三十一次提交，总文件数有四百五十九，总代码行数有九万两千一百二十六行。ps：文件和代码行数均使用Fuck-u-Code统计也没有什么想分享的了。嗯，就这样了。

最近关于大模型的探索历程
type: item
date: 2025-08-24T02:53:19+08:00
description: 假期就快到头了，24号开学，大部分时间都在研究大模型相关的东西：LoRA微调。持续预训练。模型量化。模型本地部署。在VLLM里部署模型。Function Calling用Trae写了个LLM-CLI工具（Python）。发现这些东西都好有意思捏，特别是微调大模型。自己做数据（使用我用AI写的数据集转化工具），租GPU服务器训练（使用LLaMA-Factory框架的webui进行训练），然后格式转换（HF->GGUF | llama.cpp）、模型量化（llama.cpp）、下载到本地塞进LM Studio里运行。之后就是探索VLLM部署（本地WSL2 Ubuntu24系统）模型了，按照网上的教程走，我发现网上的教程有不对。首先是时间太久了，我用的RTX50系显卡，现在的VLLM已经支持12.8的CUDA了，但是网上的教程却没有跟进。教程里标注着需要编译VLLM来支持12.8的CUDA，但是现在只需要执行简单的pip install vllm就行了。研究完VLLM之后就是Function Calling了，核心就是让大模型能够调用工具，我使用的基座模型是Qwen3系列的，要VLLM支持Function Calling的话就要在启动命令中加入--enable-auto-tool-choice和--tool-call-parser hermes，前者是支持模型输出tool_call的内容，后者是指定解析模板，我查阅了Qwen3的官方文档，找到了支持的模板信息，就是命令中的hermes。加入这两行命令之后VLLM就能接收客户端的tools列表的信息了。在研究VLLM时CLI工具就已经开始写了。编程工具是Trae（一个AI编辑器），环境是UV的虚拟Python环境。UV还支持构建Python包，我的CLI工具已经能够支持在命令行中直接调用了。我的CLI工具支持：模型对话。Function Calling权限管理。模型对话故名思意，Function Calling则是内置了两个工具（目前）：Time：查询时间。Web\_scraper：网页内容获取。模型调用时需要经过权限验证，可以在控制台批准调用。批准有两种方式（如果此工具未授权给模型）：单次批准：只准许这一次的调用，下次调用依旧需要手动确认。永久批准：将工具加入白名单中，往后模型调用时不需要手动的批准；支持取消永久批准，即移除白名单。除此之外我还写了一个私有的包管理器，可以用来安装/升级/卸载我的私有包，这些包托管在我的私有Onedev仓库中。管理器有权限验证，只有在Onedev里有账号并且有权限才能安装/升级我的包。我觉得AI编辑器真是太好用了，可以用来很轻松的实现我的想法，也能让我在使用和探索时学到很多和编程相关的知识。现在我正在进行一个Next.js网站的开发，模仿的是OpenwebUI和ChatGPT。

录取通知书到手
type: item
date: 2025-07-28T11:26:00+08:00
description: 早上9:40左右到校拿录取通知书，是县里的第一高中。正面：反面：通知书的样子感觉还可以，简洁。听朋友说好像是8月24号开学...不开心 :(仅有这个通知书，没作业，开心 :)除此之外，对于AI的研究我有一些新的点子，知识蒸馏，拿原始的数据投喂A模型，再从A模型蒸馏数据至B模型，两个模型的参数大小一致，为此一些小工具已经捏出来可以用了awa。实验实验再分享结果ouo。

初中毕业惹，呆在家里玩
type: item
date: 2025-07-01T21:45:00+08:00
description: 2025年6月26日下午17时左右，考完了所有的科目后收拾行李听完最后的离校安全教育和告别之后离开了呆了差不多两年半的学校。这几天都呆在家里面看B站，玩游戏，睡觉，没有上课和作业的烦恼，就是晚上做梦有时会梦到在学校里面，然后不知道干啥。计划着换一张显卡来整AI，然后帮了几个朋友搞了他们自己的电脑主机。本来想着写一篇长长的总结文章的，但是因为某种吸引我的不可抗拒因素导致没写。关于AI，我摸索了很久，训练了10个版本的模型，每一次训练都比前几次效果要好，数据量也随着版本的迭代而增大。我是用Qwen3-8B作为基座模型的，再投喂我的训练数据，训练出一个符合我需求的模型。Qwen3系列的模型不是有“深思”和“速行”两种模式嘛，一开始研究的时候都只能在训练结束后保留思考的模式，不思考没留下，虽然可以硬关闭思考模式，但是往往效果是不怎么好的，还是会吐出思考的内容（因为思考的内容我也进行了干预，所以很简单就能看出来）。然后继续深入研究怎么保留原始模型的这两种模式，就发现可以在user的输入部分的结尾加/think和/no_think来控制模型的模式切换。在对数据集进行全部重构后重新训练模型，发现可以控制思考和不思考的模式了。除了这些，也就只有和朋友玩玩游戏了，不玩时就刷B站，捣鼓些好玩的东西......