一本乱糟糟的活页夹
上期我们介绍了如何在昇腾环境下使用 vLLM 进行大语言模型的推理部署，但当前 vLLM 在昇腾环境下性能实在不理想。而本期将是使用 Llama.cpp 作为后端，使用 GPUStack 一键运行大模型的推理部署。若使用非容器环境，则除去 Llama.cpp，还可选择更为理想的华为 MindIE 框架进行部署。GPUStack 的本机安装官方仅支持 Llama.cpp，Docker 部署同时支持 MindIE 和 Llama.cpp。
距离上次认真写点什么已经近两个月了，咕咕真是抱歉呐……下次还敢！
回看此前的文章，实在不甚满意。未来的博文将会更注重 实用性 和 简洁明了，不再事无巨细地描述每一个细节。希望能给未来翻阅的自己留下些真正有用的宝藏，当然也希望能给你带来更好的阅读体验。
这是昇腾推理系列文章的第一篇，在这个系列中我将会依次记录三个目前主流的大语言模型推理实现方式在昇腾环境下的部署过程，依次是 vLLM（针对非 GGUF 模型）、Llama Box(GPUStack，针对 GGUF 模型) 以及华为昇腾生态中的 MindIE 框架。
Web 开发过程中不可避免的需要不断的测试端点，今天比较一下各种测试方式，顺便记录一下 Idea(大部分 Jetbrains IDE)中如何使用自带的 HTTP Client 快速测试端点。
省流：简单端点推荐使用 HTTP Client，复杂端点、特殊端点（文件上传下载、二进制相关、请求体结构复杂/包含特殊字符等）建议使用 Apipost 等专门的测试工具，搭配 Idea 插件效率也是很高的。
| 测试方式 | 优点 | 缺点 |
|---|---|---|
curl |
- 快速 - 信息丰富 |
命令行操作不直观，完全掌握有难度 |
| Postman 类应用 | - 可视化操作入手简单 - 测试工作规范性好 - 多人协作支持完善 |
需要安装软件，点来点去操作繁琐 |
.http 文件测试 |
- IDE集成，和项目代码集成度高 - 测试工作规范化好 - 多人协作通过Git同步也还不错 |
需要 IDE 支持，精通学习成本高，有 Bug |
粗略记录一下 Linux SSH 登录的一些常用配置。本文基于 Ubuntu 22.04 LTS (openssh-server < 1:9.0p1-1ubuntu1) 版本。
通常情况下，常用的 Linux 发行版在系统部署阶段都可以选择安装 OpenSSH Server，如果没有安装，可以通过包管理器安装。
提示
从 Ubuntu 22.10 (openssh-server 1:9.0p1-1ubuntu1) 开始，OpenSSH Server 默认配置为使用 systemd socket 激活，服务名从 sshd 修改成了 ssh。因此监听就转交给了 ssh socket，服务本身不再监听端口。如果需要修改监听端口，需要修改 ssh.socket 的配置。
https://discourse.ubuntu.com/t/sshd-now-uses-socket-based-activation-ubuntu-22-10-and-later/30189
雪花算法是 Twitter 开源的分布式 ID 生成算法，它具有这些特点：
雪花算法通常使用一个 64 位长整型来存储一个 ID，这 64 位中包含了时间戳、机器 ID 和序列号三部分：
二进制下形似这样（使用空格分割便于阅读）：
0 11001010011010101011001110100010011111110 0000000001 000000000001
↑ ↑ ↑ ↑
1 2 3 4本篇文章常用功能和配置为主，简单记录一些 Spring Boot 应用的配置细节。
application.propertiesapplication.properties 或 application.yml 是 Spring Boot 应用的基础配置形式，两种格式只是形式不同，配置的内容是一样的，由于我个人的使用习惯，就只以 properties 格式为例了。
| 配置项 | 说明 |
|---|---|
server.port |
服务端口 |
server.address |
绑定地址 |
server.servlet.context-path |
上下文路径 |
spring.application.name |
应用名称 |
单独开一篇不定期更新的文章，杂乱记录一下一些使用 VuePress Theme Hope 的细节日志和踩坑记录。
环境：直接使用 Hope 主题，安装时配置为博客站点，版本 2.0.0-rc.67。VuePress 版本 2.0.0-rc.19。使用 WebStorm 开发。