docs(readme): 新增初次部署清单与常见问题；统一 root 执行写法；清除 markdown 粗体标记与残留真实库名
This commit is contained in:
+34
-34
@@ -1,15 +1,15 @@
|
||||
# contracts/model-formats.md — 模型与动作格式契约 v0.4.0
|
||||
# contracts/model-formats.md - 模型与动作格式契约 v0.4.0
|
||||
|
||||
## 1. 角色模型（models）
|
||||
|
||||
**系统以 GLB / VRM 为主力格式**（两个客户端都原生加载），其余格式一律在服务端转换。
|
||||
|
||||
| 格式 | 扩展名 | 支持级别 | 服务端行为 |
|
||||
|---|---|---|---|
|
||||
|--|--|--|--|
|
||||
| glTF Binary | `.glb` | **主力（P0）** | **直接导入**，不重编码 |
|
||||
| VRM | `.vrm` | **主力（P0）** | **直接导入**；= GLB + VRM 扩展（humanoid / 表情 / springBone / meta） |
|
||||
| glTF | `.gltf` (+ `.bin`, 贴图) | P1 | 直接导入（分离文件在 zip 内可用；单文件上传会缺 .bin） |
|
||||
| MMD 压缩包 | `.zip` | P1 | **自动搜索包内可用模型**：优先直接导入 `.vrm`/`.glb`/`.gltf`，否则转换 `.pmx`/`.fbx`，见 §1.1 |
|
||||
| glTF | `.gltf` (+ `.bin`, 贴图) | P1 | 直接导入（分离文件在 zip 内可用；单文件上传会缺.bin） |
|
||||
| MMD 压缩包 | `.zip` | P1 | **自动搜索包内可用模型**：优先直接导入 `.vrm`/`.glb`/`.gltf`，否则转换 `.pmx`/`.fbx`，见 1.1 |
|
||||
| MMD 模型 | `.pmx` | P2（输入） | 服务端转换（优先 GLB、其次 VRM）；单文件上传无贴图 |
|
||||
| FBX | `.fbx` | P2（输入） | 服务端转换（优先 GLB、其次 VRM） |
|
||||
|
||||
@@ -21,18 +21,18 @@
|
||||
#### 单文件上传
|
||||
|
||||
| 输入 | 行为 |
|
||||
|---|---|
|
||||
|--|--|
|
||||
| `.glb` / `.vrm` | 直接导入；`.glb` 若含 `VRMC_vrm`/`VRM` 扩展会被识别为 VRM |
|
||||
| `.gltf` | 直接导入（外部 `.bin` / 贴图不在同一文件里，会缺资源） |
|
||||
| `.pmx` / `.fbx` | 转换：`ASSIMP_BIN` 导出 → 回读校验（见下） |
|
||||
| `.pmx` / `.fbx` | 转换：`ASSIMP_BIN` 导出 -> 回读校验（见下） |
|
||||
|
||||
#### 压缩包上传（自动搜索）
|
||||
|
||||
不再"只找 `.pmx`"，而是**按格式优先级自动搜索包内可用模型**：
|
||||
|
||||
```
|
||||
.vrm → .glb → .gltf （直接导入，优先）
|
||||
.pmx → .fbx （需要转换）
|
||||
.vrm ->.glb ->.gltf （直接导入，优先）
|
||||
.pmx ->.fbx （需要转换）
|
||||
```
|
||||
|
||||
同一优先级内：`MODEL_CONVERT_PMX` 指定的文件名优先，其次目录最浅，最后文件最大。
|
||||
@@ -41,31 +41,31 @@
|
||||
#### 转换与校验（PMX / FBX）
|
||||
|
||||
| 步骤 | 规则 |
|
||||
|---|---|
|
||||
| 1. GLB 直出 | `assimp export → .glb`，成功后把 Assimp 写成外部 URI 的贴图**内嵌**进 BIN chunk |
|
||||
| 2. glTF 打包 | 上一步失败时 `assimp export → .gltf`，由 `gltf-packer.ts` 把 `.gltf` + `.bin` + 贴图自行合成 GLB |
|
||||
|--|--|
|
||||
| 1. GLB 直出 | `assimp export ->.glb`，成功后把 Assimp 写成外部 URI 的贴图**内嵌**进 BIN chunk |
|
||||
| 2. glTF 打包 | 上一步失败时 `assimp export ->.gltf`，由 `gltf-packer.ts` 把 `.gltf` + `.bin` + 贴图自行合成 GLB |
|
||||
| 3. VRM 封装 | `MODEL_CONVERT_FORMAT=vrm` 时，在 GLB 之上补 `VRMC_vrm` 扩展（humanoid 骨骼来自骨骼名映射，见 `model-inspector.ts` 的候选表，与 Godot 客户端一致）；**humanoid 不全则回退交付 GLB**，缺失骨骼写进 `conversion_note` |
|
||||
| 回读校验 | 每一步产物都要 `assimp info` 回读。Assimp 会"写出损坏文件"（实测 FBX 导出退出码 11、产物回读报 `FBX-DOM no Objects dictionary found`），只看退出码会把坏文件入库 |
|
||||
| 说明 | 每次尝试都写进 `models.conversion_note`（例如 `Hatsune Miku.pmx → GLB，已内嵌 2 张贴图`） |
|
||||
| 失败 | 包内没有可用模型、Assimp 不可用、两条路径都失败 → **HTTP 422**，不产生模型记录 |
|
||||
| 说明 | 每次尝试都写进 `models.conversion_note`（例如 `Hatsune Miku.pmx -> GLB，已内嵌 2 张贴图`） |
|
||||
| 失败 | 包内没有可用模型、Assimp 不可用、两条路径都失败 -> **HTTP 422**，不产生模型记录 |
|
||||
|
||||
#### 入库后（自动）
|
||||
|
||||
| 项 | 说明 |
|
||||
|---|---|
|
||||
|--|--|
|
||||
| 状态 | **一律 `pending`（待审核）**：模型必须审核通过后才可能被客户端消费，见 `database.md` 状态机 |
|
||||
| 分析 | `model-inspector.ts` 计算面数 / 顶点数 / 贴图 / **骨骼树** / humanoid 覆盖 / 可驱动性，写入 `models.stats`，供审核界面展示 |
|
||||
| 缩略图 | `model-thumbnail.ts` 纯 TS 光栅化生成 PNG，写入 `models.thumbnail_asset_id`（失败不影响入库） |
|
||||
| 默认模型 | 只在**审核通过并勾选"同时设为默认"**（或 `POST /api/models/:id/primary`）时设置，并把身份写进源码 `src/config/default-model.ts`，见 `data-models.md` §4.1 |
|
||||
| 默认模型 | 只在**审核通过并勾选"同时设为默认"**（或 `POST /api/models/:id/primary`）时设置，并把身份写进源码 `src/config/default-model.ts`，见 `data-models.md` 4.1 |
|
||||
|
||||
#### 其它约定
|
||||
|
||||
| 项 | 规则 |
|
||||
|---|---|
|
||||
|--|--|
|
||||
| 确定性 | **转换产物不是字节级确定的**：同一份 zip 连续转换 3 次得到 3 个不同 sha256（大小相同，BIN chunk 有十几字节浮动）。因此默认模型种子以**上传压缩包的 sha256** 为匹配键，产物 sha256 只作记录 |
|
||||
| 安全 | 解压前逐条校验路径，拒绝绝对路径与 `..`（zip-slip）；拒绝加密条目；只支持 STORE / DEFLATE |
|
||||
|
||||
**VRM 优先**的选取顺序见 `data-models.md` §4.1。
|
||||
**VRM 优先**的选取顺序见 `data-models.md` 4.1。
|
||||
|
||||
VRM 版本识别：读取 GLB 的 JSON chunk，检查 `extensions.VRM`（0.x）或
|
||||
`extensions.VRMC_vrm`（1.0），写入 `models.vrm_version`。
|
||||
@@ -73,9 +73,9 @@ VRM 版本识别：读取 GLB 的 JSON chunk，检查 `extensions.VRM`（0.x）
|
||||
## 2. 动作数据（motions）
|
||||
|
||||
| 格式 | 扩展名 | 预处理支持 | 说明 |
|
||||
|---|---|---|---|
|
||||
| BVH | `.bvh` | ✅ 内置纯 TS 解析器 | 文本格式，服务端直接解析 → FK → MediaPipe33 |
|
||||
| VMD | `.vmd` | ✅ 内置纯 TS 解析器 | MikuMikuDance 动作数据（二进制，Shift-JIS 骨骼名 + 四元数关键帧）；服务端按标准 MMD 骨架做 FK + 腿部 IK 求解 → MediaPipe33，见 §2.3 |
|
||||
|--|--|--|--|
|
||||
| BVH | `.bvh` | ✅ 内置纯 TS 解析器 | 文本格式，服务端直接解析 -> FK -> MediaPipe33 |
|
||||
| VMD | `.vmd` | ✅ 内置纯 TS 解析器 | MikuMikuDance 动作数据（二进制，Shift-JIS 骨骼名 + 四元数关键帧）；服务端按标准 MMD 骨架做 FK + 腿部 IK 求解 -> MediaPipe33，见 2.3 |
|
||||
| FBX | `.fbx` | ⚠️ 需 Assimp | 服务端调用 `assimp` 可执行文件导出为 BVH/glTF 后再解析；未安装则 `preprocessState=failed` |
|
||||
| glTF/GLB | `.gltf` / `.glb` | ⚠️ 需 Assimp | 同上 |
|
||||
| 关键点 JSON | `.json` | ✅ 直通校验 | 已是 `mediapipe33@0.1.0` 结构，仅做校验与归一化 |
|
||||
@@ -86,11 +86,11 @@ VRM 版本识别：读取 GLB 的 JSON chunk，检查 `extensions.VRM`（0.x）
|
||||
- 一行结构：
|
||||
|
||||
```json
|
||||
{"frame":0,"timeMs":0.0,"points":[[0.5,0.5,0.0,1.0],"…33 项"],"angles":[1.0,"…9 项"]}
|
||||
{"frame":0,"timeMs":0.0,"points":[[0.5,0.5,0.0,1.0],"...33 项"],"angles":[1.0,"...9 项"]}
|
||||
```
|
||||
|
||||
- `points[i] = [x, y, z, confidence]`，语义与 `websocket-keypoints.md` 解码后完全一致
|
||||
- `angles` 为 `skeleton-topology.md` §5 定义的 9 个关节角余弦，顺序固定：
|
||||
- `angles` 为 `skeleton-topology.md` 5 定义的 9 个关节角余弦，顺序固定：
|
||||
`[shoulder_L, shoulder_R, elbow_L, elbow_R, hip_L, hip_R, knee_L, knee_R, spine]`
|
||||
- 帧率：保留源帧率；`fps` 写入 `motions.fps`，缺省 30
|
||||
- 坐标系换算：所有 3D 动作数据统一转到 **Y 轴向上、右手系、骨盆为原点**，
|
||||
@@ -102,7 +102,7 @@ VRM 版本识别：读取 GLB 的 JSON chunk，检查 `extensions.VRM`（0.x）
|
||||
### 2.2 BVH 关节名映射（默认表，可在 `web-server/src/preprocess/joint-map.ts` 扩展）
|
||||
|
||||
| MediaPipe 点 | 常见 BVH 关节名（不区分大小写，按序匹配） |
|
||||
|---|---|
|
||||
|--|--|
|
||||
| 0 nose | `Head`, `Neck1`, `Head_Nub` |
|
||||
| 11 left_shoulder | `LeftShoulder`, `LeftArm`, `LShoulder` |
|
||||
| 12 right_shoulder | `RightShoulder`, `RightArm`, `RShoulder` |
|
||||
@@ -119,7 +119,7 @@ VRM 版本识别：读取 GLB 的 JSON chunk，检查 `extensions.VRM`（0.x）
|
||||
| 31 left_foot_index | `LeftToeBase`, `LeftToe`, `LToe` |
|
||||
| 32 right_foot_index | `RightToeBase`, `RightToe`, `RToe` |
|
||||
|
||||
未映射到的点按 `skeleton-topology.md` §5 的层级由父节点推算，
|
||||
未映射到的点按 `skeleton-topology.md` 5 的层级由父节点推算，
|
||||
并置 `confidence` 降低（`0.5`），表示估算而非实测。
|
||||
|
||||
### 2.3 VMD（MikuMikuDance）解析约定
|
||||
@@ -130,13 +130,13 @@ float32×3 位移、float32×4 旋转四元数、64 字节贝塞尔插值参数
|
||||
灯光 / 自阴影 / IK / 可见性段落。**VMD 不含骨骼长度**，只有旋转（少数骨骼带位移），
|
||||
因此服务端必须自带一套标准 MMD 骨架才能做 FK。
|
||||
|
||||
处理链路：`vmd-parser.ts`（二进制 + Shift-JIS + 贝塞尔插值）→ `mmd-skeleton.ts`
|
||||
（标准骨架）→ `mmd-pose.ts`（FK + 腿部 IK）→ `retarget.ts` 的
|
||||
处理链路：`vmd-parser.ts`（二进制 + Shift-JIS + 贝塞尔插值）-> `mmd-skeleton.ts`
|
||||
（标准骨架）-> `mmd-pose.ts`（FK + 腿部 IK）-> `retarget.ts` 的
|
||||
`worldFramesToKeypointFrames()`（与 BVH 完全共用骨盆归零 / 自适应缩放 / 图像空间投影 /
|
||||
9 个关节角）。固定 **30 fps**（MMD 帧率恒定，上传时填写的 `fps` 被忽略）。
|
||||
|
||||
| MediaPipe 点 | MMD 标准骨骼 | 说明 |
|
||||
|---|---|---|
|
||||
|--|--|--|
|
||||
| 0 nose | `頭` | 取头骨根部再上移，近似面部中心 |
|
||||
| 11 / 12 left/right_shoulder | `左腕` / `右腕` | 肩关节（不是 `左肩` 骨骼） |
|
||||
| 13 / 14 left/right_elbow | `左ひじ` / `右ひじ` | |
|
||||
@@ -149,12 +149,12 @@ float32×3 位移、float32×4 旋转四元数、64 字节贝塞尔插值参数
|
||||
骨骼名按 `mmd-skeleton.ts` 的别名表归一（含全角 `ＩＫ` / 半角 `IK` 两种写法）；
|
||||
未纳入标准骨架的骨骼（裙摆、物理、表情等）被忽略但会计数并写入预处理日志。
|
||||
|
||||
**腿部驱动判定**：`足ＩＫ` 轨道存在非零位移 → 走 IK（用两骨骼解析 IK 把踝拉到 IK
|
||||
**腿部驱动判定**：`足ＩＫ` 轨道存在非零位移 -> 走 IK（用两骨骼解析 IK 把踝拉到 IK
|
||||
目标点，膝盖朝角色正面弯，不可达时收敛为伸直）；否则走 FK（部分动作数据把腿烘焙成
|
||||
FK 旋转）。两份示例文件分别命中两种路径。
|
||||
|
||||
**坐标系**：MMD 原生是左手系（正面为 -Z），本项目通路是右手系（正面为 +Z、+X 为角色
|
||||
左侧）。VMD 的四元数与位移统一做 Z 镜像（`(x,y,z,w) → (-x,-y,z,w)`、位移 z 取反）后
|
||||
左侧）。VMD 的四元数与位移统一做 Z 镜像（`(x,y,z,w) -> (-x,-y,z,w)`、位移 z 取反）后
|
||||
送入标准骨架。该选择由真实数据对照实验确定：腿部烘焙为 FK 的样本中，`zMirrored` 下
|
||||
膝盖朝前占比 94.1%，不转换时仅 5.9%（见 `test/mmd-vmd.spec.ts`）。
|
||||
|
||||
@@ -166,7 +166,7 @@ FK 旋转）。两份示例文件分别命中两种路径。
|
||||
## 3. 上传限制
|
||||
|
||||
| 项 | 值 |
|
||||
|---|---|
|
||||
|--|--|
|
||||
| 单文件上限 | 512 MiB（`UPLOAD_MAX_BYTES` 可覆盖） |
|
||||
| 允许扩展名 | 上表全部；其他一律 422 |
|
||||
| 存储路径 | `${STORAGE_DIR}/{kind}/{yyyy}/{mm}/{sha256前2位}/{sha256}.{ext}` |
|
||||
@@ -175,7 +175,7 @@ FK 旋转）。两份示例文件分别命中两种路径。
|
||||
|
||||
## 4. 开源依赖与许可证（引用 `open-source-credits.md`）
|
||||
|
||||
- `bvh`（MIT）— BVH 解析参考实现
|
||||
- `Assimp`（BSD-3-Clause）— FBX/glTF 转换，**可选外部依赖**
|
||||
- `@pixiv/three-vrm`（MIT）— 管理端 VRM 预览
|
||||
- `three`（MIT）— 管理端 3D 预览
|
||||
- `bvh`（MIT）- BVH 解析参考实现
|
||||
- `Assimp`（BSD-3-Clause）- FBX/glTF 转换，**可选外部依赖**
|
||||
- `@pixiv/three-vrm`（MIT）- 管理端 VRM 预览
|
||||
- `three`（MIT）- 管理端 3D 预览
|
||||
|
||||
Reference in New Issue
Block a user