1f64c87d0e
- 任务化清洗流程：Task/TaskManager + BatchProcessor 三方法
- 数据目录规范化：data/{db,sources,backup}
- CLI 入口移进包，注册 jclean 命令
- 工作流测试驱动（tests/test_cleaner_workflow.py）
- 40 测试通过
116 lines
4.5 KiB
Markdown
116 lines
4.5 KiB
Markdown
# Review 桶模式分析报告
|
||
|
||
总计 443 条待确认。以下按桶分析常见模式和处理建议。
|
||
|
||
---
|
||
|
||
## 1. review_pinyin（230 条）— 多音字
|
||
|
||
### 多音字频率 TOP15
|
||
| 汉字 | 次数 | 主要读音 | 拼音 |
|
||
|------|------|----------|------|
|
||
| 会 | 39 | かい/がい | hui（全部正确） |
|
||
| 見 | 37 | み/けん | jian（全部正确） |
|
||
| 間 | 23 | ま/かん/あいだ | jian（全部正确） |
|
||
| 行 | 23 | こう/ぎょう/い | xing（多数正确） |
|
||
| 長 | 22 | ちょう/なが | zhang/**chang** |
|
||
| 当 | 17 | あ/とう | dang（正确） |
|
||
| 場 | 15 | じょう/ば | chang（正确） |
|
||
| 重 | 14 | じゅう/おも/かさ | zhong/**chong** |
|
||
| 難 | 11 | | nan |
|
||
| 要 | 9 | | yao |
|
||
|
||
### 关键发现
|
||
**大部分拼音其实是正确的**（pypinyin 取常见读音）。真正需要修正的是少数假名读音提示不同音的：
|
||
|
||
**需要修正的（约 6-9 条）**：
|
||
- `長` 读 **なが** → 应为 **chang**（不是 zhang）
|
||
- 例：細長い、長い目、長芋、首を長くする
|
||
- `重` 读 **かさ**（重ねる/重なる）→ 应为 **chong**（重叠义）
|
||
- 例：重ねる、積み重ねる、重なる
|
||
|
||
**注意（不用改）**：
|
||
- `行` 读 **ぎょう**（行政/行事）→ 中文仍是 **xing**（行政 xíngzhèng）
|
||
- `会` 全部 hui ✓
|
||
- `見` 全部 jian ✓
|
||
|
||
### 处理建议
|
||
大部分可**直接合并**（拼音正确）。重点检查 `長(なが)` 和 `重(かさ)` 这两类。
|
||
|
||
---
|
||
|
||
## 2. review_split（201 条）— 分割/对齐失败
|
||
|
||
### 三大类别
|
||
| 类别 | 数量 | 特征 | 处理方式 |
|
||
|------|------|------|----------|
|
||
| A. 熟字训读 | 89 | 纯汉字但假名对不齐 | 整词不分割 |
|
||
| B. 汉字+片假名 | 11 | 汉字配片假名读音 | 整词不分割 |
|
||
| C. 含~省略标记 | 101 | 带～的省略词 | 去~后处理 |
|
||
|
||
### A. 熟字训读（89条）— 汉字与假名无法逐字对应
|
||
按你的规则：**整词不分割，拼音连写**
|
||
- `葛飾区:かつしかく:` → `葛飾区:かつしかく:geshiquku`（地名）
|
||
- `吹雪:ふぶき:` → `吹雪:ふぶき:chuixue`
|
||
- `博士:はかせ:` → `博士:はかせ:boshi`
|
||
- `漬物:つけもの:` → `漬物:つけもの:zewu`
|
||
- `成田:なりた:` → `成田:なりた:chengtian`（地名）
|
||
|
||
### B. 汉字+片假名（11条）— 多为中文人名/菜名的日语音译
|
||
- `宮保鶏丁:ゴンバオジーディン:` → 宫保鸡丁
|
||
- `魚香肉絲:ユイシャンロウスー:` → 鱼香肉丝
|
||
- `張芸謀:チャン・イーモウ:` → 张艺谋（导演）
|
||
- `王府井:ワンフーチン:` → 王府井（地名）
|
||
这些片假名是**中文发音的日语音译**，整词处理。
|
||
|
||
### C. 含~省略标记（101条）— 词表用~表示省略部分
|
||
- `～賞:ノーベルしょう:` → 诺贝尔奖（～代表具体名称）
|
||
- `～茶:プーアルちゃ:` → 普洱茶
|
||
- `飲料～:いんりょうメーカー:` → 饮料厂商
|
||
这类需要决定：**保留~还是补全**。多数片假名部分是外来词。
|
||
|
||
---
|
||
|
||
## 3. review_special（11 条）— 含字母/片假名混合
|
||
|
||
### 含字母（拼音段已按规则留空）
|
||
- `CS|貿|易:シーエス|ぼう|えき:|mao|yi`（CS贸易）
|
||
- `A|型:エー|がた:|xing`（A型）
|
||
- `ＳＦ|小|説:エスエフ|しょう|せつ:|xiao|shuo`（SF小说=科幻）
|
||
- `ＮＨＫ|放|送...`（NHK广播）
|
||
|
||
这些**格式已正确**（字母拼音留空），可直接合并。
|
||
|
||
### 含特殊符号
|
||
- `阪|神|・|淡|路|大|震|災`（阪神·淡路大地震）含中点·
|
||
- `三|ツ|村|電|機`（三ツ村電機）含片假名ツ
|
||
|
||
---
|
||
|
||
## 4. review_verb（1 条）— 完整表达
|
||
|
||
- `心を1つにする:こころをひとつにする:` — 含数字1和完整句
|
||
建议：`心|を|1つ|にする:こころ|を|ひとつ|にする:xin||...` 或整句处理
|
||
|
||
---
|
||
|
||
## 处理优先级建议
|
||
|
||
1. **先合并 special（11条）** — 格式基本正确，字母已留空
|
||
2. **再处理 pinyin（230条）** — 大部分正确，重点改 `長(なが)`、`重(かさ)`
|
||
3. **split 分三批**：
|
||
- A类熟字训读（89）：整词+连写拼音
|
||
- B类中文音译（11）：整词处理
|
||
- C类~省略（101）：统一决定~的处理方式
|
||
4. **verb（1条）** — 单独处理
|
||
|
||
---
|
||
|
||
## 可考虑的规则改进
|
||
|
||
1. **假名读音辅助拼音**：建立 `汉字+假名→拼音` 映射表
|
||
- `長+なが→chang`、`重+かさ→chong`
|
||
- 可自动修正部分 pinyin 桶条目
|
||
2. **熟字训读词典**：常见熟字训读（吹雪、博士、成田等）直接查表
|
||
3. **~处理规则**：统一决定省略标记的展开或保留策略
|