清洗管线重构为严格三层架构:
- tango_analyser.py(底层:单词分析)
- task_processor.py(中层:文件 I/O、桶管理)
- workflow.py(顶层:状态机、任务推进)
- 移除旧的 batch_processor.py
新增配置文件系统:
- config.py:TOML 配置,相对路径相对配置文件目录解析
- 查找优先级 --config > cwd > 项目根 > ~ > 默认值
- count=None 语义为处理到文件末尾
项目目录整理:
- 根脚本归档到 scripts/analysis 与 scripts/legacy
- 文档归档到 docs/{design,history,analysis}
- 临时报告移到 reports/(已 gitignore)
文档质量:
- 新增 .markdownlint.json 与 scripts/mdlint.cmd
- 修复全部 14 个 md 文件的 markdownlint 警告
测试:74 passed(8 cleaner + 31 workflow + 6 tango + 15 validator + 14 config)
4.5 KiB
4.5 KiB
Review 桶模式分析报告
总计 443 条待确认。以下按桶分析常见模式和处理建议。
1. review_pinyin(230 条)— 多音字
多音字频率 TOP15
| 汉字 | 次数 | 主要读音 | 拼音 |
|---|---|---|---|
| 会 | 39 | かい/がい | hui(全部正确) |
| 見 | 37 | み/けん | jian(全部正确) |
| 間 | 23 | ま/かん/あいだ | jian(全部正确) |
| 行 | 23 | こう/ぎょう/い | xing(多数正确) |
| 長 | 22 | ちょう/なが | zhang/chang |
| 当 | 17 | あ/とう | dang(正确) |
| 場 | 15 | じょう/ば | chang(正确) |
| 重 | 14 | じゅう/おも/かさ | zhong/chong |
| 難 | 11 | nan | |
| 要 | 9 | yao |
关键发现
大部分拼音其实是正确的(pypinyin 取常见读音)。真正需要修正的是少数假名读音提示不同音的:
需要修正的(约 6-9 条):
長读 なが → 应为 chang(不是 zhang)- 例:細長い、長い目、長芋、首を長くする
重读 かさ(重ねる/重なる)→ 应为 chong(重叠义)- 例:重ねる、積み重ねる、重なる
注意(不用改):
行读 ぎょう(行政/行事)→ 中文仍是 xing(行政 xíngzhèng)会全部 hui ✓見全部 jian ✓
处理建议
大部分可直接合并(拼音正确)。重点检查 長(なが) 和 重(かさ) 这两类。
2. review_split(201 条)— 分割/对齐失败
三大类别
| 类别 | 数量 | 特征 | 处理方式 |
|---|---|---|---|
| A. 熟字训读 | 89 | 纯汉字但假名对不齐 | 整词不分割 |
| B. 汉字+片假名 | 11 | 汉字配片假名读音 | 整词不分割 |
| C. 含~省略标记 | 101 | 带~的省略词 | 去~后处理 |
A. 熟字训读(89条)— 汉字与假名无法逐字对应
按你的规则:整词不分割,拼音连写
葛飾区:かつしかく:→葛飾区:かつしかく:geshiquku(地名)吹雪:ふぶき:→吹雪:ふぶき:chuixue博士:はかせ:→博士:はかせ:boshi漬物:つけもの:→漬物:つけもの:zewu成田:なりた:→成田:なりた:chengtian(地名)
B. 汉字+片假名(11条)— 多为中文人名/菜名的日语音译
宮保鶏丁:ゴンバオジーディン:→ 宫保鸡丁魚香肉絲:ユイシャンロウスー:→ 鱼香肉丝張芸謀:チャン・イーモウ:→ 张艺谋(导演)王府井:ワンフーチン:→ 王府井(地名) 这些片假名是中文发音的日语音译,整词处理。
C. 含省略标记(101条)— 词表用表示省略部分
~賞:ノーベルしょう:→ 诺贝尔奖(~代表具体名称)~茶:プーアルちゃ:→ 普洱茶飲料~:いんりょうメーカー:→ 饮料厂商 这类需要决定:保留~还是补全。多数片假名部分是外来词。
3. review_special(11 条)— 含字母/片假名混合
含字母(拼音段已按规则留空)
CS|貿|易:シーエス|ぼう|えき:|mao|yi(CS贸易)A|型:エー|がた:|xing(A型)SF|小|説:エスエフ|しょう|せつ:|xiao|shuo(SF小说=科幻)NHK|放|送...(NHK广播)
这些格式已正确(字母拼音留空),可直接合并。
含特殊符号
阪|神|・|淡|路|大|震|災(阪神·淡路大地震)含中点·三|ツ|村|電|機(三ツ村電機)含片假名ツ
4. review_verb(1 条)— 完整表达
心を1つにする:こころをひとつにする:— 含数字1和完整句 建议:心|を|1つ|にする:こころ|を|ひとつ|にする:xin||...或整句处理
处理优先级建议
- 先合并 special(11条) — 格式基本正确,字母已留空
- 再处理 pinyin(230条) — 大部分正确,重点改
長(なが)、重(かさ) - split 分三批:
- A类熟字训读(89):整词+连写拼音
- B类中文音译(11):整词处理
- C类
省略(101):统一决定的处理方式
- verb(1条) — 单独处理
可考虑的规则改进
- 假名读音辅助拼音:建立
汉字+假名→拼音映射表長+なが→chang、重+かさ→chong- 可自动修正部分 pinyin 桶条目
- 熟字训读词典:常见熟字训读(吹雪、博士、成田等)直接查表
- ~处理规则:统一决定省略标记的展开或保留策略