japanese/docs/analysis/REVIEW_ANALYSIS.md
panli ef3df73166 refactor: 三层架构重构 + 配置文件 + 项目目录整理
清洗管线重构为严格三层架构:
- tango_analyser.py(底层:单词分析)
- task_processor.py(中层:文件 I/O、桶管理)
- workflow.py(顶层:状态机、任务推进)
- 移除旧的 batch_processor.py

新增配置文件系统:
- config.py:TOML 配置,相对路径相对配置文件目录解析
- 查找优先级 --config > cwd > 项目根 > ~ > 默认值
- count=None 语义为处理到文件末尾

项目目录整理:
- 根脚本归档到 scripts/analysis 与 scripts/legacy
- 文档归档到 docs/{design,history,analysis}
- 临时报告移到 reports/(已 gitignore)

文档质量:
- 新增 .markdownlint.json 与 scripts/mdlint.cmd
- 修复全部 14 个 md 文件的 markdownlint 警告

测试:74 passed(8 cleaner + 31 workflow + 6 tango + 15 validator + 14 config)
2026-08-19 19:40:02 +08:00

4.5 KiB
Raw Blame History

Review 桶模式分析报告

总计 443 条待确认。以下按桶分析常见模式和处理建议。


1. review_pinyin230 条)— 多音字

多音字频率 TOP15

汉字 次数 主要读音 拼音
39 かい/がい hui全部正确
37 み/けん jian全部正确
23 ま/かん/あいだ jian全部正确
23 こう/ぎょう/い xing多数正确
22 ちょう/なが zhang/chang
17 あ/とう dang正确
15 じょう/ば chang正确
14 じゅう/おも/かさ zhong/chong
11 nan
9 yao

关键发现

大部分拼音其实是正确的pypinyin 取常见读音)。真正需要修正的是少数假名读音提示不同音的:

需要修正的(约 6-9 条)

  • なが → 应为 chang(不是 zhang
    • 例:細長い、長い目、長芋、首を長くする
  • かさ(重ねる/重なる)→ 应为 chong(重叠义)
    • 例:重ねる、積み重ねる、重なる

注意(不用改)

  • ぎょう(行政/行事)→ 中文仍是 xing(行政 xíngzhèng
  • 全部 hui ✓
  • 全部 jian ✓

处理建议

大部分可直接合并(拼音正确)。重点检查 長(なが)重(かさ) 这两类。


2. review_split201 条)— 分割/对齐失败

三大类别

类别 数量 特征 处理方式
A. 熟字训读 89 纯汉字但假名对不齐 整词不分割
B. 汉字+片假名 11 汉字配片假名读音 整词不分割
C. 含~省略标记 101 带~的省略词 去~后处理

A. 熟字训读89条— 汉字与假名无法逐字对应

按你的规则:整词不分割,拼音连写

  • 葛飾区:かつしかく:葛飾区:かつしかく:geshiquku(地名)
  • 吹雪:ふぶき:吹雪:ふぶき:chuixue
  • 博士:はかせ:博士:はかせ:boshi
  • 漬物:つけもの:漬物:つけもの:zewu
  • 成田:なりた:成田:なりた:chengtian(地名)

B. 汉字+片假名11条— 多为中文人名/菜名的日语音译

  • 宮保鶏丁:ゴンバオジーディン: → 宫保鸡丁
  • 魚香肉絲:ユイシャンロウスー: → 鱼香肉丝
  • 張芸謀:チャン・イーモウ: → 张艺谋(导演)
  • 王府井:ワンフーチン: → 王府井(地名) 这些片假名是中文发音的日语音译,整词处理。

C. 含省略标记101条— 词表用表示省略部分

  • ~賞:ノーベルしょう: → 诺贝尔奖(~代表具体名称)
  • ~茶:プーアルちゃ: → 普洱茶
  • 飲料~:いんりょうメーカー: → 饮料厂商 这类需要决定:保留~还是补全。多数片假名部分是外来词。

3. review_special11 条)— 含字母/片假名混合

含字母(拼音段已按规则留空)

  • CS|貿|易:シーエス|ぼう|えき:|mao|yiCS贸易
  • A|型:エー|がた:|xingA型
  • |小|説:エスエフ|しょう|せつ:|xiao|shuoSF小说=科幻)
  • |放|送...NHK广播

这些格式已正确(字母拼音留空),可直接合并。

含特殊符号

  • 阪|神|・|淡|路|大|震|災(阪神·淡路大地震)含中点·
  • 三|ツ|村|電|機(三ツ村電機)含片假名ツ

4. review_verb1 条)— 完整表达

  • 心を1つにする:こころをひとつにする: — 含数字1和完整句 建议:心|を|1つ|にする:こころ|を|ひとつ|にする:xin||... 或整句处理

处理优先级建议

  1. 先合并 special11条 — 格式基本正确,字母已留空
  2. 再处理 pinyin230条 — 大部分正确,重点改 長(なが)重(かさ)
  3. split 分三批
    • A类熟字训读89整词+连写拼音
    • B类中文音译11整词处理
    • C类省略101统一决定的处理方式
  4. verb1条 — 单独处理

可考虑的规则改进

  1. 假名读音辅助拼音:建立 汉字+假名→拼音 映射表
    • 長+なが→chang重+かさ→chong
    • 可自动修正部分 pinyin 桶条目
  2. 熟字训读词典:常见熟字训读(吹雪、博士、成田等)直接查表
  3. ~处理规则:统一决定省略标记的展开或保留策略