Honest eval update: clean held-out en/zh (toe-to-toe with 0.9B), corrected hero charts

README.md

@@ -19,16 +19,16 @@ pipeline_tag: image-to-text
 
 English · [日本語](./README_ja.md)
 
-**Baberu OCR reads the text inside a manga speech bubble.** One 115M model, three languages, and on independent ground truth it beats the 0.9B models it learned from.
+**Baberu OCR reads the text inside a manga speech bubble.** One 115M model, three languages. On the public Japanese benchmark it beats the specialist it was distilled from (manga-ocr); on Chinese and English it goes toe-to-toe with a general model 8× its size — all measured on independent ground truth.
 
-![Baberu OCR: 115M beats its teachers across Japanese, English, and Chinese](./assets/hero-en.png)
+![Baberu OCR: a 115M multilingual manga-bubble reader](./assets/hero-en.png)
 
 Most manga OCR is Japanese-only and assumes clean horizontal lines. Real doujinshi bubbles are not that. They run vertical, pack in sound effects, switch scripts mid-sentence, and mix full-width and half-width characters. Baberu was trained for exactly that, in Japanese, Chinese, and English at once.
 
 **At a glance**
 
-- **Three languages, one checkpoint** (ja / zh / en). Lowest lenient character-error-rate of every model compared, in all three.
-- **115M parameters**, about one-eighth the size of the 0.9B vision-language models it beats.
+- **Three languages, one checkpoint** (ja / zh / en). Lowest character-error-rate of every model compared on Japanese; on Chinese and English it matches a model 8× its size on the typical bubble, and is more robust.
+- **115M parameters**, about one-eighth the size of the 0.9B vision-language models it goes toe-to-toe with.
 - **Character-level** (14,630-symbol vocab), so sound effects and rare kanji never hit a tokenizer wall.
 - **Local and small.** Apache-2.0, shipped as a 121 MB or 242 MB ONNX build that needs only `onnxruntime`, `numpy`, and `pillow`.
 
@@ -57,7 +57,7 @@ Freeze the vision encoder, train the decoder, then unfreeze the encoder and keep
 
 ## Benchmarks
 
-Teacher labels would grade their own homework, so every number here is measured against independent ground truth. Japanese uses the human-labeled Manga109-v2026. English and Chinese were re-annotated by hand. The metric is lCER (lenient character-error-rate: NFKC, whitespace stripped, decorative symbols dropped, dot-runs unified), lower is better. Baberu saw none of these sets in training.
+Teacher labels would grade their own homework, so every number here is measured against independent ground truth, on images the model never trained on. Japanese uses the public human-labeled Manga109-v2026. For Chinese and English we built a fresh held-out set from galleries published *after* the training cutoff (IDs above the training maximum — zero overlap) and re-annotated every crop by hand, with the teacher output hidden. The metric is lCER (lenient character-error-rate: NFKC, whitespace stripped, decorative symbols dropped, dot-runs unified), lower is better.
 
 **Japanese, Manga109-v2026 (n=2000)**
 
@@ -68,27 +68,20 @@ Teacher labels would grade their own homework, so every number here is measured
 | manga-ocr *(its teacher)* | 110M | 0.0422 | 0.0954 |
 | PP-OCRv5 | ~10M | 0.6317 | 0.6491 |
 
-**English, in-domain doujin, hand-annotated (n=80)**
+On Japanese, Baberu beats its actual teacher, manga-ocr, on every metric, and edges the 0.9B on lenient CER. The 0.9B stays ahead on the stricter nCER and on exact-match — it is eight times larger. `PaddleOCR-VL-For-Manga` posts a lower Japanese number but trained on Manga109, so that score is a data leak and sits out.
 
-| model | size | lCER ↓ | exact ↑ |
-|---|---|---|---|
-| **Baberu OCR** | **115M** | **0.0177** | **0.89** |
-| PaddleOCR-VL *(its teacher)* | 0.9B | 0.0268 | 0.88 |
-| PP-OCRv5 | ~10M | 0.0975 | 0.63 |
-| PaddleOCR-VL-For-Manga | 0.9B | 0.1140 | 0.41 |
-| manga-ocr | 110M | 0.2987 | 0.24 |
+**Chinese and English, held-out doujin, hand-annotated**
 
-**Chinese, in-domain doujin, hand-annotated (n=77)**
+Two ways to count, because they disagree and the disagreement *is* the result. Per-bubble averages the error over each bubble (the unit a bubble reader delivers); char-weighted weights by total characters (long passages dominate). PaddleOCR-VL is Baberu's Chinese/English teacher.
 
-| model | size | lCER ↓ | nCER ↓ |
-|---|---|---|---|
-| **Baberu OCR** | **115M** | **0.0868** | **0.1244** |
-| PaddleOCR-VL *(its teacher)* | 0.9B | 0.1013 | 0.1808 |
-| PaddleOCR-VL-For-Manga | 0.9B | 0.1168 | 0.1605 |
-| manga-ocr | 110M | 0.2506 | 0.2518 |
-| PP-OCRv5 | ~10M | 0.5639 | 0.5778 |
+| metric | zh: Baberu 115M | zh: PaddleOCR-VL 0.9B | en: Baberu 115M | en: PaddleOCR-VL 0.9B |
+|---|---|---|---|---|
+| per-bubble lCER ↓ | **0.052** | 0.077 | **0.062** | 0.081 |
+| char-weighted lCER ↓ | 0.043 | **0.030** | 0.033 | **0.028** |
+| exact-match ↑ | **0.85** | 0.83 | **0.82** | 0.79 |
+| n | 246 | | 237 | |
 
-Among models its size or smaller, Baberu wins all three languages. The only thing that beats it is eight times larger, and only in two narrow places: strict exact-match in Japanese, and clean print far outside its domain (next section). On Japanese it also clears its actual teacher, manga-ocr, on every metric. `PaddleOCR-VL-For-Manga` posts a lower Japanese number but trained on Manga109, so that score is a data leak and sits out.
+Per bubble, the 115M student wins both languages and gets more bubbles exactly right; it also never melted into a repetition loop, while the 0.9B did on two short English bubbles. Per character, the 0.9B wins both — it reads long passages better. Call it **toe-to-toe with a model 8× its size**: ahead and more reliable on the typical bubble, behind on long text.
 
 ### Where it loses
 

README_ja.md

@@ -20,9 +20,11 @@ pipeline_tag: image-to-text
 日本語 · [English](./README.md)
 
 マンガの吹き出しから文字を読み取る、115M の OCR モデルです。
-日本語・中国語・英語を1つのモデルで扱い、独立した評価データでは学習元にした 0.9B 級の教師モデルを上回りました。
+日本語・中国語・英語を1つのモデルで扱います。
+日本語の公開ベンチマークでは学習元の教師（manga-ocr）を上回り、中国語と英語では8倍サイズの汎用モデルと互角に渡り合います。
+いずれも独立した評価データでの結果です。
 
-![Baberu OCR: 115Mで教師を上回る（日本語・英語・中国語）](./assets/hero-ja.png)
+![Baberu OCR: 115M の多言語マンガ吹き出し OCR](./assets/hero-ja.png)
 
 マンガ向けの OCR はほとんどが日本語専用で、横書きのきれいな行を前提にしています。
 ですが実際の同人誌の吹き出しはそうではありません。
@@ -31,8 +33,8 @@ Baberu はこうした吹き出しを、日本語・中国語・英語まとめ
 
 ## 特長
 
-- **3言語を1モデルで**（ja / zh / en）。比較したモデルの中で、3言語すべて緩和文字誤り率（lCER）が最小でした。
-- **115M パラメータ**。上回った 0.9B 級 VLM の、およそ8分の1のサイズです。
+- **3言語を1モデルで**（ja / zh / en）。日本語では比較した全モデル中で文字誤り率が最小。中国語・英語では8倍サイズのモデルと、ふつうの吹き出しで互角です。
+- **115M パラメータ**。互角に渡り合う 0.9B 級 VLM の、およそ8分の1のサイズです。
 - **文字単位（char-level、語彙 14,630）** なので、擬音や稀少漢字でトークナイザの未知語問題が起きません。
 - **軽量・ローカル動作**。Apache-2.0 ライセンス。ONNX は 121MB または 242MB で、依存は onnxruntime・numpy・pillow だけです。
 
@@ -63,10 +65,10 @@ decoder はフルスクラッチで学習しました（6層、grouped-query att
 
 ## ベンチマーク
 
-教師が作ったラベルで採点すると身内採点になってしまうので、すべて独立した正解データで測りました。
-日本語は人手ラベルの Manga109-v2026、英語と中国語は教師ラベルを使わず人手で再注釈したものです。
-指標は lCER（緩和文字誤り率: NFKC 正規化・空白除去・装飾記号の除去・ドット連続の統一）で、低いほど良い値です。
-どのデータも Baberu は学習に使っていません。
+教師が作ったラベルで採点すると身内採点になるので、すべて独立した正解データで、しかもモデルが学習していない画像で測りました。
+日本語は公開・人手ラベルの Manga109-v2026。
+中国語と英語は、学習の締め切りより後に公開されたギャラリー（ID が学習時の最大値より大きく、重複ゼロ）から新しくホールドアウトを作り、教師の出力を伏せて全 crop を人手で注釈し直しました。
+指標は lCER（緩和文字誤り率: NFKC・空白除去・装飾記号の除去・ドット連続の統一）で、低いほど良い値です。
 
 **日本語、Manga109-v2026 (n=2000)**
 
@@ -77,33 +79,28 @@ decoder はフルスクラッチで学習しました（6層、grouped-query att
 | manga-ocr *(教師)* | 110M | 0.0422 | 0.0954 |
 | PP-OCRv5 | ~10M | 0.6317 | 0.6491 |
 
-**英語、in-domain doujin、人手GT (n=80)**
+日本語では、本来の教師である manga-ocr に全指標で勝ち、緩和 CER では 0.9B も上回ります。
+より厳密な nCER と完全一致では、8倍サイズの 0.9B が前に出ます。
+（`PaddleOCR-VL-For-Manga` はさらに低い値を出しますが、Manga109 を学習に使っておりデータリークなので除外します。）
 
-| model | size | lCER ↓ | 完全一致 ↑ |
-|---|---|---|---|
-| **Baberu OCR** | **115M** | **0.0177** | **0.89** |
-| PaddleOCR-VL *(教師)* | 0.9B | 0.0268 | 0.88 |
-| PP-OCRv5 | ~10M | 0.0975 | 0.63 |
-| PaddleOCR-VL-For-Manga | 0.9B | 0.1140 | 0.41 |
-| manga-ocr | 110M | 0.2987 | 0.24 |
+**中国語・英語、ホールドアウト同人、人手注釈**
 
-**中国語、in-domain doujin、人手GT (n=77)**
+数え方で結論が変わり、その食い違い自体が結果です。
+「吹き出し単位」は吹き出しごとに誤り率を平均したもの（吹き出しリーダーが返す単位）。
+「文字重み」は総文字数で重み付けしたもの（長文が支配）。
+PaddleOCR-VL は中国語・英語側の教師です。
 
-| model | size | lCER ↓ | nCER ↓ |
-|---|---|---|---|
-| **Baberu OCR** | **115M** | **0.0868** | **0.1244** |
-| PaddleOCR-VL *(教師)* | 0.9B | 0.1013 | 0.1808 |
-| PaddleOCR-VL-For-Manga | 0.9B | 0.1168 | 0.1605 |
-| manga-ocr | 110M | 0.2506 | 0.2518 |
-| PP-OCRv5 | ~10M | 0.5639 | 0.5778 |
-
-同じか小さいサイズのモデルの中では、Baberu が3言語すべてで最も精度が高い結果でした。
-これを上回るのは8倍のサイズのモデルだけで、しかも上回られるのは2点だけです。
-日本語の厳密な完全一致と、学習ドメインから外れた印字（次節）です。
-日本語では、本来の教師である manga-ocr にはすべての指標で勝っています。
-なお PaddleOCR-VL-For-Manga は日本語でさらに低い値を出しますが、Manga109 を学習に使っておりデータリークにあたるため除外しました。
-
-英語・中国語のどちらでも、教師である 0.9B モデルを8分の1のサイズで上回りました。
+| 指標 | 中国語: Baberu 115M | 中国語: PaddleOCR-VL 0.9B | 英語: Baberu 115M | 英語: PaddleOCR-VL 0.9B |
+|---|---|---|---|---|
+| 吹き出し単位 lCER ↓ | **0.052** | 0.077 | **0.062** | 0.081 |
+| 文字重み lCER ↓ | 0.043 | **0.030** | 0.033 | **0.028** |
+| 完全一致 ↑ | **0.85** | 0.83 | **0.82** | 0.79 |
+| n | 246 | | 237 | |
+
+吹き出し単位では、115M の生徒が両言語で勝ち、完全一致もより多く取ります。
+繰り返しループの暴走も一度もなく（0.9B は短い英語2件で溶けました）、より頑健です。
+文字単位では 0.9B が両言語で勝ちます。長文をうまく読むためです。
+つまり**8倍サイズのモデルと互角**で、ふつうの吹き出しでは前に出て安定し、長文では大型モデルが読む、という関係です。
 
 ### 苦手なところ