Tại sao OCR đa ngôn ngữ thất bại dù đã mở rộng character set

Giới thiệu

Khi xây dựng OCR đa ngôn ngữ, nhiều đội kỹ thuật thường bắt đầu với một giả định có vẻ hợp lý: chỉ cần mở rộng số lượng ký tự mà mô hình có thể sinh ra, chất lượng nhận dạng sẽ tự cải thiện. Nhưng trong thực tế, đây chỉ là một phần rất nhỏ của bài toán.

Trường hợp của Nemotron OCR v1 cho thấy điều này khá rõ. Mô hình hoạt động tốt với tiếng Anh, nhưng giảm chất lượng mạnh khi chuyển sang các script như Japanese, Korean, Russian, Chinese. Nếu nhìn bề mặt, rất dễ kết luận rằng nguyên nhân nằm ở vocabulary quá nhỏ. Tuy nhiên, ngay cả khi mở rộng từ 855 lên 14.244 ký tự, kết quả cũng không tự động tốt hơn nếu mô hình chưa từng được huấn luyện trên dữ liệu phản ánh đúng:

• hình dạng glyph thực tế,
• font và biến thể kiểu chữ,
• phân phối ngôn ngữ ngoài đời,
• cấu trúc layout tài liệu,
• reading order trong các trang phức tạp.

Nói cách khác, một hệ OCR không chỉ cần biết ký tự nào tồn tại, mà còn phải học được ký tự đó xuất hiện như thế nào trong tài liệu thật.

Vì sao tăng character set vẫn không cứu được OCR đa ngôn ngữ?

Đây là điểm kỹ thuật cốt lõi:

• Character set coverage là điều kiện cần.
• Training data distribution mới là điều kiện đủ.

Một recognizer có vocabulary lớn nhưng thiếu dữ liệu huấn luyện phù hợp sẽ giống như một người có từ điển dày hơn nhưng chưa từng đọc tài liệu trong ngôn ngữ đó. Hệ quả thường gặp là:

• nhầm các ký tự có hình dáng gần giống nhau,
• nhận dạng kém trên font hiếm,
• mất ổn định với script phức tạp,
• sai reading order trên tài liệu nhiều cột hoặc bảng,
• suy luận yếu trên mixed-language documents.

Trong bài toán OCR production, vấn đề này còn khó hơn NLP thuần văn bản, vì mô hình phải xử lý đồng thời ba lớp thông tin:

• thị giác,
• hình học,
• cấu trúc tài liệu.

Vì vậy, mở rộng vocabulary không thể thay thế cho visual learning, structural learning và layout reasoning.

Giới hạn thực sự của Nemotron OCR v1

Một mô hình OCR được tối ưu cho tiếng Anh thường gặp ba điểm yếu lớn khi chuyển sang đa ngôn ngữ.

1. Thiếu visual exposure với script mới

Mô hình chưa được "nhìn thấy" đủ glyph thật của Japanese, Korean, Chinese hay Cyrillic qua nhiều điều kiện khác nhau như:

• font serif, sans-serif, display,
• độ đậm nhạt nét chữ,
• kích thước chữ khác nhau,
• nhiễu scan hoặc camera,
• độ tương phản thấp,
• biến dạng hình học nhẹ.

Điều này khiến recognizer có character set rộng nhưng vẫn không học được hình thái thực của ký tự.

2. Thiếu phân phối ngôn ngữ thực tế

OCR không chỉ đọc hình, mà còn học được xác suất xuất hiện của chuỗi ký tự trong ngữ cảnh. Nếu không có dữ liệu thực tế, mô hình không nắm được:

• tần suất ký tự,
• chiều dài dòng,
• cách các token đi cùng nhau,
• quy luật xuất hiện của script trong tài liệu thật.

Điều này đặc biệt quan trọng với các ngôn ngữ không có ranh giới từ rõ ràng như tiếng Anh.

3. Thiếu layout tương ứng với tài liệu thật

Ngay cả khi mô hình đọc được từng vùng chữ, nó vẫn có thể thất bại nếu không học đúng cấu trúc tài liệu như:

• văn bản dọc,
• nhiều cột,
• bảng biểu,
• slide,
• mục lục,
• tài liệu trộn nhiều ngôn ngữ.

Với OCR hiện đại, đọc đúng ký tự thôi chưa đủ. Hệ thống còn phải biết đọc vùng nào trước, vùng nào sau, vùng nào thuộc cùng một nhóm nội dung.

Bài học cốt lõi: script coverage khác với visual learning

Một hệ OCR đa ngôn ngữ mạnh cần đồng thời học được bốn lớp năng lực:

• script coverage: có đủ ký tự để biểu diễn đầu ra,
• visual learning: biết glyph trông như thế nào qua nhiều font, kích cỡ, nhiễu và độ tương phản,
• structural learning: hiểu word, line, paragraph và mối liên hệ giữa chúng,
• layout reasoning: xử lý đúng nhiều cột, bảng, văn bản dọc, slide và reading order.

Đó là lý do Nemotron OCR v2 không chỉ mở rộng mô hình, mà tập trung mạnh vào pipeline sinh dữ liệu huấn luyện.

Thiết kế pipeline dữ liệu để mở rộng sang hàng trăm ngôn ngữ

Nếu mục tiêu là xây một OCR system có thể scale nhanh sang nhiều ngôn ngữ, câu hỏi quan trọng nhất không phải là thêm layer nào vào model, mà là:

Làm sao tạo được dữ liệu đúng, đủ lớn và có thể mở rộng?

Với cách tiếp cận của nvidia/OCR-Synthetic-Multilingual-v1, câu trả lời là xây một pipeline về nguyên tắc language-agnostic.

Hai thành phần tối thiểu: corpora và fonts

Để thêm một ngôn ngữ mới, cần ít nhất hai đầu vào:

• text corpus đủ thực tế trong ngôn ngữ đó,
• font pool hỗ trợ đầy đủ script tương ứng.

Sau đó quy trình có thể lặp lại tương đối ổn định:

1. lấy text corpus phù hợp,
2. chọn font render đúng glyph,
3. đẩy qua document renderer,
4. sinh annotation tự động.

Đây là một chiến lược rất thực dụng. So với thu thập và gán nhãn thủ công hàng triệu ảnh tài liệu, synthetic generation rẻ hơn, nhanh hơn và dễ lặp lại hơn nhiều.

Vai trò của mOSCAR trong việc giữ phân phối ngôn ngữ tự nhiên

Nguồn text trong pipeline không chỉ là vài tập câu mẫu. Việc sử dụng mOSCAR có ý nghĩa lớn vì bộ dữ liệu này cung cấp tới 163 language subsets.

Giá trị thực sự của mOSCAR nằm ở chỗ nó giúp synthetic data giữ được nhiều đặc trưng gần với ngôn ngữ thật:

• phân phối từ vựng,
• tần suất ký tự,
• độ dài câu,
• biến thiên cú pháp,
• sự lặp lại tự nhiên của văn bản thực tế.

Nhiều hệ synthetic thất bại vì text quá "nhân tạo": câu quá ngắn, mẫu lặp lại, ký tự xuất hiện đều một cách bất thường. OCR model học trên dữ liệu như vậy thường overfit vào synthetic format thay vì tổng quát hóa sang tài liệu ngoài đời.

Khi thêm ngôn ngữ mới không cần đổi kiến trúc

Một điểm mạnh của pipeline này là khả năng mở rộng mà không phải thiết kế lại end-to-end OCR stack. Nếu đã có:

• corpus phù hợp,
• font hỗ trợ script,
• layout renderer linh hoạt,

thì việc thêm ngôn ngữ mới chủ yếu là mở rộng data pipeline, không phải viết lại toàn bộ mô hình.

Đây là tư duy rất khác so với các hệ OCR cũ, nơi mỗi ngôn ngữ gần như cần một recognizer riêng. Với tài liệu hiện đại như hóa đơn, báo cáo, manual, catalog hay form, mixed-language documents là trạng thái bình thường hơn là ngoại lệ.

Từ SynthDoG đến document generator có nhãn cấu trúc hoàn chỉnh

Nếu chỉ render text lên ảnh, bạn mới có một bộ sinh ảnh OCR cơ bản. Nhưng để phục vụ document understanding, cần nhiều hơn text spotting đơn thuần.

Vì vậy, pipeline dựa trên SynthDoG được mở rộng thành hệ sinh tài liệu có annotation cấu trúc đầy đủ.

Từ page-level text sang word, line và paragraph

Một hệ OCR thực tế thường không chỉ cần biết "ảnh này chứa chuỗi nào", mà còn cần biết:

• từng word nằm ở đâu,
• word nào thuộc cùng line,
• line nào nằm trong cùng paragraph,
• thứ tự đọc giữa các khối văn bản.

Pipeline này tạo ra annotation đa cấp:

• word-level,
• line-level,
• paragraph-level.

Vì ground truth được sinh trực tiếp từ quá trình render, độ chính xác gần như tuyệt đối. Điều này giúp tránh nhiều lỗi phổ biến của dữ liệu gán nhãn thủ công như lệch box, thiếu text hoặc disagreement giữa annotator.

Bổ sung bbox, quads và liên kết phân cấp

OCR hiện đại không thể giả định rằng mọi văn bản đều thẳng hàng. Trong tài liệu thực tế thường có:

• text nghiêng,
• scan lệch góc,
• vùng biến dạng,
• text rải rác kiểu scene text.

Do đó, annotation không chỉ gồm axis-aligned bounding box mà còn có 4-point quadrilateral để mô tả vùng text chính xác hơn.

Ngoài ra, hệ thống còn lưu các liên kết phân cấp như:

• word → line,
• line → paragraph.

Đây là chi tiết rất giá trị, vì nhiều OCR dataset công khai chỉ cung cấp box và transcription, nhưng thiếu quan hệ giữa các vùng. Khi thiếu các liên kết này, mô hình hoặc pipeline hậu xử lý buộc phải tự suy luận cấu trúc, dễ sai trên layout phức tạp.

Relation graph cho reading order và logical grouping

Phần chiến lược nhất của pipeline là relation graph mô tả:

• reading order,
• logical grouping giữa các vùng text.

Điều này cho phép mô hình không chỉ học "vùng nào chứa chữ gì" mà còn học:

• vùng nào nên đọc trước,
• vùng nào nên đọc sau,
• vùng nào thuộc cùng một nhóm nội dung.

Nó đặc biệt quan trọng với:

• multi-column documents,
• tables,
• table of contents,
• slides,
• bố cục phi tuyến,
• tài liệu có nhiều block độc lập trên cùng trang.

Nói ngắn gọn, đây là bước chuyển từ text recognition sang document structure understanding.

Điều gì làm synthetic documents đủ thật để huấn luyện production OCR?

Synthetic data chỉ hữu ích khi nó đủ đa dạng và đủ gần thực tế. Nếu không, mô hình sẽ học một thế giới quá sạch sẽ trong lab nhưng thất bại ngoài production.

Pipeline của nvidia/OCR-Synthetic-Multilingual-v1 xử lý vấn đề này bằng nhiều lớp realism khác nhau.

Layout diversity: nhiều cột, bảng, mục lục, slide, văn bản dọc

Dữ liệu không bị giới hạn trong một loại template. Layout được mở rộng để bao phủ nhiều dạng tài liệu thường gặp:

• multi-column text,
• scattered scene-like words,
• vertical columns,
• tables,
• table of contents,
• slides,
• word-processor documents.

Lợi ích không chỉ là tạo ra bộ dữ liệu "nhiều hơn", mà là giúp mô hình học được layout invariance. Trong triển khai thực tế, độ đa dạng layout thường ảnh hưởng đến khả năng tổng quát hóa còn mạnh hơn việc tăng thêm rất nhiều mẫu cùng một template.

Font diversity và script coverage

Với OCR đa ngôn ngữ, font coverage gần như là hạ tầng bắt buộc. Nếu font pool quá hẹp, mô hình sẽ:

• học visual pattern quá nghèo,
• thất bại trên font hiếm hoặc font display,
• nhầm các ký tự có shape gần giống nhau.

Việc xây font pool theo ngôn ngữ giúp bảo đảm:

• hỗ trợ đúng script,
• đa dạng style,
• nhiều trọng lượng nét,
• mô phỏng tốt hơn tài liệu thật.

Điều này đặc biệt quan trọng với CJK scripts, nơi khác biệt rất nhỏ về stroke hoặc spacing có thể dẫn đến sai lệch lớn trong chất lượng nhận dạng.

Augmentation theo ba tầng: glyph, region, page

Synthetic realism không đến từ một augmentation đơn lẻ, mà từ việc kết hợp nhiều lớp biến đổi ngẫu nhiên.

1. Tầng text hoặc glyph

Các hiệu ứng trực tiếp lên chữ gồm:

• outline hoặc border,
• drop shadow,
• extrusion,
• sprinkle noise,
• opacity variation,
• stroke width variation.

Đây là lớp hữu ích để mô phỏng khác biệt giữa text trong tài liệu số, screenshot, slide, poster hoặc ứng dụng văn phòng.

2. Tầng region hoặc image cục bộ

Các hiệu ứng trên vùng gồm:

• dilation,
• erosion,
• median blur,
• elastic distortion.

Những augmentation này mô phỏng khá tốt các trường hợp scan kém, nén ảnh mạnh hoặc méo nhẹ do camera.

3. Tầng page-level

Ở cấp toàn trang, pipeline áp dụng:

• brightness và contrast jitter,
• Gaussian blur,
• motion blur,
• color shift,
• shadow overlay,
• Gaussian noise.

Cách làm này hợp lý hơn việc chỉ thêm noise ở bước cuối, vì nó mô phỏng chuỗi biến đổi gần với tài liệu thật: render, in, scan, chụp, nén và truyền tải.

Quyết định kiến trúc then chốt cho nhận dạng đa ngôn ngữ

Không phải mọi script đều nên được xử lý bằng cùng một đơn vị nhận dạng. Đây là điểm mà nhiều hệ OCR multilingual thường vấp phải.

Vì sao multilingual variant chuyển từ word-level sang line-level?

Biến thể v2_english hoạt động theo word-level recognition, trong khi v2_multilingual chuyển sang line-level recognition.

Đây không phải thay đổi nhỏ. Nó phản ánh một quyết định thiết kế rất thực tế:

• tiếng Anh phù hợp với đơn vị word vì khoảng trắng rõ ràng,
• nhiều script châu Á không có word boundary ổn định như Latin,
• line-level giúp tránh phải giải quyết bài toán segmentation quá sớm.

Nếu cố ép mọi ngôn ngữ vào word-level, hệ thống sẽ sớm gặp các vấn đề như:

• word splitting không nhất quán,
• annotation khó chuẩn hóa,
• lỗi lan truyền từ detector sang recognizer.

CJK và Korean spacing tác động ra sao đến segmentation?

Với Chinese, Japanese, Korean, khoảng trắng không phải lúc nào cũng là tín hiệu đủ mạnh để tách từ:

• Chinese thường không có khoảng trắng giữa các từ,
• Japanese pha trộn nhiều hệ chữ và cũng không phân tách từ theo kiểu tiếng Anh,
• Korean có khoảng trắng nhưng trong tài liệu thực tế vẫn có nhiều biến thiên formatting và grouping.

Việc chọn line-level recognition giúp:

• bỏ qua bước word segmentation dễ sai,
• phù hợp hơn với tài liệu CJK thực tế,
• đơn giản hóa pipeline đa ngôn ngữ,
• tăng độ ổn định trên mixed-script documents.

Khi nào English-only vẫn là lựa chọn tốt hơn?

Dù v2_multilingual có độ bao phủ tốt hơn, bản v2_english vẫn có lợi thế rõ ràng nếu hệ thống chủ yếu xử lý tài liệu tiếng Anh.

Thông số đáng chú ý:

• v2_english: 54M parameters, 3 recognizer layers, 855-character set, word-level,
• v2_multilingual: 84M parameters, 6 recognizer layers, 14.244-character set, line-level.

Nếu doanh nghiệp gần như chỉ xử lý tài liệu tiếng Anh, bản English-only có thể hợp lý hơn nhờ:

• nhẹ hơn,
• nhanh hơn,
• chi phí inference thấp hơn,
• dễ scale hơn.

Trong production AI, multilingual không phải lúc nào cũng là lựa chọn tối ưu, đặc biệt khi domain rất thuần tiếng Anh.

Nemotron OCR v2 dưới góc nhìn hiệu năng hệ thống

Một điểm đáng chú ý của Nemotron OCR v2 là nó không chỉ tối ưu cho độ chính xác mà còn hướng mạnh tới throughput production.

Detector, recognizer và relational model phối hợp thế nào?

Hệ thống gồm ba thành phần chính:

• text detector,
• text recognizer,
• relational model.

Mỗi thành phần giải một lớp bài toán khác nhau:

• detector tìm vùng text,
• recognizer chuyển vùng ảnh thành chuỗi ký tự,
• relational model suy ra quan hệ cấu trúc như reading order và grouping.

Điểm quan trọng là ba thành phần này không bị tách thành ba pipeline rời rạc hoàn toàn. Thay vào đó, chúng phối hợp trên nền feature dùng chung.

Shared backbone theo cảm hứng FOTS giúp giảm compute ra sao?

Kiến trúc được lấy cảm hứng từ FOTS (Fast Oriented Text Spotting): chạy backbone một lần, sau đó tái sử dụng feature cho nhiều tác vụ.

Cụ thể:

• backbone RegNetX-8GF chạy trên ảnh đầu vào để tạo feature maps,
• các feature này được dùng lại cho detector, recognizer và relational model.

Lợi ích hệ thống là rất rõ:

• tránh chạy nhiều backbone riêng biệt,
• giảm đáng kể lượng tính toán,
• cải thiện latency,
• tối ưu tốt hơn cho tài liệu có nhiều vùng text.

Trong production OCR, tư duy feature reuse thường quan trọng không kém việc tăng accuracy của từng module riêng lẻ.

Vì sao recognizer thường là nút thắt throughput?

Dù backbone đã được tối ưu, chi phí inference vẫn chịu ảnh hưởng lớn từ recognizer vì nó chạy trên từng text region.

Điều này tạo ra trade-off rất thực tế:

• trang ít text: backbone và detector chiếm tỷ trọng lớn hơn,
• trang dày chữ: recognizer trở thành bottleneck.

Với v2_multilingual, recognizer nặng hơn vì:

• nhiều layer hơn,
• vocabulary lớn hơn,
• line-level sequence dài hơn.

Do đó, chênh lệch giữa English-only và multilingual không chỉ đến từ tổng số tham số, mà chủ yếu đến từ chi phí nhận dạng trên mỗi vùng.

Quy mô dữ liệu huấn luyện và ý nghĩa với khả năng tổng quát hóa

Nói về OCR hiện đại mà bỏ qua quy mô dữ liệu thì gần như chưa đủ.

12,258,146 mẫu synthetic cho 6 ngôn ngữ

Bộ dữ liệu được công bố tại nvidia/OCR-Synthetic-Multilingual-v1 có tổng cộng 12.258.146 samples cho 6 ngôn ngữ:

• English,
• Japanese,
• Korean,
• Russian,
• Chinese Simplified,
• Chinese Traditional.

Đây là quy mô rất lớn nếu so với nhiều benchmark OCR truyền thống, vốn chỉ có từ vài chục nghìn tới vài trăm nghìn mẫu.

Ý nghĩa của quy mô này không chỉ là "nhiều ảnh hơn", mà là khả năng bao phủ đồng thời:

• nhiều kiểu layout,
• nhiều loại font,
• nhiều biến thiên hình học,
• nhiều pattern ngôn ngữ thực tế,
• nhiều điều kiện render và augmentation.

Vai trò của khoảng 680K ảnh thật

Dù synthetic là trọng tâm, quá trình huấn luyện còn sử dụng thêm khoảng 680K real-world images. Đây là chi tiết rất quan trọng vì các hệ synthetic-only thường gặp domain gap.

Dữ liệu thật giúp mô hình:

• điều chỉnh lại bias từ renderer,
• học thêm artifact ngoài đời thực,
• tăng độ bền trên scan, camera capture và ảnh chất lượng thấp,
• tránh overfit vào vẻ quá sạch của synthetic data.

Synthetic-first, nhưng không synthetic-only

Cách tiếp cận hợp lý nhất hiện nay trong OCR thường là:

• synthetic-first để đạt scale và annotation gần như hoàn hảo,
• real-data-anchored để bám vào domain thật.

Đây là hướng cân bằng hơn hai cực đoan:

• chỉ dùng dữ liệu thật: tốn kém, chậm, khó scale,
• chỉ dùng synthetic: dễ lệch domain.

Nemotron OCR v2 đi khá đúng theo hướng dung hòa này.

So sánh hai biến thể model cho các kịch bản triển khai khác nhau

Không có một OCR model nào tối ưu cho mọi tình huống. Việc tách thành v2_english và v2_multilingual là một quyết định hợp lý về mặt sản phẩm và vận hành.

v2_english: tối ưu tốc độ cho tài liệu tiếng Anh

v2_english phù hợp khi:

• phần lớn tài liệu là tiếng Anh,
• không cần hỗ trợ CJK hoặc Cyrillic,
• ưu tiên latency thấp,
• cần throughput tối đa trên hạ tầng giới hạn.

Ưu điểm chính:

• 54M parameters,
• 3 recognizer layers,
• 855-character set,
• word-level recognition.

Nó phù hợp với các hệ thống như:

• OCR hóa đơn và biên lai tiếng Anh,
• tài liệu văn phòng nội bộ,
• ingestion pipeline trong doanh nghiệp phương Tây,
• backend OCR có ràng buộc GPU budget.

v2_multilingual: một model thống nhất cho EN/ZH/JA/KO/RU

v2_multilingual được thiết kế cho môi trường phức tạp hơn:

• tài liệu từ nhiều quốc gia,
• mixed-language pages,
• sản phẩm SaaS phục vụ khách hàng toàn cầu,
• hệ thống không muốn phụ thuộc vào language routing.

Điểm mạnh lớn nhất là một model thống nhất. Điều này giúp giảm nhu cầu:

• đoán ngôn ngữ trước,
• route sang model riêng,
• duy trì nhiều checkpoint,
• vận hành nhiều pipeline hậu xử lý.

Trong production, giảm số lượng model đôi khi mang lại giá trị vận hành ngang với việc tăng thêm vài điểm accuracy.

Trade-off giữa vocabulary size, recognizer depth và latency

Cái giá của multilingual là khá rõ:

• 14.244-character set thay vì 855,
• recognizer 6 layers thay vì 3,
• tổng số tham số 84M thay vì 54M.

Hệ quả:

• chi phí nhận dạng trên mỗi vùng tăng,
• latency tăng rõ trên trang nhiều text,
• yêu cầu tài nguyên inference cao hơn.

Đổi lại, bạn có:

• script coverage tốt hơn,
• ít phụ thuộc vào language routing,
• pipeline đơn giản hơn cho tài liệu trộn ngôn ngữ.

Benchmark: khi synthetic data chuyển hóa thành lợi ích thực tế

Điều đáng quan tâm không phải là synthetic data có đẹp hay không, mà là nó có chuyển thành năng lực trên benchmark thực tế hay không.

Cải thiện NED trên dữ liệu tổng hợp đa ngôn ngữ

Trên benchmark synthetic, Normalized Edit Distance (NED) của v2_multilingual giảm mạnh ở các ngôn ngữ ngoài tiếng Anh:

• Japanese: 0.723 → 0.046,
• Korean: 0.923 → 0.047,
• Russian: 0.564 → 0.043,
• Chinese Simplified: 0.784 → 0.035,
• Chinese Traditional: 0.700 → 0.065.

Đây là tín hiệu rất mạnh cho thấy đòn bẩy lớn nhất không chỉ là kiến trúc, mà là:

• data coverage,
• layout realism,
• structural annotation,
• script-aware design.

Kết quả trên OmniDocBench và bài toán mixed-language documents

Trên OmniDocBench, Nemotron OCR v2 không chỉ thể hiện năng lực OCR thuần mà còn cho thấy điểm mạnh trên tài liệu có cấu trúc phức tạp và nội dung đa ngôn ngữ.

Điều này quan trọng vì benchmark tài liệu hiện đại không còn chỉ đo "đọc đúng chữ", mà còn đánh giá:

• reading order,
• grouping,
• độ ổn định trên layout khó,
• khả năng xử lý mixed-language pages.

Ở nhóm bài toán này, relation graph và annotation cấu trúc đầy đủ giúp mô hình có lợi thế nền tảng.

So sánh với PaddleOCR, OpenOCR và EasyOCR trong production

Các hệ OCR mã nguồn mở như PaddleOCR, OpenOCR hay EasyOCR vẫn rất hữu ích trong nhiều kịch bản. Tuy nhiên, Nemotron OCR v2 dường như đặt ưu tiên mạnh vào sự cân bằng giữa chất lượng và tốc độ triển khai production.

Một số số liệu đáng chú ý được nêu:

• PaddleOCR v5: 1.2 pages/s,
• OpenOCR: 1.5 pages/s,
• Nemotron OCR v2 multi: 34.7 pages/s trên một GPU A100.

Nếu benchmark này phản ánh đúng workload triển khai, đây là khác biệt rất lớn về throughput. Trong các hệ thống xử lý hàng triệu trang mỗi ngày, tốc độ suy luận có thể ảnh hưởng trực tiếp đến:

• chi phí GPU,
• latency đầu cuối,
• khả năng autoscaling,
• hiệu quả tài nguyên trong inference pipeline.

Nói cách khác, trong production AI, throughput nhiều khi quan trọng không kém accuracy.

Các nguyên tắc có thể tái sử dụng để xây dựng OCR thế hệ tiếp theo

Giá trị lớn nhất từ cách tiếp cận này không chỉ nằm ở một model cụ thể, mà ở các nguyên tắc có thể tái sử dụng cho hệ OCR tương lai.

1. Dữ liệu có cấu trúc quan trọng hơn chỉ số lượng ảnh

Không phải cứ nhiều ảnh là tốt. Dữ liệu hiệu quả cho OCR hiện đại cần có:

• text thực tế,
• font đúng script,
• layout đa dạng,
• annotation đa cấp,
• quan hệ cấu trúc đầy đủ.

Một tập ảnh rất lớn nhưng nghèo cấu trúc có thể kém giá trị hơn nhiều so với một pipeline synthetic được thiết kế tốt.

2. Reading order nên là nhãn huấn luyện cốt lõi

Trong nhiều dự án OCR, reading order vẫn bị đẩy xuống thành bước hậu xử lý. Đây là một sai lầm phổ biến.

Với tài liệu hiện đại, reading order nên được xem là:

• mục tiêu huấn luyện chính thức,
• không phải metadata phụ,
• đặc biệt quan trọng với multi-column pages, tables, slides, mục lục và báo cáo.

Khi mô hình học reading order từ đầu, toàn bộ downstream như parsing, chunking, indexing hay RAG trên tài liệu sẽ ổn định hơn.

3. Unified multilingual model phù hợp với document AI hiện đại

Xu hướng tài liệu hiện nay là:

• nhiều ngôn ngữ cùng xuất hiện trên một trang,
• layout phi tuyến,
• kết hợp text số, text scan, text in,
• script trộn lẫn theo sản phẩm và thị trường.

Trong bối cảnh đó, một unified multilingual model như Nemotron OCR v2 thường hợp lý hơn mô hình tách rời theo từng ngôn ngữ, không chỉ vì accuracy mà còn vì lợi ích vận hành:

• đơn giản hóa deployment,
• giảm số checkpoint phải duy trì,
• tránh bước language routing dễ sai,
• dễ tích hợp hơn trong hệ thống document AI quy mô lớn.

Kết luận

Nhìn tổng thể, Nemotron OCR v2 đáng chú ý không phải chỉ vì nhanh hơn hoặc có nhiều ký tự hơn. Điểm quan trọng hơn là nó cho thấy một hướng đi đúng cho OCR đa ngôn ngữ hiện đại:

• giải bài toán dữ liệu trước khi tối ưu kiến trúc,
• dùng synthetic data generation để đạt quy mô lớn,
• kết hợp real-world adaptation bằng dữ liệu thật,
• coi reading order và document structure là thành phần cốt lõi,
• tối ưu hệ thống bằng shared backbone và feature reuse để cải thiện inference throughput.

Từ góc nhìn ứng dụng, đây là cách tiếp cận phù hợp với các bài toán như:

• document digitization quy mô lớn,
• intelligent document processing,
• enterprise search và RAG trên tài liệu,
• OCR cho thị trường toàn cầu,
• hệ thống xử lý tài liệu mixed-language.

Nếu cần rút gọn thành một câu, bài học lớn nhất là:

OCR đa ngôn ngữ không thắng nhờ thêm ký tự vào vocabulary, mà thắng nhờ có dữ liệu đúng, layout đủ đa dạng và nhãn cấu trúc đủ sâu để mô hình học cách đọc tài liệu, không chỉ nhìn chữ.