Xiaomi-OCR-0: компактная модель для распознавания текста и обработки документов от Xiaomi

30 сентября 2026 года Xiaomi Research опубликовала технический отчёт и открыла веса Xiaomi-OCR-0 — мультимодальной модели с 800 миллионами параметров, предназначенной для распознавания текста, анализа документов и извлечения структурированных данных.

Проект опубликован на GitHub под лицензией Apache 2.0. Разработчики предоставили исходный код инструментов, примеры использования, веб-интерфейс, MCP-сервер и инструкции для локального запуска.

Возможности Xiaomi-OCR-0

Xiaomi-OCR-0 относится к классу Vision-Language Models (VLM) — моделей, которые обрабатывают визуальную и текстовую информацию.

В отличие от систем, предназначенных исключительно для распознавания символов, Xiaomi-OCR-0 поддерживает несколько задач обработки документов.

Document Parsing — разбор документов. Модель преобразует страницы документов в структурированный Markdown. Для таблиц предусмотрено преобразование внутреннего представления OTSL в HTML-таблицы, а математические формулы могут представляться в формате LaTeX.

Key Information Extraction (KIE) — извлечение данных. Позволяет получать из документов определённые поля в формате JSON. Например, такой режим может использоваться для извлечения реквизитов из счетов и других документов.

Visual Question Answering (VQA) — ответы на вопросы по изображениям. Модель обрабатывает вопросы, связанные с текстом и содержимым документа.

Также поддерживается распознавание рукописного текста, каллиграфии, исторических документов и текста на изображениях реальных сцен.

Архитектура и обучение

В основе Xiaomi-OCR-0 лежит Qwen3.5-0.8B. Согласно техническому описанию, модель обучалась на наборе примерно из 170 миллионов примеров, ориентированных на OCR-задачи.

Разработчики использовали несколько методов обучения, включая Q-Mask text anchoring, continued pretraining (CPT) и mixed-task reinforcement learning (Mix-RL).

Для разбора документов предусмотрены два режима обработки.

Первый — whole-page parsing, при котором модель получает изображение страницы целиком.

Второй — region parsing, использующий дополнительную модель PP-DocLayoutV3 для определения отдельных областей документа. После обнаружения областей они могут обрабатываться параллельно, а результаты объединяются.

Для обычных печатных документов разработчики предусматривают обработку по областям. Для рукописей, исторических книг, текста на фотографиях и документов с нестандартной компоновкой рекомендуется обработка целой страницы, поскольку неправильное выделение областей может приводить к потере контекста.

Результаты тестирования

Разработчики опубликовали результаты Xiaomi-OCR-0 на нескольких специализированных наборах тестов, включая OmniDocBench v1.6, Real5-OmniDocBench и Wild-OmniDocBench.

Источник: опубликованные разработчиками результаты тестирования. Для перечисленных тестов разбора документов использовался двухэтапный метод обработки.

Отдельно представлены результаты распознавания формул и таблиц:

• UniMER-Test — 97.84.
• PubTabNet — 92.27 по метрике TEDS.

В пяти тестах визуальных вопросов и ответов (DocVQA, InfoVQA, ChartQA, OCRBench и TextVQA) Xiaomi-OCR-0 получила среднюю оценку 83.2. Для сравнения, Qwen3.5-0.8B в опубликованной таблице получила 72.9, а Qwen3.5-2B — 80.9.

Все перечисленные показатели взяты из материалов проекта. Они не являются результатами независимого тестирования в рамках этой статьи.

Локальный запуск

Разработчики предусмотрели несколько способов запуска модели:

• SGLang — сервер инференса для мультимодальных моделей.
• vLLM — сервер инференса с OpenAI-совместимым API.
• Ollama — экспериментальный вариант запуска через подготовленную сообществом GGUF-версию.

Для установки инструментов проекта требуется Python 3.10 или новее.

Например, запуск через vLLM выполняется командой:

vllm serve SeerRay-Lab/Xiaomi-OCR-0 \
  --host 127.0.0.1 \
  --port 8000 \
  --max-model-len 16384

Для SGLang предусмотрена аналогичная команда:

python -m sglang.launch_server \
  --model-path SeerRay-Lab/Xiaomi-OCR-0 \
  --host 127.0.0.1 \
  --port 8000 \
  --context-length 16384

Используемая версия сервера должна поддерживать архитектуру Qwen3_5ForConditionalGeneration. Требования к аппаратному обеспечению зависят от выбранного движка инференса.

Запуск через Ollama

Для Ollama доступна подготовленная сообществом BF16 GGUF-версия модели, включающая языковую часть и визуальный проектор. Размер пакета составляет приблизительно 1,8 ГБ.

ollama pull longwayxu/xiaomi-ocr-0:bf16

Для корректной обработки изображений разработчики рекомендуют использовать MCP-сервис или веб-демонстрацию из репозитория, которые применяют необходимые настройки предварительной обработки и генерации.

Этот вариант обозначен как экспериментальный. В проверках на Apple Silicon с Ollama 0.35.0 пять из семи исходных ответов полностью совпали с результатами эталонной BF16-версии. В двух остальных наблюдались различия в формулах.

Авторы отдельно отмечают, что эти проверки не подтверждают полную эквивалентность точности и не распространяют опубликованные результаты бенчмарков на версию Ollama.

Веб-интерфейс для тестирования

В репозитории находится локальная веб-демонстрация, позволяющая работать с изображениями и PDF-документами.

После запуска совместимого сервера инференса можно установить зависимости и открыть интерфейс:

python3 -m venv .venv
source .venv/bin/activate
python -m pip install -r requirements.txt
python demo/server.py --port 8787

Интерфейс будет доступен по адресу:

http://127.0.0.1:8787

Веб-демонстрация поддерживает распознавание страниц и отдельных областей, извлечение данных, вопросы по изображениям и обработку PDF.

Для режима region parsing дополнительно требуются PaddlePaddle, PaddleX и веса PP-DocLayoutV3. Обычное распознавание страниц, KIE и VQA работают без этих дополнительных компонентов.

Интеграция с AI-агентами через MCP

В составе Xiaomi-OCR-0 опубликованы Agent Skill и MCP-сервис, расположенные в директории skills/xiaomi-ocr/.

MCP (Model Context Protocol) позволяет предоставлять функции внешних сервисов AI-агентам через стандартизированный интерфейс.

Реализация Xiaomi-OCR-0 включает инструменты для распознавания изображений, обработки PDF, извлечения полей и ответов на вопросы по документам.

MCP-сервис отвечает не только за отправку запросов к модели, но и за подготовку изображений и PDF, необязательное определение областей, параллельную обработку фрагментов и объединение результатов.

В репозитории также опубликованы примеры конфигурации MCP и инструкции по установке Agent Skill.

Исходный код и документация

Проект распространяется под лицензией Apache 2.0. Помимо весов модели, доступны исходный код инструментов обработки, конфигурации, примеры входных данных и материалы для воспроизведения тестирования.

Основные ресурсы:

• GitHub — Xiaomi-OCR-0
• Hugging Face — веса модели
• Онлайн-демонстрация
• Технический отчёт на arXiv
• Инструкция по установке

Xiaomi-OCR-0 объединяет распознавание текста, разбор структуры документов, извлечение JSON-данных и визуальные вопросы и ответы в одной модели с 800 миллионами параметров. Для работы с ней опубликованы инструменты локального запуска, веб-интерфейс, MCP-сервер и материалы тестирования.