Расширить протокол SCI проверкой содержимого Flash и комплектом RAM-ядер. Добавить утилиту векторизации PDF с OCR, общие диалоги DSView и проверки.
137 lines
22 KiB
Python
137 lines
22 KiB
Python
from threading import Event # Проверяем штатную отмену подготовки и удаления букв без отдельного процесса.
|
|
import numpy as np # Создаём маски пересекающихся линий и сравниваем реальные пиксели сканов.
|
|
import pymupdf as fitz # Проверяем видимый текст, изображения и повторное открытие PDF.
|
|
import pytest # Изолируем файлы и параметризуем повороты и профили распознавания.
|
|
from engine import Cancelled, Options, convert, rasterize # Используем публичный движок с настоящей трассировкой и OCR.
|
|
from sample import create_sample # Создаём скан с кириллицей, латиницей и геометрией схемы.
|
|
from text_ocr import recognition_pixmap, replace_word_shapes # Проверяем сохранность оригинального изображения и пересекающих слово линий.
|
|
|
|
|
|
def test_scanned_words_become_visible_text(tmp_path): # Новый режим должен заменять контуры настоящими буквами без двойного поискового слоя.
|
|
source, target = tmp_path / "scan.pdf", tmp_path / "text.pdf" # Отдельные пути гарантируют сохранность исходного документа.
|
|
create_sample(source) # Вход содержит растровые страницы без готового текста.
|
|
original = source.read_bytes() # Сравниваем исходник побайтно после завершения обработки.
|
|
report = convert(source, target, Options(mode="vector_text", pages="1")) # Запускаем новый режим с улучшенным OCR и удалением контуров букв.
|
|
assert source.read_bytes() == original # Подготовка OCR и удаление букв не должны изменять входной PDF.
|
|
assert report["pages"][0]["text_replacements"] > 10 # Несколько слов обязаны действительно перейти в видимый текст.
|
|
with fitz.open(target) as document: # Проверяем сохранённый файл после удаления неиспользуемых ресурсов.
|
|
page = document[0] # В выбранном диапазоне остаётся одна исходная страница.
|
|
assert not page.get_images(full=True) and page.get_drawings() # Графика остаётся векторной без спрятанной растровой копии.
|
|
assert page.get_text().count("Напряжение") == 1 # Заменённое слово не должно повторяться в видимом и невидимом слоях.
|
|
assert page.search_for("Напряжение") and page.search_for("VECTOR") # Русские и английские слова остаются доступными для поиска.
|
|
visible = [span for span in page.get_texttrace() if span["type"] == 0] # Нулевой тип трассы означает реальное рисование букв, а не только поиск.
|
|
assert any("Напряжение" in "".join(chr(char[0]) for char in span["chars"]) for span in visible) # Убеждаемся, что русское слово записано видимым шрифтом.
|
|
|
|
|
|
def test_previous_vector_ocr_can_be_replaced(tmp_path): # Невидимый OCR предыдущего результата нельзя принять за готовые видимые надписи.
|
|
source, previous, target = tmp_path / "scan.pdf", tmp_path / "old.pdf", tmp_path / "new.pdf" # Имитируем повторную обработку старого векторного результата с поисковым слоем.
|
|
create_sample(source) # Начинаем с настоящего растрового скана с кириллицей.
|
|
convert(source, previous, Options(mode="vector_ocr", pages="1")) # Прежний режим сохраняет контурные буквы и невидимый Unicode.
|
|
report = convert(previous, target, Options(mode="vector_text")) # Новый режим должен распознать и удалить именно видимые контурные слова.
|
|
assert report["pages"][0]["text_replacements"] > 10 # Подтверждаем, что слова удалось отделить, а не просто продублировать скрытые надписи.
|
|
with fitz.open(previous) as before, fitz.open(target) as after: # Сравниваем количество подконтуров реально сохранённых PDF.
|
|
before_items = sum(len(drawing["items"]) for drawing in before[0].get_drawings()) # Каждый штрих контурных букв увеличивает число команд графики прежнего результата.
|
|
after_items = sum(len(drawing["items"]) for drawing in after[0].get_drawings()) # После замены букв должны остаться преимущественно линии и нераспознанные обозначения.
|
|
assert after_items < before_items / 2 # Существенное сокращение геометрии выявляет ошибочное наложение шрифта поверх старых букв.
|
|
assert after[0].get_text().count("Напряжение") == 1 # В повторно обработанном PDF не должно быть дублей поискового текста.
|
|
|
|
|
|
def test_word_edges_leave_no_letter_contours(tmp_path): # Последние буквы и надстрочные знаки должны удаляться вместе со всем распознанным словом.
|
|
source, target = tmp_path / "letters.pdf", tmp_path / "clean.pdf" # Изолируем чисто текстовый скан от других сценариев проверки.
|
|
with fitz.open() as original, fitz.open() as scan: # Создаём сначала надпись, затем входной PDF исключительно с растровым изображением.
|
|
page = original.new_page(width=420, height=120) # Поля вокруг единственной строки облегчают OCR без влияния графики.
|
|
font = fitz.Font("cjk") # Встроенный шрифт содержит все знаки русской надписи.
|
|
page.insert_font(fontname="Russian", fontbuffer=font.buffer) # Подключаем кириллицу без зависимости от системных шрифтов.
|
|
page.insert_text((20, 70), "Проверка распознавания текста", fontname="Russian", fontsize=18) # Длинное слово выявляет недооценку OCR-ширины последней буквы.
|
|
scan.new_page(width=420, height=120).insert_image(page.rect, pixmap=page.get_pixmap(dpi=300)) # Растровый вход исключает перенос готового Unicode вместо настоящего OCR.
|
|
scan.save(source) # Сохраняем изображение строки как отдельный исходный PDF.
|
|
convert(source, target, Options(mode="vector_text", language="rus")) # Распознаём русскую строку и заменяем её обычным текстом.
|
|
with fitz.open(target) as result: # Проверяем фактическую геометрию после сохранения и очистки ресурсов.
|
|
assert result[0].search_for("распознавания") # Полное слово остаётся доступным для поиска в видимом шрифте.
|
|
assert not result[0].get_drawings() # На чисто текстовом листе после замены не должно оставаться ни одного контура буквы.
|
|
|
|
|
|
@pytest.mark.parametrize("source_rotation", [0, 90]) # Проверяем также PDF с исходным атрибутом поворота страницы.
|
|
@pytest.mark.parametrize("rotation", [0, 90, 180, 270]) # Все четыре пользовательские ориентации должны сохранять обычный текст.
|
|
def test_native_visible_text_and_rotations(tmp_path, rotation, source_rotation): # Готовые подписи нужно переносить без OCR и без оставшихся контурных дублей.
|
|
source, target = tmp_path / "native.pdf", tmp_path / "visible.pdf" # Создаём отдельные вход и результат для каждой ориентации.
|
|
with fitz.open() as document: # Подготавливаем векторную страницу с исходным Unicode и проводником.
|
|
page = document.new_page(width=360, height=240) # Прямоугольная страница выявляет ошибки координат при повороте.
|
|
font = fitz.Font("cjk") # Кириллица должна присутствовать в самом исходном документе.
|
|
page.insert_font(fontname="Russian", fontbuffer=font.buffer) # Встраиваем шрифт для независимости теста от Windows.
|
|
page.insert_text((265, 110), "Авария", fontname="Russian", fontsize=15) # Надпись правее короткой стороны выявляет неполное удаление текста у повёрнутого листа.
|
|
page.insert_text((140, 190), "SIGNAL", fontname="Russian", fontsize=12, rotate=90) # Вертикальное обозначение проверяет сохранение направления исходной строки.
|
|
page.draw_line((15, 220), (345, 220)) # Проводник должен остаться векторной графикой после удаления текста.
|
|
page.set_rotation(source_rotation) # Исходный поворот хранится отдельно от координат содержимого PDF.
|
|
document.save(source) # Сохраняем настоящий документ с двумя надписями и одной линией.
|
|
report = convert(source, target, Options(mode="vector_text", rotate=rotation, dpi=150)) # На готовом тексте разрешение влияет только на трассировку проводника.
|
|
assert report["pages"][0]["text_replacements"] == 2 # Обе готовые надписи должны быть перенесены без повторного OCR.
|
|
with fitz.open(target) as document: # Проверяем видимость Unicode и оставшуюся геометрию результата.
|
|
page = document[0] # Вход содержит одну страницу для каждой комбинации поворотов.
|
|
assert page.search_for("Авария") and page.search_for("SIGNAL") # Текст должен находиться независимо от ориентации надписей.
|
|
assert all(span["type"] == 0 for span in page.get_texttrace()) # Перенесённые подписи должны отображаться видимым шрифтом.
|
|
assert len(page.get_drawings()) == 1 # Контуры букв удалены: единственным рисованным объектом остаётся исходный проводник.
|
|
|
|
|
|
def test_word_removal_preserves_crossing_line(): # Замена надписи не должна разрывать проводник внутри её OCR-прямоугольника.
|
|
mask = np.zeros((80, 180), np.uint8) # Маска в пикселях содержит отдельные компоненты букв и длинную линию.
|
|
mask[32:48, 55:65] = 255 # Первое пятно имитирует отдельную толстую букву слова.
|
|
mask[32:48, 70:80] = 255 # Вторая буква расположена рядом с первой и не касается проводника.
|
|
mask[52, :] = 255 # Горизонтальный проводник пересекает область слова и выходит далеко за её границы.
|
|
pix = fitz.Pixmap(fitz.csRGB, 180, 80, np.full((80, 180, 3), 255, np.uint8).tobytes(), False) # Одинаковые физические и пиксельные координаты упрощают проверку удаления.
|
|
pix.set_dpi(72, 72) # При 72 DPI один пункт PDF соответствует одному пикселю маски.
|
|
accepted = replace_word_shapes(mask, [(53, 30, 82, 54, "AB", 0, 0, 0)], pix) # OCR-прямоугольник включает обе буквы и пересекающий проводник.
|
|
assert len(accepted) == 1 and not mask[32:48, 55:80].any() # Отдельные буквы удаляются для последующей записи шрифтом.
|
|
assert np.all(mask[52, :] == 255) # Проводник остаётся непрерывным даже внутри заменённой надписи.
|
|
|
|
|
|
@pytest.mark.parametrize("source_rotation", [0, 90, 180, 270]) # Ошибка проявлялась при исходном /Rotate, когда видимые и внутренние размеры листа различаются.
|
|
@pytest.mark.parametrize("rotation", [0, 90]) # Дополнительный пользовательский поворот не должен влиять на полноту удаления старых букв.
|
|
def test_rotated_table_has_no_outlined_text_duplicates(tmp_path, source_rotation, rotation): # Проверяем видимую графику ячеек после удаления нового шрифта, а не только единственность поискового текста.
|
|
source, target = tmp_path / "table.pdf", tmp_path / "clean_table.pdf" # Независимые файлы защищают исходный чертёж при проверке замены текста.
|
|
with fitz.open() as document: # Создаём небольшой чертёж с таблицей в нижней части высокого листа.
|
|
page = document.new_page(width=300, height=500) # При /Rotate 90 видимая высота 300 пунктов не охватывала текст с координатой y больше 300.
|
|
for y in (340, 385, 430, 475): # Горизонтальные границы задают три ячейки высотой 45 пунктов PDF.
|
|
page.draw_line((40, y), (180, y)) # Линии таблицы должны сохраняться независимо от замены цифр.
|
|
for x in (40, 180): # Замыкаем левую и правую стороны таблицы.
|
|
page.draw_line((x, 340), (x, 475)) # Вертикальные границы остаются отдельной графикой, которую нельзя удалять вместе с текстом.
|
|
for baseline in (371, 416, 461): # Надписи находятся целиком внутри ячеек, вдали от их границ.
|
|
page.insert_text((80, baseline), "0,5", fontname="tiit", fontsize=24) # Курсивный исходный шрифт воспроизводит заметное наложение цифр на новый обычный шрифт.
|
|
original_boxes = page.search_for("0,5") # Запоминаем области оригинальных цифр до сохранения исходного поворота.
|
|
page.set_rotation(source_rotation) # Поворот листа хранится отдельно от координат текстовых команд PDF.
|
|
document.save(source) # Сохраняем настоящий векторный вход без изображений и скрытого OCR.
|
|
convert(source, target, Options(mode="vector_text", dpi=150, rotate=rotation)) # Проверяем штатную ветку переноса готовых надписей в новый видимый текст.
|
|
with fitz.open(source) as original, fitz.open(target) as result: # Проверяем повторно открытый PDF после окончательной записи и сжатия.
|
|
page = result[0] # В результате находится один лист с тремя заменёнными надписями.
|
|
assert len(page.search_for("0,5")) == 3 # Поиск должен находить одну запись в каждой ячейке без текстовых дублей.
|
|
assert page.get_drawings() and not page.get_images(full=True) # Таблица сохраняет векторные линии без скрытого исходного растра.
|
|
extra_rotation = fitz.Matrix(rotation) # Независимо строим преобразование координат исходных ячеек.
|
|
bounds = original[0].rect * extra_rotation # Пользовательский поворот может переносить начало листа в отрицательные координаты.
|
|
transform = original[0].rotation_matrix * extra_rotation * fitz.Matrix(1, 0, 0, 1, -bounds.x0, -bounds.y0) * fitz.Matrix(page.rect.width / bounds.width, page.rect.height / bounds.height) # Учитываем оба поворота и округление физических размеров растра при 150 DPI.
|
|
page.add_redact_annot(page.rect, fill=False, cross_out=False) # Для проверки временно убираем новый шрифт из результата, не меняя файл на диске.
|
|
page.apply_redactions(images=fitz.PDF_REDACT_IMAGE_NONE, graphics=fitz.PDF_REDACT_LINE_ART_NONE, text=fitz.PDF_REDACT_TEXT_REMOVE) # Оставляем только фактические векторные контуры и линии таблицы.
|
|
for box in original_boxes: # Каждая область цифр должна стать полностью белой после удаления нового шрифта.
|
|
pix = page.get_pixmap(matrix=fitz.Matrix(3, 3), colorspace=fitz.csGRAY, clip=box * transform) # Увеличение втрое выявляет даже тонкие остатки старых курсивных букв.
|
|
assert np.min(np.frombuffer(pix.samples, np.uint8)) == 255 # Любой чёрный пиксель внутри ячейки означает оставшийся контур и видимое удвоение текста.
|
|
|
|
|
|
@pytest.mark.parametrize("profile", ["enhanced", "original"]) # Цветной результат обязан сохранять оригинальный скан при обоих профилях OCR.
|
|
def test_ocr_preparation_preserves_scan(tmp_path, profile): # Улучшенное распознавание не должно менять видимое изображение результата.
|
|
source, target = tmp_path / "scan.pdf", tmp_path / "search.pdf" # Независимые файлы позволяют сравнить сохранённый результат с оригиналом.
|
|
create_sample(source) # Реальный скан содержит линии, которые подготовка удаляет исключительно из OCR-копии.
|
|
options = Options(mode="ocr", pages="1", recognition=profile) # Обрабатываем одну страницу с выбранным профилем распознавания.
|
|
convert(source, target, options) # Выполняем полный путь записи и подстановки исходного изображения.
|
|
with fitz.open(source) as before, fitz.open(target) as after: # Сравниваем пиксели изображения из готового результата и исходного рендера.
|
|
pix, _ = rasterize(before[0], options) # Получаем те же размеры и исходные цвета, которые должен содержать результат.
|
|
image = fitz.Pixmap(after, after[0].get_images()[0][0]) # Читаем непосредственно сохранённый объект изображения без дополнительного сглаживания.
|
|
assert image.samples == pix.samples # OCR-подготовка не должна стирать линии или менять цвет изображения результата.
|
|
assert after[0].search_for("Напряжение") # Сохранение внешнего вида должно сопровождаться рабочим поисковым слоем.
|
|
|
|
|
|
def test_cancel_preparation(): # Дополнительный этап подготовки должен подчиняться штатной отмене обработки.
|
|
cancel = Event() # Используем событие с тем же контрактом, что у процесса GUI.
|
|
cancel.set() # Имитируем отмену до начала обработки изображения.
|
|
pix = fitz.Pixmap(fitz.csRGB, 8, 8, bytes([255] * 8 * 8 * 3), False) # Малый белый RGB-скан достаточен для проверки границы этапа.
|
|
with pytest.raises(Cancelled): # Отмена должна отличаться от ошибки OpenCV или языковой модели.
|
|
recognition_pixmap(pix, Options(), cancel) # Проверка события выполняется до выделения дополнительных масок.
|