Расширить протокол SCI проверкой содержимого Flash и комплектом RAM-ядер. Добавить утилиту векторизации PDF с OCR, общие диалоги DSView и проверки.
119 lines
22 KiB
Python
119 lines
22 KiB
Python
import math # Переводим границы OCR из пунктов PDF в целые пиксели без обрезания края букв.
|
|
import cv2 # Выравниваем фон и отделяем связные компоненты букв от графики схемы.
|
|
import numpy as np # Работаем с пиксельными масками без промежуточных файлов.
|
|
import pymupdf as fitz # Получаем OCR-координаты и рисуем настоящий Unicode-текст в PDF.
|
|
from engine import asset_path, binary_mask, check_cancel, rasterize, trace_svg, write_native_text # Используем общие преобразования движка; модуль загружается после инициализации engine.
|
|
|
|
|
|
def recognition_pixmap(pix, options, cancel=None): # Улучшаем только копию для OCR, сохраняя исходную геометрию и цвет результата.
|
|
if options.recognition == "original": # Исходный профиль позволяет сравнить OCR без подготовки на необычных сканах.
|
|
return pix # Не копируем изображение при отключённой пользователем подготовке.
|
|
check_cancel(cancel) # Проверяем отмену перед операциями над большим изображением.
|
|
rgb = np.frombuffer(pix.samples, np.uint8).reshape(pix.height, pix.width, 3) # Читаем RGB без изменения исходного Pixmap.
|
|
gray = cv2.cvtColor(rgb, cv2.COLOR_RGB2GRAY) # Для распознавания формы знаков достаточно яркости изображения.
|
|
background = cv2.GaussianBlur(gray, (0, 0), max(3, pix.xres / 30)) # Размытие около 10 пикселей при 300 DPI оценивает медленно меняющийся фон бумаги.
|
|
normalized = cv2.divide(gray, np.maximum(background, 1), scale=255) # Деление на фон ослабляет тени; единица защищает чёрные области от деления на ноль.
|
|
_, ink = cv2.threshold(normalized, 0, 255, cv2.THRESH_BINARY_INV | cv2.THRESH_OTSU) # Автоматический порог выделяет чернила на выровненном фоне.
|
|
for horizontal in (True, False): # Находим горизонтальные и вертикальные линии таблиц и схем отдельно.
|
|
check_cancel(cancel) # Позволяем отменить дополнительную обработку между проходами.
|
|
length = max(round(80 * pix.xres / 300), round((pix.width if horizontal else pix.height) * 0.06)) # Минимум 80 пикселей при 300 DPI и 6 процентов стороны исключает обычные штрихи букв.
|
|
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (length, 1) if horizontal else (1, length)) # Узкое окно выделяет только длинные непрерывные прямые сегменты.
|
|
lines = cv2.morphologyEx(ink, cv2.MORPH_OPEN, kernel) # Размыкание оставляет длинные линии, отбрасывая отдельные символы.
|
|
normalized[lines != 0] = 255 # Убираем найденные линии белым цветом исключительно из OCR-копии.
|
|
prepared = fitz.Pixmap(fitz.csRGB, pix.width, pix.height, cv2.cvtColor(normalized, cv2.COLOR_GRAY2RGB).tobytes(), False) # Размер копии совпадает с оригиналом, поэтому координаты слов не смещаются.
|
|
prepared.set_dpi(pix.xres, pix.yres) # Сохраняем фактическое разрешение после ограничения памяти больших листов.
|
|
return prepared # Передаём OCR копию, оставляя исходные пиксели для выходного документа.
|
|
|
|
|
|
def replace_word_shapes(mask, words, pix, cancel=None): # Удаляем компоненты букв, сохраняя линии, которые выходят за границы OCR-слова.
|
|
accepted = [] # Заменяем только слова, чьи чернила удалось отделить от окружающей схемы.
|
|
for index, word in enumerate(words): # OCR возвращает четыре координаты в пунктах PDF и затем текст слова.
|
|
if index % 32 == 0: # Проверяем отмену каждые 32 слова для больших чертежей.
|
|
check_cancel(cancel) # Не оставляем частично обработанный документ при отмене.
|
|
if not word[4].strip() or "\ufffd" in word[4] or not any(char.isalnum() for char in word[4]): # Не считаем отдельные линии и неизвестные символы достоверными надписями.
|
|
continue # Сомнительная геометрия сохраняется контурами.
|
|
padding = max(3, math.ceil((word[3] - word[1]) * pix.yres / 72 * 0.12)) # Допуск 12 процентов высоты слова и минимум три пикселя покрывает недооценённые OCR-рамки последних букв и надстрочные знаки.
|
|
x0, y0 = max(0, math.floor(word[0] * pix.xres / 72) - padding), max(0, math.floor(word[1] * pix.yres / 72) - padding) # Расширяем область с учётом фактического размера надписи и разрешения скана.
|
|
x1, y1 = min(pix.width, math.ceil(word[2] * pix.xres / 72) + padding), min(pix.height, math.ceil(word[3] * pix.yres / 72) + padding) # Ограничиваем расширенную область размерами изображения.
|
|
if x1 <= x0 or y1 <= y0: # Некорректный прямоугольник не должен создавать пустую область OpenCV.
|
|
continue # Сохраняем графику без попытки удаления повреждённой области.
|
|
halo = max(4, y1 - y0) # Поле высотой со слово позволяет увидеть выходящие за его пределы проводники.
|
|
left, top, right, bottom = max(0, x0 - halo), max(0, y0 - halo), min(pix.width, x1 + halo), min(pix.height, y1 + halo) # Обрабатываем локальное окружение вместо массива меток на весь лист.
|
|
region = mask[top:bottom, left:right] # Представление массива позволяет изменить исключительно выбранные компоненты оригинальной маски.
|
|
total, labels, stats, _ = cv2.connectedComponentsWithStats(region, connectivity=8) # Восьмисвязность объединяет диагональные штрихи букв в одну компоненту.
|
|
removable = np.zeros(total, dtype=bool) # Нулевая метка является фоном и всегда остаётся исключённой из удаления.
|
|
incomplete = False # Не допускаем замену слова, если возле его края остаётся компонент размером с букву.
|
|
for label_id in range(1, total): # Проверяем только реальные связные пятна вокруг надписи.
|
|
x, y, width, height, area = stats[label_id] # Координаты и размеры измеряются в пикселях, площадь — в квадратных пикселях.
|
|
removable[label_id] = x + left >= x0 and y + top >= y0 and x + left + width <= x1 and y + top + height <= y1 and width < 8 * max(height, 1) # Удаляем целиком вложенные компоненты; соотношение сторон 8 исключает длинные подчёркивания и проводники.
|
|
overlaps = x + left < x1 - padding and x + left + width > x0 + padding and y + top < y1 - padding and y + top + height > y0 + padding # Проверяем пересечение с основным прямоугольником слова, исключая случайные детали в полях.
|
|
incomplete |= bool(not removable[label_id] and overlaps and 0.2 * (y1 - y0) <= height <= 1.5 * (y1 - y0) and width < 3 * (y1 - y0) and width < 8 * max(height, 1)) # Компонент высотой с букву за рамкой требует сохранения всего слова контурами; длинные проводники этому правилу не мешают.
|
|
removal = removable[labels] # Преобразуем решения по компонентам в локальную пиксельную маску удаления.
|
|
ink_count = np.count_nonzero(mask[y0:y1, x0:x1]) # Измеряем количество чернил внутри распознанного прямоугольника.
|
|
if not incomplete and ink_count and np.count_nonzero(removal) >= ink_count * 0.85: # Требуем отделения минимум 85 процентов чернил и отсутствия неубранных компонентов букв, сохраняя пересекающие проводники.
|
|
rows, columns = np.nonzero(removal) # Измеряем фактические чернила: общая высота OCR-строки завышает размер слов без заглавных букв.
|
|
ink_box = ((left + columns.min()) * 72 / pix.xres, (top + rows.min()) * 72 / pix.yres, (left + columns.max() + 1) * 72 / pix.xres, (top + rows.max() + 1) * 72 / pix.yres) # Переводим тесную рамку удалённых букв обратно в пункты PDF для правильной высоты и длины шрифта.
|
|
region[removal] = 0 # Удаляем только компоненты букв, не закрывая окружающую графику белым прямоугольником.
|
|
accepted.append((*word, ink_box)) # Сохраняем исходную OCR-рамку для удаления поискового дубля и отдельную рамку чернил для видимого текста.
|
|
return accepted # Неотделимые и нераспознанные подписи продолжают отображаться исходными контурами.
|
|
|
|
|
|
def write_visible_words(target, words, cancel=None): # Рисуем OCR-слова обычным шрифтом с кириллицей вместо многоугольных букв.
|
|
font = fitz.Font("cjk") # Встроенный Droid Sans Fallback обеспечивает одинаковую кириллицу без установки шрифтов Windows.
|
|
target.insert_font(fontname="VisibleText", fontbuffer=font.buffer) # Один ресурс шрифта уменьшает PDF и ускоряет открытие в просмотрщиках.
|
|
metrics = {} # Кешируем фактические высоты символов: глобальная рамка CJK-шрифта не совпадает с видимыми габаритами кириллицы.
|
|
for index, word in enumerate(words): # Каждое слово сохраняет собственное положение на странице.
|
|
if index % 32 == 0: # Проверка между группами слов поддерживает отмену больших текстовых слоёв.
|
|
check_cancel(cancel) # Не записываем неполный слой после отмены пользователя.
|
|
box, text = fitz.Rect(word[8] if len(word) > 8 else word[:4]), word[4] # Рамка реальных чернил сохраняет высоту строчных букв; исходная OCR-рамка остаётся запасным вариантом для прямого вызова.
|
|
for char in set(text) - set(" \t\r\n"): # Измеряем каждый новый символ один раз, независимо от числа повторений в документе.
|
|
if char not in metrics: # Повторяющиеся буквы используют уже вычисленные высоты.
|
|
with fitz.open() as measurement: # Временная страница позволяет измерить реальные габариты через публичный рендерер PDF.
|
|
probe = measurement.new_page(width=240, height=240) # Квадрат 240 пунктов вмещает символ размером 100 пунктов вместе с выносными элементами.
|
|
probe.insert_font(fontname="Probe", fontbuffer=font.buffer) # Для измерения используем тот же шрифт, которым будет записан результат.
|
|
probe.insert_text((60, 150), char, fontname="Probe", fontsize=100) # Базовая точка 150 пунктов и размер 100 дают точность измерения около одного процента.
|
|
pixels = probe.get_pixmap(colorspace=fitz.csGRAY, alpha=False) # При 72 DPI один пиксель соответствует одному пункту временной страницы.
|
|
rows = np.flatnonzero(np.any(np.frombuffer(pixels.samples, np.uint8).reshape(pixels.height, pixels.width) < 200, axis=1)) # Порог 200 из 255 отбрасывает почти белые пиксели сглаживания, сохраняя видимые края.
|
|
metrics[char] = ((150 - rows[0]) / 100, (150 - rows[-1] - 1) / 100) if len(rows) else (font.ascender, font.descender) # Возвращаем высоты над и под базовой линией в долях размера шрифта; пустой знак получает общие метрики.
|
|
upper, lower = max(metrics[char][0] for char in text if not char.isspace()), min(metrics[char][1] for char in text if not char.isspace()) # Учитываем верхние знаки и нижние выносные элементы всех букв слова.
|
|
size = box.height / max(upper - lower, 0.01) # Подбираем размер в пунктах PDF по высоте знаков; 0,01 защищает от пустых метрик.
|
|
origin = fitz.Point(box.x0, box.y0 + upper * size) # Совмещаем верх букв с OCR-прямоугольником через базовую линию шрифта.
|
|
stretch = box.width / max(font.text_length(text, fontsize=size), 0.01) # Сохраняем длину надписи и расстояние до соседних обозначений.
|
|
target.insert_text(origin, text, fontname="VisibleText", fontsize=size, color=0, render_mode=0, morph=(origin, fitz.Matrix(stretch, 1))) # Нулевой режим PDF рисует видимые чёрные буквы, горизонтальный масштаб сохраняет ширину слова.
|
|
|
|
|
|
def text_vector_page(result, source, pix, scale, native, options, notify, cancel=None): # Строим векторную графику и видимый текст без дублирования контурных букв.
|
|
if native: # Уже готовый Unicode надёжнее повторного OCR векторного технического шрифта.
|
|
target = result.new_page(width=pix.width * 72 / pix.xres, height=pix.height * 72 / pix.yres) # Создаём лист с физическими размерами повёрнутого скана.
|
|
with fitz.open() as graphics: # Удаляем текст исключительно из временной копии документа.
|
|
graphics.insert_pdf(source.parent, from_page=source.number, to_page=source.number) # Копируем страницу вместе с поворотом и векторной графикой.
|
|
graphics[0].add_redact_annot(graphics[0].rect * graphics[0].derotation_matrix, fill=False, cross_out=False) # Удаление текста принимает координаты до /Rotate: обратный поворот охватывает весь лист, включая таблицы за короткой стороной повёрнутой страницы.
|
|
graphics[0].apply_redactions(images=fitz.PDF_REDACT_IMAGE_NONE, graphics=fitz.PDF_REDACT_LINE_ART_NONE, text=fitz.PDF_REDACT_TEXT_REMOVE) # Удаляем только текст, сохраняя линии, изображения и остальные объекты.
|
|
geometry, _ = rasterize(graphics[0], options) # Рендерим оставшуюся графику с исходными настройками разрешения и поворота.
|
|
svg, contours = trace_svg(geometry, options, scale, cancel) # Векторизуем графику без букв, которые будут записаны шрифтом.
|
|
write_native_text(target, source, native, options, cancel, visible=True) # Переносим исправленный Unicode видимым шрифтом с исходными базовыми точками и наклоном.
|
|
replacements = len(native) # Число перенесённых надписей помогает оценить охват обработки.
|
|
else: # Для растрового листа сначала определяем содержание и расположение слов с помощью OCR.
|
|
prepared = recognition_pixmap(pix, options, cancel) # Улучшаем фон и удаляем линии из отдельной копии для распознавания.
|
|
payload = prepared.pdfocr_tobytes(language=options.language, tessdata=str(asset_path("tessdata"))) # Используем локальные модели русского и английского языка.
|
|
check_cancel(cancel) # Проверяем отмену сразу после дорогостоящего OCR.
|
|
with fitz.open("pdf", payload) as recognized: # Временная страница содержит изображение и скрытый Unicode в физических координатах.
|
|
mask = binary_mask(pix, options) # Для итоговой графики используем чернила оригинала, а не изменённую OCR-копию.
|
|
words = replace_word_shapes(mask, recognized[0].get_text("words", sort=True), pix, cancel) # Отделяем буквы от пересекающих границы слова проводников.
|
|
svg, contours = trace_svg(pix, options, scale, cancel, mask=mask) # Заменённые слова исключены из маски и не появляются повторными контурами.
|
|
recognized[0].add_redact_annot(recognized[0].rect, fill=False, cross_out=False) # Помечаем растровую копию для удаления без изменений скрытого текста.
|
|
recognized[0].apply_redactions(images=fitz.PDF_REDACT_IMAGE_REMOVE, graphics=fitz.PDF_REDACT_LINE_ART_NONE, text=fitz.PDF_REDACT_TEXT_NONE) # Убираем растр, сохраняя поисковый слой слов, оставшихся контурами.
|
|
for word in words: # Удаляем скрытые дубликаты слов, которые получат видимый шрифт.
|
|
recognized[0].add_redact_annot(fitz.Rect(word[:4]), fill=False, cross_out=False) # OCR-прямоугольник задаёт область удаления старого поискового текста.
|
|
if words: # Пустой набор областей не нуждается в применении удаления.
|
|
recognized[0].apply_redactions(images=fitz.PDF_REDACT_IMAGE_NONE, graphics=fitz.PDF_REDACT_LINE_ART_NONE, text=fitz.PDF_REDACT_TEXT_REMOVE) # Предотвращаем двойное выделение и повторение заменённых слов при копировании.
|
|
result.insert_pdf(recognized) # Переносим страницу с оставшимся поисковым слоем и ресурсами шрифта.
|
|
target = result[-1] # Получаем итоговую страницу после изменения структуры документа.
|
|
write_visible_words(target, words, cancel) # Рисуем принятые слова обычным шрифтом, сохраняя возможность поиска и копирования.
|
|
replacements = len(words) # Считаем только слова, действительно заменённые видимым текстом.
|
|
if svg: # Полностью текстовой странице может не требоваться оставшаяся векторная графика.
|
|
with fitz.open("svg", svg) as drawing, fitz.open("pdf", drawing.convert_to_pdf()) as vector: # Преобразуем контуры графики в настоящие команды PDF.
|
|
target.show_pdf_page(target.rect, vector, 0, overlay=False) # Размещаем оставшуюся графику под текстовыми слоями.
|
|
notify({"kind": "log", "message": f"Заменено текстом: {replacements}; неотделимые и нераспознанные подписи сохранены контурами"}) # Объясняем охват замены без обещания безошибочного распознавания.
|
|
return target.get_text(sort=True), contours, replacements # Текст интерфейса соответствует сохранённому PDF, включая оставшийся поисковый слой.
|