Files
templates/tools/dsview/build.py
T
Andrey afdf62cfa4 Добавить проверку Flash SCI, системные диалоги и векторизацию PDF
Расширить протокол SCI проверкой содержимого Flash и комплектом RAM-ядер.
Добавить утилиту векторизации PDF с OCR, общие диалоги DSView и проверки.
2026-11-18 16:03:53 +03:00

219 lines
25 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Сборка и упаковка модифицированного DSView на существующем MSYS2 UCRT64. Хеш рецепта
# помогает определить актуальность runtime; декодеры включаются в пакет вместе с поддержкой
# host protocol 1.
"""Build and package DSView host protocol 1 using an existing MSYS2 UCRT64 SDK."""
import argparse
import hashlib
import json
import os
from pathlib import Path
import re
import shutil
import subprocess
import tempfile
REVISION = '2e9e2c8e'
def protocol_payload(): # Одна ведомость управляет упаковкой переносимых декодеров и их зависимостей.
recipe = Path(__file__).resolve().parent # Рецепт находится в tools/dsview относительно закреплённого templates.
python = recipe.parents[1] / 'python' # Исходники прикладных протоколов берутся из того же checkout, что адаптеры.
manifest = json.loads((recipe / 'protocol-files.json').read_text(encoding='utf-8')) # JSON также читает установщик standalone DSView.
files = [(recipe / 'decoders' / name / leaf, Path(name) / leaf) for name in manifest['adapters'] for leaf in ('__init__.py', 'pd.py')] # Каждый адаптер имеет стандартную точку входа и реализацию sigrok.
files += [(python / 'logic_analyzer/decoders' / (name + '.py'), Path('common/setgui_decoders') / (name + '.py')) for name in manifest['cores']] # Ядра устанавливаются с прежним пространством имён common.setgui_decoders.
files += [(python / name, Path('common/setgui_decoders/templates') / name) for name in manifest['template_files']] # Переносимые библиотеки и карты копируются без изменения исходных файлов.
return files # Пары исходник/назначение используются и для контрольной суммы, и для копирования.
def recipe_digest():
"""Identify the patch, packaging recipe, adapters and their shared cores."""
recipe = Path(__file__).resolve().parent
inputs = [recipe / 'build.py', recipe / 'protocol-files.json', recipe / 'setgui-host.patch', recipe / 'gate-pair-checkbox.patch', recipe / 'decoder-panel.patch', recipe / 'driver-summary.patch', recipe / 'windows-usb-events.patch', recipe / 'native/gate_summary.h', recipe / 'pwm-waveform.patch', recipe / 'native/pwm_waveform.h'] # Ведомость и нативные патчи входят в версию рецепта.
inputs += [source for source, _ in protocol_payload()] # Изменение парсера, адаптера или JSON-карты делает установленный компонент устаревшим.
inputs += [recipe / 'zynq-ethernet/ethernet.patch'] # Геометрия цифровых дорожек и анализаторов входит в Ethernet-патч, поэтому его изменение также требует пересборки runtime.
inputs += [recipe / 'scope-channel.patch', recipe / 'native/scope_demo.h', recipe / 'native/scope_trace.h', recipe / 'motor-currents.patch'] # Шкала фазных токов и поддержка нового графического декодера входят в версию нативного компонента.
inputs += [recipe / 'decoder-scope.patch', recipe / 'native/decoder_scope.h'] # Отдельные окна выбранных осциллограмм входят в версию рецепта и требуют обновления нативного компонента.
inputs += [recipe / 'host-dialogs.patch', recipe / 'native/host_dialogs.h'] # Привязка настроек к текущему окну и монитору входит в версию встроенного DSView.
digest = hashlib.sha256()
for item in inputs:
digest.update(item.relative_to(recipe.parents[1]).as_posix().encode('utf-8') + b'\0')
digest.update(hashlib.sha256(item.read_bytes()).digest())
return digest.hexdigest()
def runtime_is_current(output):
output = Path(output)
try:
stamp = json.loads((output / 'host-build.json').read_text(encoding='utf-8'))
return (stamp.get('recipe') == recipe_digest()
and stamp.get('executable') == hashlib.sha256((output / 'DSView.exe').read_bytes()).hexdigest()
and (output / 'host-protocol-1').read_text(encoding='utf-8').strip() == 'DSView host protocol 1')
except (OSError, ValueError, AttributeError):
return False
def package_decoders(output):
"""Stage sigrok adapters and the canonical parsing cores without forks."""
recipe = Path(__file__).resolve().parent
decoders = Path(output) / 'decoders'
shutil.copytree(recipe / 'decoders', decoders, dirs_exist_ok=True,
ignore=shutil.ignore_patterns('__pycache__'))
for source, relative in protocol_payload(): # Декодеры, ядра и карты устанавливаются по единой ведомости.
destination = decoders / relative # Все файлы остаются внутри выбранного каталога декодеров.
destination.parent.mkdir(parents=True, exist_ok=True) # Новые переносимые пакеты получают собственные подкаталоги.
shutil.copy2(source, destination) # Канонические реализации templates копируются побайтно без отдельного форка протокола.
def main():
parser = argparse.ArgumentParser(description=__doc__)
parser.add_argument('--source', type=Path, required=True)
parser.add_argument('--output', type=Path, required=True)
parser.add_argument('--msys-root', type=Path, default=Path(r'C:\setcorp\tools\msys64'))
parser.add_argument('--extra-patch', type=Path)
parser.add_argument('--win7', action='store_true') # Совместимый вариант использует официальный Python 3.8 вместо Python из современного MSYS2.
parser.add_argument('--python-root', type=Path) # Заголовки и import library берутся из полной установки Python 3.8.10 x64.
args = parser.parse_args()
source, output = args.source.resolve(), args.output.resolve()
prefix = args.msys_root.resolve() / 'ucrt64'
python_root = args.python_root.resolve() if args.python_root else None # Явный путь исключает случайное обнаружение Python 3.14 через CMAKE_PREFIX_PATH.
if args.win7 and (not python_root or not (python_root / 'include/Python.h').is_file() or not (python_root / 'libs/python38.lib').is_file()): # Одной DLL недостаточно для компиляции libsigrokdecode.
raise SystemExit('--win7 requires --python-root with Python 3.8.10 x64 headers and libs/python38.lib') # Ошибка возникает до применения патчей и длительной компиляции.
if args.win7: # Точное закрепление версии проверяется независимо от названий файлов установки.
version = subprocess.check_output([str(python_root / 'python.exe'), '-I', '-c', 'import sys, struct; print(sys.version_info[:3], struct.calcsize("P"))'], text=True).strip() # Используем изолированный режим, чтобы внешний PYTHONPATH не подменял стандартные модули.
if version != '(3, 8, 10) 8': # Python 3.8.10 x64 является закреплённой совместимой установкой; размер указателя восемь байт означает x64.
raise SystemExit('Expected Python 3.8.10 x64, got ' + version) # Не применяем патчи и не собираем смешанный ABI при неверной установке.
if not (prefix / 'bin/cmake.exe').is_file():
raise SystemExit('Install the MSYS2 UCRT64 dependencies listed in README.md first.')
revision = subprocess.check_output(['git', 'rev-parse', 'HEAD'], cwd=source, text=True).strip()
if not revision.startswith(REVISION):
raise SystemExit('Expected DSView revision ' + REVISION + ', got ' + revision)
patch_cmd = ['git', 'apply', '--ignore-space-change']
dialog_patch = Path(__file__).with_name('host-dialogs.patch') # Отдельный завершающий патч расширяет уже собранную интеграцию без изменения прежних канонических патчей.
if subprocess.run(patch_cmd + ['--reverse', '--check', str(dialog_patch)], cwd=source, capture_output=True).returncode == 0: # Повторная сборка сначала возвращает прежний контекст базового рецепта, только если новый патч применён целиком.
subprocess.run(patch_cmd + ['--reverse', str(dialog_patch)], cwd=source, check=True) # Временное снятие собственного патча сохраняет возможность повторно проверить всю исходную цепочку интеграции.
for retired_name in ('driver-summary.patch', 'gate-pair-checkbox.patch'):
retired = Path(__file__).with_name(retired_name)
if subprocess.run(['git', 'apply', '--ignore-space-change', '--reverse', '--check', str(retired)],
cwd=source, capture_output=True).returncode == 0:
subprocess.run(['git', 'apply', '--ignore-space-change', '--reverse', str(retired)], cwd=source, check=True)
patches = [Path(__file__).with_name(name) for name in
('setgui-host.patch', 'decoder-panel.patch', 'windows-usb-events.patch', 'pwm-waveform.patch')]
if args.extra_patch:
patches.append(args.extra_patch.resolve())
patches.append(Path(__file__).with_name('scope-channel.patch')) # Аналоговые дорожки подключаются после настройки цифрового интерфейса, включая Ethernet-патч.
patches.append(Path(__file__).with_name('motor-currents.patch')) # Токовые кривые расширяют готовую компоновку PWM после базовых и Ethernet-изменений.
patches.append(Path(__file__).with_name('decoder-scope.patch')) # Независимые окна подключаются после окончательной компоновки графических строк и фазных токов.
# Later patches may change the context of earlier ones. Check and apply
# their combined diff without touching the checkout's real index.
with tempfile.TemporaryDirectory() as temp:
index_env = dict(os.environ, GIT_INDEX_FILE=str(Path(temp) / 'index'))
subprocess.run(['git', 'read-tree', 'HEAD'], cwd=source, env=index_env, check=True)
for patch in patches:
subprocess.run(patch_cmd + ['--cached', str(patch)], cwd=source, env=index_env, check=True)
combined = subprocess.check_output(['git', 'diff', '--cached', '--binary', 'HEAD'],
cwd=source, env=index_env)
if subprocess.run(patch_cmd + ['--reverse', '--check'], cwd=source, input=combined,
capture_output=True).returncode:
subprocess.run(patch_cmd, cwd=source, input=combined, check=True)
subprocess.run(patch_cmd + [str(dialog_patch)], cwd=source, check=True) # Настройки получают окончательное поведение после всех базовых и Ethernet-изменений MainFrame.
shutil.copy2(Path(__file__).with_name('native') / 'host_dialogs.h', source / 'DSView/pv/host_dialogs.h') # Общий фильтр диалогов поставляется заголовком без изменения схемы moc внешнего проекта.
shutil.copy2(Path(__file__).with_name('native') / 'pwm_waveform.h', source / 'DSView/pv/view/pwm_waveform.h')
for name in ('scope_demo.h', 'scope_trace.h'): # Переносимая модель и Qt-дорожка устанавливаются рядом с базовым Trace.
shutil.copy2(Path(__file__).with_name('native') / name, source / 'DSView/pv/view' / name) # Копируем канонические исходники без изменения внешнего проекта Zynq.
shutil.copy2(Path(__file__).with_name('native') / 'decoder_scope.h', source / 'DSView/pv/view/decoder_scope.h') # Виджет отдельного окна поставляется как обычный C++11-заголовок без отдельного процесса и генерации moc.
env = dict(os.environ)
env['PATH'] = os.pathsep.join([str(prefix/'bin'), str(args.msys_root/'usr/bin'), env.get('PATH', '')])
env['PKG_CONFIG_PATH'] = str(prefix/'lib/pkgconfig')
build = source / ('build-win7' if args.win7 else 'build-win64') # Разные ABI Python не разделяют CMakeCache и объектные файлы.
compatibility = [] # Обычная сборка сохраняет прежний выбор Python из MSYS2.
if args.win7: # Все цели DSView и libsigrokdecode компилируются для Windows 7 SP1.
build.mkdir(parents=True, exist_ok=True) # Отдельный CMake-фрагмент хранится рядом с промежуточными файлами совместимой сборки.
definitions = build / 'win7-target.cmake' # Исходный CMakeLists upstream переопределяет CXX_FLAGS, поэтому нужные макросы задаются на уровне целей.
definitions.write_text('# Целевые Win32 API ограничены Windows 7, то есть NT 6.1.\nadd_compile_definitions(_WIN32_WINNT=0x0601 WINVER=0x0601) # Значение 0x0601 соответствует минимальной целевой ОС.\n', encoding='utf-8') # Генерируемый код и русские комментарии сохраняются в UTF-8.
compatibility = ['-DPython3_EXECUTABLE=' + str(python_root / 'python.exe'), '-DPython3_INCLUDE_DIR=' + str(python_root / 'include'), '-DPython3_LIBRARY=' + str(python_root / 'libs/python38.lib'), '-DCMAKE_PROJECT_INCLUDE=' + definitions.as_posix()] # Явные пути предотвращают выбор libpython3.14, а project include задаёт макросы независимо от флагов upstream.
subprocess.run([str(prefix/'bin/cmake.exe'), '-S', str(source), '-B', str(build), '-G', 'Ninja',
'-DCMAKE_POLICY_VERSION_MINIMUM=3.5', '-DCMAKE_CXX_STANDARD=11',
'-DCMAKE_POLICY_DEFAULT_CMP0167=OLD', '-DCMAKE_PREFIX_PATH='+prefix.as_posix(), *compatibility], # Параметры совместимости передаются только варианту Win7.
env=env, check=True)
subprocess.run([str(prefix/'bin/cmake.exe'), '--build', str(build), '--parallel', '6'], env=env, check=True)
output.mkdir(parents=True, exist_ok=True)
shutil.copy2(source/'build.dir/DSView.exe', output/'DSView.exe')
for relative in ('DSView/res', 'DSView/demo', 'libsigrokdecode4DSL/decoders', 'lang'):
item = source/relative
shutil.copytree(item, output/item.name, dirs_exist_ok=True, ignore=shutil.ignore_patterns('__pycache__'))
package_decoders(output)
for name in ('COPYING', 'NEWS25', 'NEWS31', 'ug25.pdf', 'ug31.pdf'):
shutil.copy2(source/name, output/name)
ignored = shutil.ignore_patterns('__pycache__', 'site-packages', 'test', 'tests', 'idlelib', 'tkinter', 'ensurepip', '_test*', '_tkinter*', '*.exe', '*.lib') # Исключаем тесты и служебные установщики distutils/venv: они не используются декодерами и могут иметь другую разрядность либо требовать MSVCR80.
if args.win7: # Официальный CPython использует Windows-структуру Lib/DLLs вместо раскладки MinGW lib/python3.x.
shutil.copytree(python_root / 'Lib', output / 'Lib', dirs_exist_ok=True, ignore=ignored) # encodings и переносимые стандартные модули должны находиться рядом с DSView.
shutil.copytree(python_root / 'DLLs', output / 'DLLs', dirs_exist_ok=True, ignore=ignored) # Расширения соответствуют ABI Python 3.8 и не берутся из MSYS2.
for name in ('python38.dll', 'python3.dll', 'python.exe', 'vcruntime140.dll', 'vcruntime140_1.dll', 'LICENSE.txt'): # Комплект содержит интерпретатор, его MSVC runtime и лицензию CPython.
if (python_root / name).is_file(): # Некоторые выпуски x64 не содержат отдельную vcruntime140_1.dll.
shutil.copy2(python_root / name, output / name) # Официальная DLL сохраняет поддержку Windows 7 SP1 с обновлённым UCRT.
(output / 'python38._pth').write_text('Lib\nDLLs\n.\n', encoding='utf-8') # Изолированный поиск Python не зависит от реестра, PYTHONHOME и установленных на целевом ПК интерпретаторов.
else: # Современный вариант продолжает использовать стандартную библиотеку того же MSYS2, что его libpython.
stdlib = [item for item in sorted((prefix / 'lib').glob('python3.*')) if (item / 'encodings').is_dir()] # Выбираем только каталог с полноценным пакетом кодировок.
if len(stdlib) != 1: # Неоднозначный выбор ABI нельзя принимать при упаковке.
raise RuntimeError('Expected exactly one Python standard library in UCRT64') # Сохраняем прежнюю проверку комплектности SDK.
shutil.copytree(stdlib[0], output / 'lib' / stdlib[0].name, dirs_exist_ok=True, ignore=ignored) # Python и его расширения соответствуют выбранной современной библиотеке.
for name in ('platforms', 'imageformats', 'iconengines', 'styles'):
shutil.copytree(prefix/'share/qt5/plugins'/name, output/name, dirs_exist_ok=True)
shutil.copytree(prefix/'share/licenses', output/'licenses', dirs_exist_ok=True)
(output/'qt.conf').write_text('[Paths]\nPrefix=.\nPlugins=.\n', encoding='utf-8')
queue = [p for p in output.rglob('*') if p.suffix.lower() in ('.exe', '.dll', '.pyd')]
seen = set()
while queue:
binary = queue.pop()
if binary in seen:
continue
seen.add(binary)
info = subprocess.check_output([str(prefix/'bin/objdump.exe'), '-p', str(binary)], env=env, text=True, errors='replace')
for dll in re.findall(r'DLL Name:\s*(\S+)', info):
dependency, target = prefix/'bin'/dll, output/dll # По умолчанию зависимости Qt, GLib и FFTW берутся из того же SDK.
if args.win7 and (python_root / 'DLLs' / dll).is_file(): # Расширения официального Python используют свои OpenSSL 1.1 и прочие библиотеки, отсутствующие в современном MSYS2.
dependency = python_root / 'DLLs' / dll # Не заменяем зависимость Python 3.8 новым несовместимым ABI из SDK.
if target.is_file(): # Вариант Win7 заранее устанавливает собственные python38.dll и VC runtime.
queue.append(target) if target not in seen else None # Проверяем их транзитивные импорты, не подменяя DLL случайной копией из SDK.
continue # Уже выбранный целевой компонент сохраняет приоритет над библиотекой сборщика.
if dependency.is_file():
if target not in seen:
shutil.copy2(dependency, target)
queue.append(target)
elif not (Path(os.environ['SystemRoot'])/'System32'/dll).is_file() and not dll.lower().startswith(('api-ms-', 'ext-ms-')):
raise RuntimeError('Missing dependency: ' + dll)
check_env = dict(os.environ)
check_env['PATH'] = str(Path(os.environ['SystemRoot'])/'System32')
version = subprocess.check_output([str(output/'DSView.exe'), '--host-version'], env=check_env, text=True).strip()
if version != 'DSView host protocol 1':
raise RuntimeError('Host protocol self-check failed: ' + version)
(output/'host-protocol-1').write_text(version+'\n', encoding='utf-8')
for patch_name in ('setgui-host.patch', 'decoder-panel.patch', 'windows-usb-events.patch', 'pwm-waveform.patch'):
shutil.copy2(Path(__file__).with_name(patch_name), output/patch_name)
shutil.copy2(Path(__file__).with_name('native') / 'pwm_waveform.h', output / 'pwm_waveform.h')
for name in ('scope_demo.h', 'scope_trace.h'): # Вместе с GPL-компонентом поставляется исходник новой демонстрационной дорожки.
shutil.copy2(Path(__file__).with_name('native') / name, output / name) # Содержимое пакета совпадает с реально скомпилированными заголовками.
shutil.copy2(Path(__file__).with_name('scope-channel.patch'), output / 'scope-channel.patch') # Патч меню и компоновки позволяет воспроизвести расширение на закреплённом upstream.
shutil.copy2(Path(__file__).with_name('motor-currents.patch'), output / 'motor-currents.patch') # Исходники расширения токовых графиков поставляются вместе с GPL-компонентом.
for name in ('decoder-scope.patch', 'native/decoder_scope.h'): # Исходники самостоятельного осциллографа нужны для воспроизводимости поставляемого GPL-компонента.
shutil.copy2(Path(__file__).parent / name, output / Path(name).name) # Патч интеграции и заголовок виджета соответствуют скомпилированному расширению.
for name in ('host-dialogs.patch', 'native/host_dialogs.h'): # Исходники размещения диалогов поставляются вместе с соответствующей версией компонента.
shutil.copy2(Path(__file__).parent / name, output / Path(name).name) # Полный runtime содержит патч MainFrame и реально использованный фильтр окон.
(output / 'scope-channel-1').write_text('DSView Zynq demo scope channels 1\n', encoding='utf-8') # Маркер различает установленный компонент с добавлением осциллографических дорожек.
(output/'SOURCE.txt').write_text('https://github.com/DreamSourceLab/DSView\nCommit: '+revision+'\nPatches: setgui-host.patch, decoder-panel.patch, windows-usb-events.patch, pwm-waveform.patch (pwm_waveform.h)\nLicense: GPL-3.0-or-later (COPYING)\n', encoding='utf-8')
with (output / 'SOURCE.txt').open('a', encoding='utf-8') as manifest: # Происхождение нового источника сохраняется в пользовательском runtime.
manifest.write('Scope: scope-channel.patch, scope_demo.h, scope_trace.h\nModel: zynq/demo/hdmi_usb_menu/scope_signal.h (scope_hz, scope_peak_v, scope_colors, scope_value_v, scope_interval_extrema)\n') # Указываем исходные параметры и функции для проверки соответствия проекту Zynq.
manifest.write('Motor currents: motor-currents.patch; decoders/pwm_motor; common/setgui_decoders/pwm_motor.py\n') # Поставляемые исходники связывают графики ампер с единственной переносимой моделью двигателя.
manifest.write('Detached decoder scopes: decoder-scope.patch; decoder_scope.h\n') # Манифест фиксирует отдельные окна конкретных графических областей декодеров.
manifest.write('Hosted dialogs: host-dialogs.patch; host_dialogs.h\n') # Происхождение управления владельцем и монитором настроек доступно в установленном компоненте.
(output/'host-build.json').write_text(json.dumps({
'recipe': recipe_digest(),
'executable': hashlib.sha256((output/'DSView.exe').read_bytes()).hexdigest(),
}, indent=2) + '\n', encoding='utf-8')
print('DSView runtime:', output)
if __name__ == '__main__':
main()