From 062f064c85cb9cb8c7c00317af154b7f0168b9c1 Mon Sep 17 00:00:00 2001 From: Andrey Date: Thu, 12 Nov 2026 15:00:06 +0300 Subject: [PATCH] =?UTF-8?q?=D0=A1=D0=BE=D1=85=D1=80=D0=B0=D0=BD=D0=B8?= =?UTF-8?q?=D1=82=D1=8C=20=D1=81=D0=B2=D0=B5=D0=B4=D0=B5=D0=BD=D0=B8=D1=8F?= =?UTF-8?q?=20=D0=BE=20=D0=BF=D1=80=D0=BE=D0=B5=D0=BA=D1=82=D0=B5=20=D0=B8?= =?UTF-8?q?=20=D1=81=D0=BE=D0=B2=D0=BC=D0=B5=D1=81=D1=82=D0=B8=D0=BC=D0=BE?= =?UTF-8?q?=D1=81=D1=82=D1=8C=20=D1=81=D0=B1=D0=BE=D1=80=D0=BA=D0=B8=20?= =?UTF-8?q?=D1=81=20Python=203.7?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- c/firmware-info/tests/test_identity.py | 16 +++++ .../tests/test_python37_compatibility.py | 66 +++++++++++++++++++ c/firmware-info/tools/c2000_build.py | 7 +- c/firmware-info/tools/identity.py | 24 ++++++- tools/firmware-build/README.md | 15 +++++ 5 files changed, 123 insertions(+), 5 deletions(-) create mode 100644 c/firmware-info/tests/test_python37_compatibility.py diff --git a/c/firmware-info/tests/test_identity.py b/c/firmware-info/tests/test_identity.py index b9d4793..a80eeb2 100644 --- a/c/firmware-info/tests/test_identity.py +++ b/c/firmware-info/tests/test_identity.py @@ -39,6 +39,22 @@ class IdentityTests(unittest.TestCase): self.assertEqual(self.prepare([clean,dirty])["build_id"], "abcdef0+") self.assertEqual(self.prepare([dirty,clean])["build_id"], "abcdef0+") + def test_project_and_repository_survive_sealing(self): # Проверяет сведения, нужные Публикатору после переноса сборки на другой компьютер. + for project_name in (None, "Бальзам — ПМ35"): # Поддерживает прежние конфигурации и явно заданное русское название. + settings = {"product": "PM35", "target": "TMS320F28335", "version": [1, 2, 3]} # Код изделия сохраняет техническое назначение независимо от названия проекта. + if project_name is not None: # Отсутствующее поле должно использовать совместимое значение по умолчанию. + settings["project"] = project_name # Название из конфигурации переносится в паспорт без сокращений. + self.config.write_text(json.dumps(settings), encoding="utf-8") # Конфигурация сохраняется в той же кодировке, что и проект пользователя. + clean = {"commit": "a" * 40, "dirty": False} # Источник и templates остаются известными чистыми состояниями. + metadata = self.prepare([dict(clean), dict(clean)]) # Генерирует настоящий precompile JSON и заголовок без запуска компилятора. + self.assertEqual(metadata["project"], project_name or "PM35") # Старый JSON получает код изделия, новый — заданное название. + self.assertEqual(metadata["source"]["repository"], str(self.root.resolve())) # Абсолютный путь сохраняется в состоянии исходного проекта. + image = self.root / "controller.bin" # Отдельный образ позволяет проверить последующий postbuild manifest. + image.write_bytes(b"firmware fixture") # Небольшой файл достаточен для проверки сохранения полей и SHA-256. + sealed = identity.seal(image, self.root / "firmware_identity.json") # Штатный postbuild дополняет сохранённое происхождение без чтения нового HEAD. + self.assertEqual(sealed["project"], metadata["project"]) # Название доходит до того manifest, который импортирует GUI. + self.assertEqual(sealed["source"], metadata["source"]) # Путь, полный коммит и признак dirty переживают запечатывание образа. + def test_missing_git_is_explicit(self): unknown = {"commit":None,"dirty":None} self.assertEqual(self.prepare([unknown,unknown])["build_id"], "NOGIT000") diff --git a/c/firmware-info/tests/test_python37_compatibility.py b/c/firmware-info/tests/test_python37_compatibility.py new file mode 100644 index 0000000..7e0cb82 --- /dev/null +++ b/c/firmware-info/tests/test_python37_compatibility.py @@ -0,0 +1,66 @@ +"""Проверки CCS/Keil с интерфейсами pathlib и shutil, доступными в Python 3.7.""" # Воспроизводит ограничения старого Python без установки другого интерпретатора. +import importlib.util # Загружает проверяемые инструменты именно из этой библиотеки templates. +import json # Проверяет сохранённый счётчик и фактический паспорт компиляции. +from pathlib import Path # Моделирует прежнюю сигнатуру удаления временных файлов. +import shutil # Моделирует прежнюю сигнатуру копирования каталогов. +import tempfile # Ограничивает запись изолированным каталогом теста. +import unittest # Проверки запускаются стандартным Python без сторонних зависимостей. +from unittest.mock import patch # Подменяет только несовместимые сигнатуры стандартной библиотеки. + + +def load_tool(name): # Импортирует одну точку входа без запуска CLI. + spec = importlib.util.spec_from_file_location("compatibility_" + name, Path(__file__).resolve().parents[1] / "tools" / (name + ".py")) # Выбор не зависит от PATH компьютера сборки. + module = importlib.util.module_from_spec(spec) # Отдельный экземпляр сохраняет изоляцию других тестов. + spec.loader.exec_module(module) # Загружает публичные функции подготовки и копирования. + return module # Тесты вызывают те же функции, что BAT-обвязки двух IDE. + + +identity, c2000 = load_tool("identity"), load_tool("c2000_build") # Обе цепочки используют общий формат паспорта. +original_unlink, original_copytree = Path.unlink, shutil.copytree # Сохраняет настоящие реализации перед ограничением их сигнатур. + + +def unlink37(path): # Python 3.7 не допускает аргумент missing_ok. + return original_unlink(path) # Реальное удаление сохраняет настоящие ошибки доступа и отсутствующего файла. + + +def copytree37(source, destination, symlinks=False, ignore=None, copy_function=shutil.copy2, ignore_dangling_symlinks=False): # Сигнатура Python 3.7 не допускает dirs_exist_ok. + return original_copytree(source, destination, symlinks, ignore, copy_function, ignore_dangling_symlinks) # Старый интерфейс продолжает копировать обычные новые каталоги. + + +class Python37CompatibilityTests(unittest.TestCase): # Проверяет успешный prebuild и повторный экспорт вместо одного синтаксического анализа. + def setUp(self): # Каждый сценарий начинает с отдельного проекта со включённым итератором версии. + temporary = tempfile.TemporaryDirectory(prefix="firmware python37 ") # Пробелы в пути соответствуют обычным пользовательским библиотекам. + self.addCleanup(temporary.cleanup) # Очистка выполняется после снятия ограничений стандартной библиотеки. + self.root = Path(temporary.name) # Рабочие проекты CCS/Keil не изменяются. + self.config = self.root / "firmware_identity.json" # Конфигурация принадлежит только временной проверке. + self.config.write_text(json.dumps({"product": "TEST_BOARD", "target": "TMS320F2812", "version": [1, 2, 3], "increment_version": True}), encoding="utf-8") # Этот режим воспроизводит исходную ошибку unlink после увеличения версии. + + def test_keil_and_ccs_prepare_generate_headers_with_old_unlink(self): # Обе обвязки должны завершить генерацию при старой сигнатуре pathlib. + with patch.object(Path, "unlink", unlink37): # Любой оставшийся missing_ok вызовет тот же TypeError, что в журнале пользователя. + keil = identity.prepare(self.root, self.root, self.config, self.root / "Generated/target_0") # Keil напрямую вызывает общий prepare. + ccs = c2000.prepare(self.root, Path(__file__).resolve().parents[3], self.root / "STEND40_PCH_1/generated", config=self.config) # CCS загружает генератор из полной проверяемой библиотеки templates. + for relative, expected in (("Generated/target_0", [1, 2, 4]), ("STEND40_PCH_1/generated", [1, 2, 5])): # Две попытки резервируют разные номера без пропуска после TypeError. + output = self.root / relative # Проверяет фактический include-каталог каждой IDE. + self.assertIn("#define FIRMWARE_VERSION_PATCH " + str(expected[2]) + "U", (output / "firmware_identity.h").read_text(encoding="utf-8")) # Заголовок существует и содержит зарезервированную версию. + self.assertEqual(json.loads((output / "firmware_identity.json").read_text(encoding="utf-8"))["version"], expected) # Паспорт совпадает с константами для компилятора. + self.assertEqual((keil["version"], ccs["version"]), ([1, 2, 4], [1, 2, 5])) # Обе публичные функции возвращают успешный результат. + + def test_archive_export_and_atomic_copy_support_old_file_apis(self): # Проверяет повторное сохранение комплекта после успешного prebuild. + generated = self.root / "generated" # Метаданные сохраняются отдельно от исходного JSON. + identity.prepare(self.root, self.root, self.config, generated) # Получает настоящий паспорт для проверки SHA-256 и архива. + image = self.root / "application.bin" # Произвольные байты достаточны для общего Keil-контракта файловой целостности. + image.write_bytes(b"firmware bytes") # Проверяет сохранение точных байтов при нескольких копированиях. + with patch.object(Path, "unlink", unlink37), patch.object(shutil, "copytree", copytree37): # Воспроизводит оба ограничения Python 3.7 одновременно. + for attempt in range(2): # Второй экспорт должен объединять уже существующие каталоги. + result = identity.archive_build(image, generated / "firmware_identity.json", self.root / "archive", export=self.root / "export") # Печать папки соответствует настоящему postcompile Keil. + folder = Path(result["directory"]) # Использует точный архив текущего вызова. + (folder / "nested").mkdir(exist_ok=True) # Вложенный сопроводительный файл проверяет рекурсивное копирование. + (folder / "nested/map.txt").write_text("map " + str(attempt), encoding="utf-8") # Повторный выпуск обновляет существующий файл. + identity.copy_tree(folder, self.root / "ccs-output", copy_function=c2000.atomic_copy) # C2000 сохраняет атомарную замену с прежним интерфейсом unlink. + self.assertEqual((self.root / "ccs-output/nested/map.txt").read_text(encoding="utf-8"), "map 1") # Вложенные файлы обновились при повторном выпуске. + self.assertEqual((Path(result["exported_directory"]) / image.name).read_bytes(), image.read_bytes()) # Экспорт содержит исходный образ без изменения байтов. + self.assertFalse(list((self.root / "ccs-output").rglob(".firmware-*"))) # Успешная атомарная замена не оставляет незавершённых файлов. + + +if __name__ == "__main__": # Позволяет запустить регрессию стандартным unittest на компьютере сборки. + unittest.main() # Ненулевой результат выявляет несовместимость инструментов до настройки IDE. diff --git a/c/firmware-info/tools/c2000_build.py b/c/firmware-info/tools/c2000_build.py index c846423..a7be901 100644 --- a/c/firmware-info/tools/c2000_build.py +++ b/c/firmware-info/tools/c2000_build.py @@ -181,7 +181,10 @@ def atomic_copy(source, destination): # Сохраняет проверенны shutil.copy2(source, temporary) # Сначала полностью записывает новые байты и сохраняет время исходного артефакта. temporary.replace(destination) # Одной файловой операцией заменяет старый результат после успешной записи временного файла. finally: # Незавершённый временный файл не должен попадать в будущий комплект Публикатора. - temporary.unlink(missing_ok=True) # Удаляет только собственный незавершённый файл; после успешной замены его уже нет. + try: # Python 3.7 не поддерживает параметр missing_ok у pathlib.Path.unlink. + temporary.unlink() # Удаляет только собственный незавершённый файл при ошибке копирования или замены. + except FileNotFoundError: # Успешный replace уже перенёс файл на постоянное имя. + pass # Отсутствующий временный файл не превращает успешное копирование в ошибку сборки. return str(destination) # Сохраняет контракт copy_function стандартного shutil.copytree. @@ -386,7 +389,7 @@ def publish(project, templates, tools_templates, compiler, build_dir, artifact, output.mkdir(parents=True, exist_ok=True) # Прежние проверенные выпуски сохраняются при добавлении нового. for item in sorted(stage.iterdir(), key=lambda item: item.is_dir()): # Переносит только файлы и архив, созданные данным postcompile. if item.is_dir(): # Архив содержит сопроводительные результаты той же сборки. - shutil.copytree(item, output / item.name, dirs_exist_ok=True, copy_function=atomic_copy) # Сохраняет только проверенный архив с атомарной заменой файлов при повторном выпуске той же компиляции. + identity.copy_tree(item, output / item.name, copy_function=atomic_copy) # Общий обход совместим с Python 3.7 и сохраняет атомарную замену каждого проверенного файла. else: # Общие служебные файлы, если они появятся, сохраняются в корне текущего выпуска. atomic_copy(item, output / item.name) # Не открывает старые файлы другой ветки на перезапись и не оставляет частичный BIN/HEX при отказе записи. verify_package(output / image_name, metadata) # Подтверждает отсутствие повреждения при копировании на постоянный диск. diff --git a/c/firmware-info/tools/identity.py b/c/firmware-info/tools/identity.py index 5556178..e1efbc5 100644 --- a/c/firmware-info/tools/identity.py +++ b/c/firmware-info/tools/identity.py @@ -73,8 +73,13 @@ def prepare(repository: Path, templates: Path, config: Path, output: Path) -> di try: stream.write(json.dumps(settings, ensure_ascii=False, indent=2) + "\n") # Сохраняет новый номер и все дополнительные поля проекта в UTF-8. except BaseException: stream.close(); temporary.unlink(); raise # Ошибка записи оставляет исходный JSON целым и удаляет незавершённый файл. try: temporary.replace(config) # Занимает номер до дальнейших шагов, поэтому отказ генерации или компиляции не повторит его. - finally: temporary.unlink(missing_ok=True) # Удаляет временный файл при ошибке замены; после успеха он уже переименован. + finally: # Очистка должна работать и в Python 3.7, который ещё не принимает missing_ok. + try: # После успешной замены временное имя уже отсутствует. + temporary.unlink() # Удаляет только собственный незавершённый файл при отказе replace. + except FileNotFoundError: # Отсутствие файла после успешного rename является штатным результатом. + pass # Другие ошибки файловой системы продолжают останавливать подготовку. source, dependency = git_state(repository), git_state(templates) + source = dict(source, repository=str(repository.resolve())) # Сохраняет абсолютный локальный путь исходного проекта для Публикатора без адресов remote и учётных данных. # A clean application built with a modified templates checkout is dirty too. known = source["commit"] is not None and dependency["commit"] is not None dirty = bool(source["dirty"] or dependency["dirty"]) @@ -86,7 +91,7 @@ def prepare(repository: Path, templates: Path, config: Path, output: Path) -> di stamp = stamp.replace(microsecond=0) if not 2000 <= stamp.year <= 2199: raise ValueError("build year outside firmware-info v1 range") - metadata = {"schema": 1, "product": settings["product"], "target": settings["target"], + metadata = {"schema": 1, "project": settings.get("project") or settings["product"], "product": settings["product"], "target": settings["target"], # Необязательное название проекта переносится из конфигурации; старые проекты используют свой код изделия. "version": version, "build_id": build_id, "built_at_utc": stamp.isoformat(), "source": source, "templates": dependency, "identity_contract": 1, "identity_register_count": 12} @@ -152,6 +157,19 @@ def build_folder_name(metadata: dict) -> str: return identity + "_" + stamp.strftime("%Y-%m-%d_%H-%M-%S_UTC+3") +def copy_tree(source: Path, destination: Path, copy_function=shutil.copy2): # Объединяет архив с существующим каталогом без dirs_exist_ok, отсутствующего в Python 3.7. + source, destination = Path(source), Path(destination) # Принимает пути обоих типов из общего экспорта и проверенной C2000-сборки. + destination.mkdir(parents=True, exist_ok=True) # Повторный экспорт сохраняет соседние файлы, но не принимает обычный файл вместо папки. + for entry in source.iterdir(): # Копирует только содержимое конкретного проверенного архива. + target = destination / entry.name # Сохраняет исходные имена и вложенную структуру комплекта. + if entry.is_dir(): # Вложенные каталоги требуют того же объединения при повторном выпуске. + copy_tree(entry, target, copy_function) # Передаёт атомарное копирование C2000 на все уровни архива. + else: # Каждый файл обрабатывается выбранным способом сохранения. + copy_function(entry, target) # По умолчанию сохраняет метаданные copy2, а C2000 использует atomic_copy. + shutil.copystat(source, destination) # Восстанавливает время и атрибуты каталога после записи дочерних файлов. + return str(destination) # Сохраняет возвращаемый тип стандартного shutil.copytree. + + def export_build(folder: Path, export: Path, image_name: str) -> Path: """Copy the current complete build folder, without scanning old archives.""" folder, export = folder.resolve(), export.resolve() @@ -161,7 +179,7 @@ def export_build(folder: Path, export: Path, image_name: str) -> Path: verify(folder / image_name, folder / (image_name + ".manifest.json")) export.mkdir(parents=True, exist_ok=True) if destination != folder: - shutil.copytree(folder, destination, dirs_exist_ok=True) + copy_tree(folder, destination) # Повторное копирование архива совместимо с Python 3.7 без потери соседних выпусков. verify(destination / image_name, destination / (image_name + ".manifest.json")) print(f"[firmware-build] Exported folder: {destination}") return destination diff --git a/tools/firmware-build/README.md b/tools/firmware-build/README.md index e5531db..59d780a 100644 --- a/tools/firmware-build/README.md +++ b/tools/firmware-build/README.md @@ -1,5 +1,20 @@ # Подключение precompile и postcompile из templates +## Keil: остановка после успешного precompile + +Если `precompile.bat` напечатал готовый JSON без traceback, а Keil сразу +завершил сборку с `1 Error(s)` до компиляции, проверьте **Options for Target → +User → Stop on Exit Code** для команд **Before Build/Rebuild** и +**After Build/Rebuild**. Выберите **Exit Code >= 1**: успешный BAT возвращает +`0`, ошибочный шаг — ненулевой код. + +В `.uvprojx`/`.uvproj` настройка хранится как индекс списка: значение `2` +в соответствующем `nStopB1X`, `nStopB2X`, `nStopA1X` или `nStopA2X` означает +условие `>= 1`. Значение `1` означает `>= 0` и останавливает даже успешный +генератор. Меняйте только поля команд firmware-build в выбранном Target; +для ручной правки XML сначала закройте проект в Keil и сохраните резервную копию. +Обновление templates не меняет уже сохранённые условия в файле проекта. + Для проектов ПЛИС используйте [шаблон Xilinx ISE, Vivado и Altera/Intel Quartus](fpga/README.md): общий сохраняемый итератор, паспорт на Verilog/VHDL, полная сборка `.bit`/`.sof`, manifest, SHA-256 и архив выпуска.