Экспериментальная оценка эффективности искусственного интеллекта в генерации кода для доменно-специфичных платформ (на примере 1С:Предприятие 8)

Всероссийский конкурс достижений талантливой молодёжи «Национальное достояние России», 2026

Автор: Андреев Данила Сергеевич
Научный руководитель: Гальцкова Юлия Михайловна
Место выполнения: ГАПОУ ПО «Пензенский Колледж Информационных и Промышленных Технологий (ИТ-Колледж)»

Предупреждение:
Репозиторий находится в активном наполнении. Ряд артефактов ещё не загружен.
Все опубликованные числовые результаты и отчёты соответствуют финальной версии работы.

О работе

Исследование посвящено сравнительной оценке больших языковых моделей (LLM) при автоматической генерации кода на языке BSL — встроенном языке платформы 1С:Предприятие 8.

Центральная проблема: существующие бенчмарки (HumanEval, MBPP и др.) не подходят для оценки кода на доменно-специфичных языках, тесно связанных с метаданными конфигурации. Для решения этой задачи разработана методика SMOP и программный комплекс GenLab-1C (веб-платформа).

Эксперимент охватывает два сценария:

• Категория А — общеалгоритмические задачи, не требующие знания метаданных платформы;
• Категория Б — платформенно-ориентированные задачи в конфигурации «Управление торговлей 11» (УТ11), где модели получают контекст метаданных через Model Context Protocol (MCP).

Полный текст работы: andreev-ai-codegen-1c-2026.pdf

Ключевые результаты

Сравнение моделей

Сравнение Q по моделям — Слева: Категория А (алгоритмические задачи)  |  Справа: Категория Б (платформенные задачи, УТ11)

Радарная диаграмма SMOP — Слева: Категория А  |  Справа: Категория Б

Тепловая карта Q по задачам и моделям — Слева: Категория А  |  Справа: Категория Б

Детальные метрики SMOP — Категория Б

Изменение метрик при переходе от А к Б (Δ = Б − А)

Claude Opus 4.5 — единственная модель с положительным ΔO (+0.8): получив доступ к метаданным через MCP, она строит более оптимальные запросы. Падение Q при переходе A→Б отражает принципиально большую сложность платформенных задач, а не деградацию от MCP — для корректной оценки вклада MCP необходимо было бы сравнивать Б с гипотетической Б' (те же задачи, без контекста).

Выводы

• Категория А (алгоритмы): все три модели справляются уверенно — средний Q = 8.8/10, медиана = 9.5.
• Категория Б (платформенные задачи): качество падает в среднем на −2.0 пункта (средний Q = 6.8), разброс от 2.0 до 9.0.
• Claude Opus 4.5 — наиболее стабильная модель: лидер в категории Б (Q = 8.4, σ = 0.89) при наименьшем разбросе результатов; рекомендуется для платформенной разработки 1С с MCP.
• Gemini 3 Flash — лучший результат в категории А (Q = 9.4), но заметное падение на платформенных задачах из-за синтаксических ошибок (ΔS = −2.8) и неточностей в метаданных (ΔP = −2.8).
• GPT-5.2 Codex — критическое снижение в категории Б (Q = 4.9, σ = 1.71); задача B3 выполнена с обрезанным выводом (Q = 2.0); непригодна для платформенных задач в текущем состоянии.
• Передача контекста метаданных через MCP не устраняет разрыв в качестве полностью: платформенная интеграция по-прежнему остаётся слабым местом всех моделей.

Ограничения исследования

Методика SMOP

SMOP — авторская система оценки качества сгенерированного кода, разработанная специально для доменно-специфичных языков, тесно связанных с метаданными конфигурации. Четыре критерия выбраны исходя из специфики платформы 1С:Предприятие: базовая исполнимость кода (S), корректность решения задачи (M), соответствие стандартам платформы (O) и точность работы с объектами метаданных (P).

Каждый критерий оценивается по дискретной шкале: 0 / 2 / 4 / 6 / 8 / 10. Чётная шкала без «средней» оценки намеренно вынуждает эксперта принимать однозначное решение.

S — Синтаксическая корректность

M — Семантическая корректность

O — Оптимальность

P — Платформенная интеграция

Интегральный показатель Q

$$Q = \frac{S + M + O + P}{4}$$

Равные веса всех четырёх критериев приняты как консервативное допущение при отсутствии эмпирических данных об их относительной значимости.

Шкала валидировалась в пилотной сессии с тремя экспертами-разработчиками 1С (опыт от 2 лет). Машиночитаемое описание критериев — в configs/smop_criteria.yaml.

Исследуемые модели

Все модели запускались через единый API-шлюз OpenRouter. Полные параметры генерации — в configs/models.yaml.

Тестовые задания

Категория А — алгоритмические (без контекста метаданных)

Категория Б — платформенные задачи (УТ11, контекст через MCP)

Промпты всех заданий — в configs/tasks_category_A.yaml и configs/tasks_category_B.yaml.

Структура репозитория

andreev-ai-codegen-1c-2026.pdf      # Полный текст научной работы
CITATION.cff                         # Метаданные для цитирования
LICENSE.md                           # CC BY 4.0
│
├── configs/
│   ├── experiment.yaml              # Метаданные эксперимента
│   ├── models.yaml                  # Параметры исследуемых LLM
│   ├── settings.yaml                # Настройки окружения (API, пути, логи)
│   ├── smop_criteria.yaml           # Критерии и шкала оценки SMOP
│   ├── tasks_category_A.yaml        # Тестовые задания категории А (A1–A5)
│   └── tasks_category_B.yaml        # Тестовые задания категории Б (B1–B5)
│
├── code_outputs/
│   ├── experiment_A_20260301_125458/  # Сгенерированный код, категория А
│   │   └── <задача>/<модель>/run_1.bsl + summary.txt
│   └── experiment_B_20260301_130327/  # Сгенерированный код, категория Б
│       └── <задача>/<модель>/run_1.bsl + summary.txt
│
├── evaluations/
│   ├── experiment_A_..._expert_01_evaluation.json  # SMOP-оценки, категория А
│   └── experiment_B_..._expert_01_evaluation.json  # SMOP-оценки, категория Б
│
├── raw_results/
│   ├── experiment_A_20260301_125458.json  # Сырые ответы моделей с метаданными
│   └── experiment_B_20260301_130327.json
│
└── reports/
    ├── *_report.html        # Интерактивные HTML-отчёты
    ├── *_report.json        # Машиночитаемые отчёты
    ├── *_tables.tex         # LaTeX-таблицы для статьи
    └── charts/              # Графики (PNG / SVG / PDF): boxplot, heatmap,
                             # radar, dashboard, models_comparison, distribution

Экосистема GenLab-1C

Данный репозиторий — архив данных научной работы. Программный комплекс, на котором проводился эксперимент, опубликован раздельно:

English Summary

Benchmarking LLM Code Generation for 1C:Enterprise 8 (BSL Language)

This repository is the reproducible research artifact for a study comparing three large language models on code generation tasks for the 1C:Enterprise platform. The paper proposes the SMOP evaluation framework (Syntax, Meaning, Optimization, Platform) and the GenLab-1C toolchain for running structured benchmarks on domain-specific languages.

Models evaluated: Claude Opus 4.5 · GPT-5.2 Codex · Gemini 3 Flash (via OpenRouter)

Key findings:

• Category A (algorithmic tasks, no metadata context): mean Q = 8.8/10 — all models perform well
• Category B (platform-specific tasks with MCP metadata context): mean Q = 6.8/10 — significant quality drop across all models
• Claude Opus 4.5 is the most consistent model (Q = 8.4 in Category B); GPT-5.2 Codex shows critical degradation (Q = 4.9)
• Providing metadata context via MCP improves platform criterion scores but does not close the quality gap entirely

Как цитировать

@misc{andreev2026llm1c,
  author    = {Андреев, Данила Сергеевич},
  title     = {Экспериментальная оценка эффективности искусственного интеллекта в генерации кода для доменно-специфичных платформ (на примере 1С:Предприятие 8)},
  year      = {2026},
  url       = {https://github.com/4dand/1c-ai-codegen-research-paper},
  note      = {Всероссийский конкурс «Национальное достояние России», 2026}
}

Также доступно машиночитаемое описание: CITATION.cff

Лицензия

Текст работы и материалы исследования распространяются под лицензией
Creative Commons Attribution 4.0 International (CC BY 4.0).