docs(benchmarks): update README files with stability options, repeat/warmup params, stat fields, and usage examples

This commit is contained in:
Sergey Penkovsky
2025-08-06 13:48:51 +03:00
parent 7f488f873e
commit 6928daa50e
2 changed files with 61 additions and 73 deletions

View File

@@ -2,28 +2,23 @@
Бенчмарки производительности и возможностей DI-контейнера cherrypick (core).
Все сценарии используют только публичное API (scope, module, binding, scoping, async).
## Сценарии
- **RegisterAndResolve**: базовая регистрация и разрешение зависимости.
- **ChainSingleton (A->B->C, singleton)**: длинная цепочка зависимостей, все как singleton.
- **ChainFactory (A->B->C, factory)**: цепочка зависимостей через factory (новый объект на каждый запрос).
- **NamedResolve (by name)**: разрешение зависимости по имени среди нескольких реализаций.
- **AsyncChain (A->B->C, async)**: асинхронная цепочка зависимостей.
- **ScopeOverride (child overrides parent)**: перекрытие зависимости в дочернем scope относительно родителя.
- **ChainSingleton** (A->B->C, singleton): длинная цепочка зависимостей, все как singleton.
- **ChainFactory** (A->B->C, factory): цепочка зависимостей через factory (новый объект на каждый запрос).
- **NamedResolve** (by name): разрешение зависимости по имени среди нескольких реализаций.
- **AsyncChain** (A->B->C, async): асинхронная цепочка зависимостей.
- **ScopeOverride** (child overrides parent): перекрытие зависимости в дочернем scope относительно родителя.
## Возможности
- **Унифицированная структура бенчмарков**: Все тесты используют единый миксин для setup/teardown (`BenchmarkWithScope`).
- **Гибкая параметризация CLI**:
Любые комбинации параметров chainCount, nestingDepth, сценария и формата вывода.
- **Массовый/матричный запуск**:
Перебор всех вариантов комбинаций chainCount и depth одной командой.
- **Машино- и человекочитаемый вывод**:
Поддержка pretty-таблицы, CSV, JSON — удобно для анализа результатов.
- **Выбор сценария**:
Запуск всех сценариев или только нужного через CLI.
- **Унифицированная структура бенчмарков**
- **Гибкая параметризация CLI (chainCount, nestingDepth, repeats, warmup, сценарий, формат)**
- **Автоматический матричный запуск для наборов параметров**
- **Статистика: среднее, медиана, stddev, min, max для каждого сценария**
- **Вывод в таблицу, CSV или JSON**
- **Прогревочные запуски до замера времени для стабильности**
## Как запустить
@@ -31,53 +26,52 @@
```shell
dart pub get
```
2. Запустить все бенчмарки с параметрами по умолчанию:
2. Запустить все бенчмарки (по умолчанию: одни значения, repeat=5, warmup=2):
```shell
dart run bin/main.dart
```
### Запуск с параметрами
### Пользовательские параметры
- Матричный прогон (csv-вывод):
- Матричный прогон (csv, 7 повторов, 3 прогрева):
```shell
dart run bin/main.dart --benchmark=chain_singleton --chainCount=10,100 --nestingDepth=5,10 --format=csv
dart run bin/main.dart --benchmark=chain_singleton --chainCount=10,100 --nestingDepth=5,10 --repeat=7 --warmup=3 --format=csv
```
- Только сценарий разрешения по имени:
- Только сценарий с именованным разрешением:
```shell
dart run bin/main.dart --benchmark=named
dart run bin/main.dart --benchmark=named --repeat=3 --warmup=1
```
- Справка по командам:
- Посмотреть все флаги CLI:
```shell
dart run bin/main.dart --help
```
#### CLI-флаги
#### Опции CLI
- `--benchmark` (или `-b`) — Сценарий:
`register`, `chain_singleton`, `chain_factory`, `named`, `override`, `async_chain`, `all` (по умолчанию)
- `--chainCount` (или `-c`) — Через запятую, несколько длин цепочек. Например: `10,100`
- `--nestingDepth` (или `-d`) — Через запятую, глубины цепочек. Например: `5,10`
- `--format` (или `-f`) — Формат вывода: `pretty` (таблица), `csv`, `json`
- `--help` (или `-h`) — Показать справку
- `--benchmark` (`-b`) — Сценарий:
`register`, `chain_singleton`, `chain_factory`, `named`, `override`, `async_chain`, `all` (по умолчанию all)
- `--chainCount` (`-c`) — Длины цепочек через запятую. Напр: `10,100`
- `--nestingDepth` (`-d`) — Глубины цепочек через запятую. Напр: `5,10`
- `--repeat` (`-r`) — Сколько раз мерить каждую конфигурацию (`по умолчанию: 5`)
- `--warmup` (`-w`) — Сколько прогревочных запусков до замера времени (`по умолчанию: 2`)
- `--format` (`-f`) — Вывод: `pretty`, `csv`, `json` (по умолчанию pretty)
- `--help` (`-h`) — Показать справку
#### Пример вывода (`--format=csv`)
```
benchmark,chainCount,nestingDepth,elapsed_us
ChainSingleton,10,5,2450000
ChainSingleton,10,10,2624000
ChainSingleton,100,5,2506300
ChainSingleton,100,10,2856900
benchmark,chainCount,nestingDepth,mean_us,median_us,stddev_us,min_us,max_us,trials,timings_us
ChainSingleton,10,5,2450000,2440000,78000,2290000,2580000,5,"2440000;2460000;2450000;2580000;2290000"
```
---
## Добавить свой бенчмарк
## Как добавить свой бенчмарк
1. Создайте Dart-файл с классом, наследующим BenchmarkBase или AsyncBenchmarkBase.
2. Используйте миксин BenchmarkWithScope для автоматического управления Scope.
3. Добавьте его вызов в bin/main.dart для выбора через CLI.
1. Создайте Dart-файл с классом, унаследованным от `BenchmarkBase` или `AsyncBenchmarkBase`.
2. Используйте миксин `BenchmarkWithScope` для управления Scope (если нужно).
3. Добавьте ваш бенчмарк в bin/main.dart для запуска через CLI.
---