Мониторинг
Rediacc предоставляет встроенные команды мониторинга для проверки состояния машин, запущенных контейнеров, сервисов, статуса репозиториев и системной диагностики.
Состояние машины
Получение полного отчёта о состоянии машины:
rdc machine health server-1
Отчёт включает:
- Система: время работы, память (предупреждение выше 80%, ошибка выше 90%), использование диска и хранилища данных (предупреждение выше 85%, ошибка выше 95%)
- Контейнеры: количество запущенных, исправных и неисправных; контейнер в цикле
Restartingкритичен - Сервисы: упавшие юниты systemd (ошибка) и юниты, которые постоянно перезапускаются (критично)
- Хранилище: состояние SMART (отказывающий диск критичен) и температура диска
- Репозитории: репозитории с автозапуском, которые не смонтированы, и использование файловой системы каждого репозитория (предупреждение выше 85%, ошибка выше 95%)
- Резервные копии: репозитории без резервной копии более 10 дней, отстающие от расписания или цели либо с неудачной последней проверкой
- Лицензии: просроченные, отсутствующие, не совпадающие или недействительные лицензии репозиториев, а также лицензии, которые пора обновить
- Процессы renet: демоны, которые всё ещё работают на заменённом бинарном файле renet
- Состояние репозиториев: результат
health()каждого смонтированного репозитория (см. ниже) - Сертификаты: сертификаты прокси, срок действия которых близок к концу, и общие CNAME ACME-проверок
- Проблемы: обнаруженные проблемы
Код выхода и есть вердикт: 0 находок нет (репозиторий без проверки health() значится как «нет проверки» и никогда не считается исправным), 1 предупреждение, 2 ошибка, 3 критично (отказывающий диск либо контейнер или сервис в цикле перезапуска). Используйте --output json для машиночитаемого вывода; он содержит repo_health (по одному отчёту на репозиторий) и findings, где у каждой находки есть код, степень серьёзности (info, warning, error или critical), объект, подробности и, если исправление существует, fix (см. Ремонт).
Состояние репозитория
Rediaccfile может определять функцию health(), которая проверяет собственные сервисы репозитория (Сервисы): код выхода 0 в порядке, 1 предупреждение, 2 ошибка. Запуск для одного репозитория:
rdc repo health my-app@server-1
Команда завершается с худшим уровнем среди всех Rediaccfile репозитория. Репозиторий, в котором ни один Rediaccfile не определяет health(), выводит проверки нет и завершается с кодом 0; он никогда не сообщается как исправный. health(), который превысил время, был убит или завершился с любым другим кодом, считается ошибкой, как и недоступность машины (код 2).
rdc machine health запускает health() каждого смонтированного репозитория одним вызовом и переносит худший уровень в собственный код выхода, создавая по одной находке на репозиторий с предупреждением (repo.health.warning) или ошибкой (repo.health.error). Репозитории без проверки перечисляются, но не считаются проблемой. Если renet машины старее проверок состояния репозиториев, результат один: предупреждение renet.repo-health.unsupported, пока rdc machine setup не обновит его.
Срок действия сертификатов и ACME-проверки
rdc machine health читает ACME-сертификаты прокси и сообщает cert.expiry.near для каждого, до истечения которого осталось менее 21 дня (предупреждение) или менее 7 дней (ошибка). Прокси продлевает сертификат за 30 дней, поэтому остаток менее 21 дня означает, что продление не удаётся уже минимум девять дней.
Также сообщается acme.challenge.cname-shared, когда запись _acme-challenge.<name> имени сертификата по CNAME ведёт на имя, которое само не является именем _acme-challenge., или когда два имени заканчиваются на одном и том же имени. Подстановочная запись, которая является CNAME, создаёт именно такую картину: все проверки попадают на одно имя, и продления сталкиваются. Намеренное делегирование (например, _acme-challenge.mail.example.com, указывающее на _acme-challenge.mail.example.io) не сообщается; любое другое задуманное делегирование перечислите в ACME_DELEGATED_NAMES (список имён сертификатов через запятую) в config.env прокси. Имя, цепочку проверки которого не удалось разрешить (ни один DNS-резолвер не ответил по нему), сообщается как acme.challenge.unknown, предупреждение, поскольку проверка для него не выполнялась.
Ремонт
Каждая находка несёт код и, если есть безопасное исправление, fix с полями action, class (класс безопасности) и window_only. rdc machine health остаётся только для чтения; действует команда rdc machine repair:
rdc machine repair server-1 --dry-run # list what would run
rdc machine repair server-1 # run the auto-safe fixes, then re-check
rdc machine repair server-1 --code cert.expiry.near
| Класс | Значение |
|---|---|
auto-safe | Выполняется по умолчанию: перезапуск контейнера или Traefik, trim и очистка, запись якоря ACME |
auto-with-backup | Выполняется только с --with-backup, после успешного снимка репозитория; неудачный снимок отменяет исправление |
operator-only | Не выполняется никогда. Команда выводит точную команду для ручного запуска. Сюда относится всё, что удаляет именованные данные или тратит деньги |
window_only является дополнительным условием поверх класса: исправление выполняется только внутри окна обслуживания машины, HH:MM-HH:MM по UTC (окно может переходить через полночь). Машина без окна никогда не выполняет такие исправления сама; --window-override запускает их вручную. Задать или снять окно можно так:
rdc machine repair server-1 --set-window 00:00-03:00
rdc machine repair server-1 --set-window off
Каждое исправление сначала проверяет, что его находка всё ещё на месте, поэтому повторный запуск сообщает, что делать нечего. Исправления, затрагивающие одно и то же, выполняются один раз (один перезапуск Traefik охватывает все сертификаты). Каждое исправление записывается в журнал машины с тегом rediacc-repair и в JSON-поле actions (code, subject, action, class, result, before, after), а запуск завершается полной повторной проверкой. Код выхода равен 0, когда ничего не осталось, 1, когда остались предупреждения или пункты operator-only, и 2, когда осталась ошибка или критичная находка либо исправление не удалось. rdc machine repair никогда не завершается с кодом 3; только rdc machine health его возвращает.
| Находка | Исправление | Класс |
|---|---|---|
datastore.usage.high, repo.disk.high | Trim, затем очистка остановленных контейнеров, анонимных осиротевших томов и неиспользуемых образов | auto-safe |
container.unhealthy, container.restart-loop | Перезапуск контейнера | auto-safe |
renet.binary.replaced | Перезапуск затронутых супервизоров репозиториев (rdc machine restart-services --include-docker, только для них) | auto-safe, только в окне |
cert.expiry.near | Перезапуск Traefik, чтобы он повторил продление | auto-safe |
acme.challenge.cname-shared | Запись якоря ACME (ниже) | auto-safe (operator-only, когда объявлено делегирование и нет пригодного токена Cloudflare) |
repo.health.warning, repo.health.error | Запуск repair() репозитория (Сервисы) | класс, объявленный в Rediaccfile |
repo.unmounted, service.failed, service.restart-loop, backup.*, license.*, renet.repo-health.unsupported | Выводится как команда для запуска | operator-only |
Находки без исправления (сбои SMART, температура, память, системный диск, неудачная проверка) сообщаются и остаются на усмотрение оператора.
Очистка никогда не затрагивает хаб: контейнеры с меткой rediacc.hub.* и тома с меткой rediacc.hub.user или с именем rediacc-hub-home-* исключены, поэтому домашний каталог пользователя хаба переживает любое освобождение места. Остаток, который trim и очистка освободить не могут (именованные тома, крупные данные приложений), остаётся решением оператора.
Ремонт репозитория
rdc repo repair my-app@server-1 --dry-run
rdc repo repair my-app@server-1
rdc repo repair запускает функции repair() репозитория с теми же классами: auto-safe выполняется, auto-with-backup требует --with-backup, а необъявленный (operator-only) repair() выполняется только после ответа на запрос или с --yes. Затем health() выполняется снова, и код выхода соответствует итоговому уровню: 0 в порядке или проверки нет, 1 предупреждение, 2 ошибка или неудавшийся repair().
Якорь ACME
Подстановочная DNS-запись, которая является CNAME, заставляет каждое имя _acme-challenge.<host> следовать за ней, поэтому все проверки попадают на одно имя, а продления сталкиваются (acme.challenge.cname-shared). Исправление записывает TXT-запись со значением rediacc-acme-anchor в каждое конфликтующее имя _acme-challenge.<name> через токен Cloudflare прокси, а затем перезапускает Traefik. Явная запись выводит имя из зоны действия подстановки, и проверка попадает туда, куда нужно. Исправление только добавляет записи, а существующий якорь остаётся как есть. Имя проверки, которое само является CNAME, не может содержать рядом TXT-запись: Cloudflare отклоняет запись, и исправление выбирает тот же запасной путь, что и для зоны, в которую токен писать не может (следующий абзац).
Имена из ACME_DELEGATED_NAMES (список имён сертификатов через запятую в config.env прокси) являются намеренными делегированиями: они никогда не привязываются якорем и не сообщаются. Если у прокси нет пригодного токена Cloudflare, исправление переходит к LEGO_DISABLE_CNAME_SUPPORT=true в config.env, но только когда не объявлено ни одного делегированного имени, потому что эта переменная отключает следование за CNAME для всех имён; при объявленном делегировании находка остаётся operator-only. То же исправление выполняется при каждой установке прокси (rdc machine infra push) и отдельно командой renet proxy acme-fix на машине.
Список контейнеров
Просмотр всех запущенных контейнеров во всех репозиториях на машине:
rdc machine status server-1 --containers
| Столбец | Описание |
|---|---|
| Name | Имя контейнера |
| Status | Время работы или причина остановки |
| State | Запущен, остановлен и т.д. |
| Health | Исправен, неисправен, нет |
| CPU | Процент использования CPU |
| Memory | Использование памяти / лимит |
| Repository | Репозиторий, которому принадлежит контейнер |
Параметры:
--health-check, выполнить активные проверки состояния контейнеров--output json, машиночитаемый вывод в формате JSON
JSON-вывод включает полные сведения о контейнере (labels, port_mappings, image, id), а также repository (разрешённое имя), repository_guid (исходный GUID), domain и autoRoute.
Список сервисов
Просмотр systemd-сервисов, связанных с Rediacc, на машине:
rdc machine status server-1 --services
| Столбец | Описание |
|---|---|
| Name | Имя сервиса |
| State | Активен, неактивен, сбой |
| Sub-state | Запущен, остановлен и т.д. |
| Restarts | Количество перезапусков |
| Memory | Использование памяти сервисом |
| Repository | Связанный репозиторий |
Параметры:
--stability-check, пометить нестабильные сервисы (сбой, более 3 перезапусков, автоматический перезапуск)--output json, машиночитаемый вывод в формате JSON
JSON-вывод включает полные сведения о сервисе с repository (разрешённое имя) и repository_guid (исходный GUID).
Список репозиториев
Просмотр репозиториев на машине с подробной статистикой:
rdc machine status server-1 --repositories
| Столбец | Описание |
|---|---|
| Name | Имя репозитория |
| Size | Размер образа диска |
| Mount | Смонтирован или размонтирован |
| Docker | Docker daemon запущен или остановлен |
| Containers | Количество контейнеров |
| Disk Usage | Фактическое использование диска внутри репозитория |
| Modified | Время последнего изменения |
Параметры:
--search <text>, фильтрация по имени или пути монтирования--output json, машиночитаемый вывод в формате JSON
JSON-вывод включает name (разрешённое) и guid (исходный GUID), а также содержит для каждого репозитория вложенные массивы containers (с domain, autoRoute, repository/repository_guid) и services.
Состояние хранилища
Проверка фрагментации BTRFS и совместного использования reflink во всех репозиториях на машине:
rdc machine status server-1 --storage-health
| Столбец | Описание |
|---|---|
| Quota | Максимальный размер репозитория (потолок роста, установленный при создании или изменением размера/автоувеличением) |
| Allocated | Сколько разреженный образ фактически занимает в пуле в данный момент |
| Unique | Фактические уникальные данные, принадлежащие только этому репозиторию |
| Shared | Блоки данных, повторно используемые между репозиториями через BTRFS reflinks (бесплатные копии) |
| Reclaimable | Разница между выделенным и использованным, которую repo trim может вернуть в пул. Показывает - для размонтированных репозиториев |
| Discards | Пропускает ли зашифрованный том discards (on для любого репозитория, смонтированного текущей версией) |
| Divergence | Процент образа, уникального для данного репозитория, а не разделяемого (выше = больше освобождается при удалении) |
| Frag | Количество экстентов на ГБ в copy-on-write образе (только информационно) |
Quota и Allocated намеренно различаются: репозиторий с квотой 20 ГБ, хранящий 6 ГБ данных, обходится пулу только тем, что он выделил. Пул поэтому может суммарно обещать больше квоты, чем физически имеет, а столбец Reclaimable показывает, какая доля выделения каждого репозитория уже не используется и может быть освобождена операцией trim.
Ниже таблицы сводка пула отображает уровень заполнения хранилища и сколько пространства удерживают снимки резервных копий:
Pool: 265.4 GB used, 95.2 GB free (73.6% full)
Backup snapshots pin 2.1 GB (1 active, 0 stale; stale ones are removed by 'rdc machine prune')
Пока выполняется резервное копирование, его снимок продолжает ссылаться на каждый блок, разделяемый с живыми репозиториями, поэтому удаления и операции trim освобождают меньше пространства в пуле до завершения этого цикла резервного копирования и удаления снимка. Устаревшие снимки от прерванных резервных копий автоматически удаляются обслуживающей службой хранилища в течение нескольких минут.
В сводке отображается общая экономия от BTRFS reflinks:
14 repos, 224.3 GB virtual size
Unique data: 323.7 MB | Shared: 224.0 GB | Efficiency: 99.9%
- Виртуальный размер: сумма размеров образов всех репозиториев. Именно так выглядят репозитории, однако блоки, используемые совместно через reflinks, учитываются дважды.
- Уникальные данные: фактически потреблённое хранилище данными репозитория, существующими только в одном репозитории. Именно это будет освобождено при удалении репозитория.
- Общие данные: данные, повторно используемые между репозиториями через BTRFS reflinks. При форке репозитория создаются reflink-копии, которые совместно используют блоки до тех пор, пока одна из сторон не запишет новые данные, после чего блоки расходятся.
- Эффективность: процент данных, повторно используемых через reflinks. Чем выше, тем лучше. Машина со множеством форков одного родительского репозитория будет показывать эффективность близкую к 100%.
Столбец Frag информационный. Он считает экстенты файла copy-on-write образа, а не файлы, которые читает ваше приложение внутри него, поэтому он высокий при обычных нагрузках со случайной записью (базы данных, слои контейнеров) и не предсказывает производительность чтения на SSD-хранилище. Rediacc намеренно не предлагает команду дефрагментации: btrfs filesystem defragment разрывает reflinks форков и снапшотов, что на почти заполненном пуле может резко увеличить использование пространства, тогда как бенчмарки не показывают ощутимого прироста скорости чтения. Полные измерения и обоснование см. в статье Ваш показатель фрагментации выглядит пугающе. Я замерил, чего он стоит..
Сканирование выполняется параллельно и занимает 5-15 секунд в зависимости от количества и размера репозиториев. Если --storage-health не указан, после вывода запроса появляется однострочная подсказка в качестве напоминания.
Скраб BTRFS
Rediacc автоматически планирует еженедельный скраб BTRFS на каждой машине. Скраб читает каждый блок данных в хранилище, проверяет контрольные суммы и сообщает о любом повреждении. Это позволяет обнаружить скрытое повреждение данных (битрот) до того, как оно распространится на резервные копии и форки.
Скраб выполняется каждое воскресенье в 02:00 местного времени (часовой пояс машины) со случайной задержкой до 1 часа. Он работает с наименьшим приоритетом ввода-вывода (ionice idle, nice 19), поэтому не мешает работающим сервисам. На машинах с SSD ожидайте приблизительно 8 минут на каждые 100 ГБ хранилища.
Таймер скраба устанавливается автоматически при первом запуске демона после обновления renet. Когда политика скраба изменится в будущей версии renet, она обновляется сама при следующем запуске демона без каких-либо действий со стороны пользователя.
Статус скраба
Результат последнего скраба сохраняется за пределами тома BTRFS (в /var/lib/rediacc/scrub-last-result.json), чтобы он оставался доступным для чтения, даже если у тома есть проблемы. Вывод rdc machine status --system включает поле scrub_status:
"scrub_status": {
"last_run_human": "3 days ago",
"status": "ok",
"total_errors": 0,
"uncorrectable": 0,
"duration_seconds": 312
}
| Статус | Значение |
|---|---|
ok | Последний скраб завершён без ошибок |
never_run | Скраб ещё не выполнялся (таймер только что установлен) |
overdue | Последний скраб был более 14 дней назад |
errors_found | Скраб обнаружил несоответствия контрольных сумм (проверьте счётчики total_errors и uncorrectable) |
failed | Процесс скраба завершился с ненулевым кодом |
Если uncorrectable больше нуля, повреждённые блоки нельзя восстановить автоматически (однодисковый BTRFS не имеет избыточной копии). Восстановите затронутый репозиторий из последней резервной копии.
Ручной скраб
Для немедленного запуска скраба (например, после перебоя питания или миграции диска):
rdc term connect server-1 -c "sudo renet maintenance scrub --datastore /mnt/rediacc"
Результат сохраняется в тот же JSON-файл и сразу становится видимым при следующем вызове rdc machine status --system.
Обзор машины
Получение полного обзора машины, включая информацию о развёртывании:
rdc machine status server-1
Предоставляет:
- Имя хоста и время работы
- Использование памяти, диска и хранилища
- Общее количество репозиториев, количество смонтированных и количество репозиториев, где Docker daemon отвечает
- Подробную информацию по каждому репозиторию
Используйте --output json для машиночитаемого вывода.
Проверка соединения
Проверка SSH-подключения к машине:
rdc term connect server-1 -c "hostname"
Команда выводит удалённое имя хоста при успехе и ошибку соединения в противном случае, что за один шаг проверяет DNS, SSH-порт и аутентификацию по ключу.
Диагностика (doctor)
Запуск полной диагностической проверки среды Rediacc:
rdc doctor
| Категория | Проверки |
|---|---|
| Окружение | Версия Node.js, версия CLI, режим SEA, установка Go, доступность Docker |
| Renet | Расположение бинарного файла, версия, CRIU, rsync, встроенные ресурсы SEA |
| Конфигурация | Активная конфигурация, адаптер, машины, SSH-ключ |
| Виртуализация | Проверяет, может ли система запускать локальные виртуальные машины (rdc ops) |
Каждая проверка сообщает OK, Предупреждение или Ошибка. Используйте это как первый шаг при устранении любых неполадок.
Коды выхода: 0 = всё пройдено, 1 = предупреждения, 2 = ошибки.
Проверки готовности сервисов
В процессе repo up renet ожидает, пока HTTP-сервисы начнут принимать соединения, и лишь после этого объявляет их готовыми. Ожидание учитывает состояние проверки здоровья:
- Контейнеры, которые Docker сообщает как healthy, принимаются сразу, TCP-опрос не выполняется.
- Контейнеры, находящиеся в пределах
start_periodсвоей проверки состояния, записывают информационную запись, а не предупреждение; прокси продолжает попытки подключения до их готовности. - Compose-сервисы без запущенного контейнера (например, скрытые за неактивным профилем) пропускаются.
- Все остальные сервисы опрашиваются по TCP не более 15 секунд (задайте
REDIACC_READINESS_TIMEOUTв секундах, чтобы изменить это значение).
Если определить проверку состояния Docker для медленно запускающихся сервисов, renet получит авторитетный сигнал о готовности и устранит лишние записи опроса из вывода деплоя.