JSON-логи Nginx в systemd journal
Настраиваем log_format Nginx для структурированных JSON-логов и отправляем access_log и error_log в systemd journal через syslog. Также разбираем параллельную запись в разные форматы для отладки.
Фото: cottonbro studio / Pexels← Все подборки
Отладка и диагностика
Разбор проблем, логи, strace, core dump, контрольные суммы, производительность и расследования.
debugотладкадиагностикаstracecore dumpлогиlogsless
52
материалов в подборке
Материалы для случаев, когда что-то сломалось, тормозит или ведет себя подозрительно.
Как гарантированно удалять tmp-файлы через trap
Используем Bash trap с EXIT для автоматической очистки временных файлов при успешном завершении, ошибке и SIGTERM. Проверяем порядок системных вызовов через strace и разбираем работу ловушек сигналов.
Как создать дерево каталогов одной командой mkdir
Создаём вложенную структуру каталогов одной командой mkdir с ключом -p и brace expansion. Сравниваем последовательность команд с компактным вариантом и проверяем запуск через strace.
Чем rm отличается от unlink
Сравниваем команды rm и unlink в Linux: системные вызовы, обработку отсутствующих файлов, шаблоны и каталоги. Показываем, когда unlink удобнее для контроля ошибок в Bash-скриптах.
Поиск медленных systemd-юнитов через systemd-analyze
Ищем службы, которые замедляют загрузку Linux, командами systemd-analyze blame и critical-chain. На примере Docker разбираем зависимости network-online.target и настройку systemd-юнита.
Три игры для изучения командной строки Linux
Три игровых тренажёра для изучения командной строки Linux: BashCrawl, Terminus и CL Mystery. Они помогают практиковать навигацию, команды и логику в формате текстовых приключений и детективных квестов.
Измерение времени Bash-скриптов через EPOCHREALTIME
Функция uTIME измеряет интервалы выполнения Bash-кода в микросекундах с помощью EPOCHREALTIME. Сравниваем функции в текущей оболочке и subshell, а также преобразование даты через printf и внешнюю команду date.
Логирование cron-задач и ротация логов
Показываем, как сохранить стандартный вывод cron-задачи в отдельный файл и настроить его ротацию через logrotate. Такой журнал помогает увидеть внутренние ошибки приложения, которые не попадают в системный лог cron.
Как запускать долгие скрипты в screen
Разбираем запуск долгих задач в именованных screen-сессиях, подключение через -r и -x и корректное отсоединение сочетанием Ctrl+A, d. Показываем фоновый запуск, передачу команд в сессию и организацию логирования.
Как сломанный MySQL exporter спрятал отставание реплики
MySQL-реплика отстала на три месяца, но Prometheus и Grafana не подняли тревогу. Разбираем самодельный Bash-экспортёр, значение Null в Seconds_Behind_Master и исчезнувшую метрику.
Сколько раз mktemp пытается создать временный файл
Разбираем mktemp через strace и подменяем результат системного вызова openat. Эксперимент показывает, сколько имён перебирает coreutils при ошибке EEXIST и откуда берётся число попыток.
Как расшифровать ошибки MySQL через perror
Разбираем числовой errno из лога MySQL с помощью штатной утилиты perror. На примере ошибки 24 находим лимит открытых файлов и проверяем open_files_limit, ulimit и системные ограничения.
Как найти узкое место в pipe через strace
Используем strace с измерением времени системных вызовов, чтобы увидеть блокировку записи в Linux pipe. Разбираем сложную команду и находим скачок задержки после заполнения буфера объёмом 65536 байт.
Как создать и завершить зомби-процесс в Linux
Создаём зомби-процесс на C и Bash, находим его и родительский PID через ps и разбираем завершение процесса. Объясняем, почему kill по PID зомби не помогает и когда такие записи можно не трогать.
Детерминированные пароли с pwgen
Генерируем повторяемые пароли через pwgen по логину, ключевому файлу и запоминаемому модификатору. Bash-обёртка скрывает ввод, проверяет зависимости и позволяет получать тот же набор паролей без их хранения.
Как проверить каталоги в PATH одной командой
Разбираем Bash-команду, которая проверяет каждый элемент PATH и выводит отсутствующие или недоступные каталоги. Пошагово объясняем set -f, IFS, проверку переменной, права доступа и диагностику путей через namei.
Как раскрасить логи в терминале с ccze
Утилита ccze добавляет цветовую подсветку к системным логам в терминале и выделяет ошибки. Показываем работу с cat и tail, сохранение последних строк в цветной HTML-файл и просмотр доступных плагинов.
Почему ls теряет цвета в pipe
Исследуем, почему ls отключает ANSI-цвета при передаче вывода через pipe. С помощью strace находим ENOTTY, подменяем результат ioctl и возвращаем управляющие последовательности опциями color=always и cat -v.
Как узнать, какие сигналы обрабатывает процесс
Читаем поля SigBlk, SigIgn и SigCgt в /proc/PID/status и переводим шестнадцатеричные битовые маски в имена сигналов Linux. В конце собираем готовый Bash-скрипт для диагностики процесса.
Почему rm -rf удаляет систему
Разбираем Патч Бармина и поведение команды rm -rf /* в Unix-системах. Показываем раскрытие glob оболочкой, права на каталоги, интерактивный режим и защиту --preserve-root=all.
Почему Bash-цикл зависает после grep -m1
Исследуем бесконечный Bash-цикл, канал до grep -m1 и незаметный SIGPIPE. Смотрим коды сигналов, процессы подоболочки и способы корректно остановить cat после закрытия конвейера.
Как отлаживать sed с помощью strace
Практическое знакомство со strace на примере редактирования файла командой sed. По системным вызовам openat, read, write и rename разбираем работу временного файла и поиск ошибок доступа.
Как найти зависание PHP-FPM с помощью strace
Практический разбор зависания PHP-FPM и ошибки 502 Bad Gateway с помощью strace и lsof. По файловому дескриптору находим недоступный Elasticsearch, из-за которого воркер перестаёт обрабатывать запросы.
Как перенаправить stdout и stderr работающего процесса
Перенаправляем stdout и stderr уже запущенного процесса в /dev/null без остановки. На примере tail, /proc и gdb разбираем файловые дескрипторы и вызов dup2 для потоков 1 и 2.
Как OOM Killer выбирает процессы в Linux
Разбираемся, почему Linux при нехватке памяти завершает не обязательно самый большой процесс. Смотрим oom_score и oom_adj, меняем вероятность завершения процесса и задаём OOMScoreAdjust в systemd-юните.
Как восстановить удалённый лог через файловый дескриптор
Воспроизводим ситуацию, когда процесс продолжает писать в удалённый лог через открытый файловый дескриптор. Восстанавливаем содержимое через /proc, а затем с помощью GDB переключаем работающий процесс на новый файл без …
Как отладить core dump в Linux
Включаем создание core dump через sysctl и ulimit, намеренно вызываем segmentation fault в программе на C и исследуем дамп памяти в GDB. По стеку и значению указателя находим причину падения и исправляем код.
Как работает eval в Bash
Разбираем двойную обработку команд в Bash через eval на примерах brace expansion, косвенного раскрытия переменных и файловых дескрипторов. Показываем, почему перенаправление с переменной требует ещё одного прохода интерпретатора.
Как работают разрежённые файлы в Linux
Разбираемся, как sparse-файлы экономят физическое место на диске, но сохраняют заявленный логический размер. Создаём разрежённый файл через dd и truncate, форматируем его в ext4 и выясняем, как эту технологию используют …
Почему base64 превращается в Jase64
Разбираем странный вывод Jase64 вместо base64 с помощью strace и системного вызова write. Смотрим, как ESC-последовательности проходят через псевдотерминал и почему эмулятор терминала скрывает первый символ сообщения об ошибке.
Less и секретный режим мониторинга
Я пробовал разные инструменты, но только less позволил мне объединить просмотр и поиск в одном окне. Я могу прыгать по строкам, искать IP‑адреса и мгновенно возвращаться в режим слежения нажатием SHIFT+F. Это экономит кучу времени …
Тайна вызова Less в Linux утилитах
Знаешь этот бесконечный скролл в git log? Кто-то привык к пагинации, кто-то тупо шпарит grep. Я расскажу тебе как git управляет выводом истории коммитов через внешнюю утилиту less. И да, если её убить — простыня посыплется без …
Awk для новичков. Как автоматизировать анализ логов
Я знаю, что сейчас все гонятся за JSON, и это удобно для новичков. Но когда речь заходит о реальной работе с большими логами, я всегда возвращаюсь к awk. Мой опыт показывает, что для быстрых фильтров и обработки огромных объемов …
Диагностика проблем 1С через контрольные суммы
Если 1С начинает работать с ошибками и стандартные методы не помогают, причина может быть в повреждённых файлах. В посте показан способ сравнения каталогов с помощью rsync и md5sum. Разбираем, как найти расхождения и подтвердить …
Как дебажить Kubernetes и Docker с помощью «тулбоксов»
Любишь Kubernetes и Docker, но дебаг — головная боль? Покажу, как тулбоксы с набором утилит помогают быстро диагностировать проблемы и даже внедрять debug-контейнеры прямо в pod. Работает и на обычном докере!
Как nano и vim работают с файлами
Иногда кажется, что редакторы работают одинаково, но это не так. Вчера проверял, почему lsof видит открытый файл в vim, но не в nano. В посте простой разбор с примерами и выводами.
Секретный инструмент в DevTools - Sensors
Если ты фронтендер или тестировщик — это must-have фича. Sensors помогает эмулировать геолокацию и поведение устройства, а Throttling — скорость сети, чтобы увидеть настоящие баги и слабые места.
Помещаем процессы в «клетку» или cgroups для начинающих
Сегодня покажу, как ограничить жор ресурсов у своих скриптов. Если хочешь, чтобы сервер не превращался в печку — тебе сюда.
Почему Docker возвращает неправильный Exit Code
Почему контейнер Docker «маскирует» код выхода приложения и как правильно настроить запуск, чтобы видеть настоящий exit code.
Как я оптимизировал тормоза 1С на PostgreSQL с помощью pidstat
Делюсь скриптом и лайфхаками, которые помогли нам понять, где именно «тормозит» база и 1С в реальной работе.
Настройка core dump в Docker
Если приложение в Docker внезапно упало, этот пост поможет настроить сбор дампов и разбираться с ошибками.
Погружение в Linux ядро. Мой опыт с fanotify и eBPF
Иногда проще сделать chown -R, но я решил заморочиться и написать свой мониторинг на eBPF. Рассказываю, что из этого вышло и почему это стоило того.
Коллизии MD5 и почему один байт может сломать всё
Показываю на примере, как MD5 может выдать одинаковый хеш для двух разных файлов и почему стоит перейти на более надёжные алгоритмы.
Ищем узкие места в проде с помощью strace
Если продакшен тормозит, strace поможет найти виновника и быстро исправить ситуацию.
Дебаг при подключении кастомного S3 к TaskWarrior
Мои попытки избавиться от сервера синхронизации и подключить кастомное S3 хранилище от Selectel в качестве базы данных для синхронизации между устройствами.
Закончилось место на диске? Или же закончились inode?
Ситуация неприятная и чаще всего выходом служит удаление «ненужных» файлов. Рассмотрим ситуацию, когда все файлы нужны, то есть удалять ничего не будем.
Telnet для сетевых инженеров. Автоматизация и обход логина
Если тебе надо быстро подключиться к сетевому устройству и выполнять команды — этот пост для тебя. Поделюсь рабочими скриптами для Telnet с и без логина, а также лайфхаками по парсингу ответов.
Как в процессе дебага убить 4 часа
Когда лезешь в логи, меняешь конфиги и думаешь, что проблема глобальная, а решается она одной галкой.
Манипулируем логами с помощью systemd-cat
Как направить логи прямиком в journald без костылей и внешнего софта.
Кругом грабли!
Потребовалось мне сегодня поднять один серверный линукс дистрибутив на базе debian. Задача не тривиальная. Но по итогу как обычно подкинули граблей. Раньше всегда был уверен, что если сделать машину с параметрами 1 CPU, 512МБ RAM, …
Подводные камни в Bash №8
В Bash конструкция [ ... ] — не часть синтаксиса if, а отдельная команда, аналогичная test. Разбираем, как на самом деле выполняются условия и почему это важно для скриптов.
Что делать если все сломалось?
К предыдущему посту было написано достаточно много полезных комментариев и один из них представляет собой очень достойный чек-лист от Андрея. Вся годнота внутри 👇 Сообщи начальнику: "Упал прод. Разбираюсь в проблеме. Займет Х мин"