Вывод лога ядра по сети с помощью netconsole

Бывает, что ядро Linux падает с kernel oops или panic. К сожалению, при этом компоненты, отвечающие за сохранение лога ядра на диске, нередко "умирают" первыми. Информация о том, что именно произошло и где (oops info, backtrace, ...) теряется, за исключением той части, которая выводится при этом на экран.

Можно настроить вывод лога ядра на другую машину по serial-соединению (например, через COM-порт). Удобно для виртуальных машин, но для реальных - не всегда.

Вместо этого можно использовать модуль ядра "netconsole" для вывода лога ядра по сети по протоколу UDP. Для ROSA Desktop Fresh он поставляется вместе с ядром как загружаемый модуль. Подробное описание этого компонента - в файле netconsole.txt в документации по ядру. Ниже - типовой сценарий использования.

Допустим, есть 2 машины, "А" и "Б" и логи ядра с первой нужно передать на вторую, допустим, на порт 12345.

Последовательность действий такая.

На машине "Б" (т.е. на принимающей стороне):

• если используется firewall - открыть выбранный порт (12345) для доступа с машины "А";
• запустить netcat или что-то аналогичное, что будет сохранять полученные данные в файл, например:

nc -l -u -p 12345 > netconsole.log

Если на машине "Б" - MS Windows, можно использовать этот вариант netcat

На машине "А" (т.е. на той, откуда передаётся лог):

• нужно подключние к сети по проводному соединению: с беспроводными netconsole не умеет работать;
• полезно включить вывод в лог ядра всех выводимых ядром сообщений, даже отладочных:

dmesg -n 7

Или можно при загрузке системы задать параметр ядра ignore_loglevel.

Также бывает полезно с помощью соотв. параметров загрузки включить отладочные режимы для тех подсистем ядра, которые хочется проанализировать, например:

• drm.debug=0x06, если отлаживаем графические драйверы;
• no_console_suspend, если отлаживаем suspend/resume.

• Загрузить модуль netconsole с нужными параметрами:

modprobe netconsole netconsole=@[ip_машины_А]/[<устройство>],<порт>@<ip_машины_Б>/[mac_адрес_сетевой_карты_на_машине_Б]

т.е., например:

modprobe netconsole netconsole=@/eth0,12345@192.168.56.185/c6:2e:79:26:35:6b

Или:

modprobe netconsole netconsole=@192.168.56.236/,12345@192.168.56.185/

В последнем случае важно не забыть завершающий слэш, иначе модуль netconsole не поймёт, что ему передали, и не загрузится.

После того, как модуль netconsole загружен, всё, что выводится в лог ядра, будет отправлено на машину "Б", даже, если на "А" "упадёт" ядро (если, конечно, не будет сбоев в самой сетевой подсистеме ядра).

Вывод лога по сети при загрузке системы

netconsole можно использовать и для этого, но тут есть несколько хитростей.

Во-первых, нужно использовать ядро, в которое netconsole встроен при сборке, а не собран как модуль: на ранних стадиях загрузки системы внешние модули ядра не подключить.

Во-вторых, в ядро должен быть встроен не только netconsole, но и используемый сетевой драйвер - по тем же причинам.

Для дистрибутивов ROSA Linux, основанных на платформе 2014.1, напр., ROSA R4 и R5, такое ядро можно взять отсюда (только для x86_64 на данный момент):

• kernel-nrj-desktop-3.14.31-1netconsole-1-1-rosa2014.1.x86_64.rpm
• kernel-nrj-desktop-devel-3.14.31-1netconsole-1-1-rosa2014.1.x86_64.rpm

В это ядро встроен netconsole, а также драйверы для нескольких часто встречающихся сетевых карт: e1000e, e1000, r8169, atl1c, atl1e.

На той машине, куда будет выводиться лог, действия те же, что и раньше:

nc -l -u -p <номер_порта> > netconsole.log

На той машине, лог с которой нужно сохранить, нужно установить оба указанных выше пакета с ядром. Затем стоит перезагрузить систему, выбрать в меню загрузчика ядро "kernel-nrj-desktop-3.14.31-1netconsole" и добавить нужные опции ядру, как минимум:

 ignore_loglevel netconsole=@<ip_откуда_отправлять>/,<номер_порта>@<IP_куда_отправлять>/

Кстати, с виртуальными машинами этот вариант может и не сработать. Впрочем, там нередко удобнее тот же лог загрузки выводить не по сети, а через serial console (связанную с вирт. COM-портом).