Записки программиста

Сегодня мы научимся собирать ядро и мир (основные исполняемые файлы, библиотеки и тд) FreeBSD из сходных кодов. Ранее в заметке PostgreSQL: сборка из исходников и настройка под Linux мы выясняли, зачем нужно уметь собирать что-то из исходников. Основными сценариями являются оптимизация под конкретное железо и получение самого свежака прямо из ветки master. Кроме того, вы можете настроить ядро под свои конкретные нужды — выбрать шедулер, отключить IPv6, убрать поддержку лишнего железа и тд. Наконец, если вдруг вы планируете когла-нибудь стать коммитером в ядро FreeBSD, знания о том, как это ядро собирается, будут не лишними.

Дисклеймер: Многое из написанного ниже может потерять актуальность к моменту, когда вы будете это читать. Прежде, чем действовать по приведенной инструкции, не лишним будет сначала свериться с хэндбуком. Заметьте также, что ниже речь идет исключительно про сборку ядра и мира из исходников, а процедура бинарного обновления системы описана в заметке Памятка по обновлению ядра и мира FreeBSD.

Подготовка окружения

При написании заметки я использовал следующий установочный диск:

Лишней железки под рукой у меня не было, поэтому все эксперименты ставились на VirtualBox. Был выбран VirtualBox, а не Vagrant, так как нам понадобится доступ к монитору системы. В VirtualBox в настройках сети было создана два адаптера — один NAT и один Host Only. Первый нужен для доступа гостевой системы в интернет. Второй позволит ходить в гостевую систему с хост-системы по SSH.

После установки системы ставим пакеты git-lite, vim-lite, tree, bash, sudo, правим /usr/local/etc/sudoers, затем меняем оболочку пользователя:

В ~/.gitconfig дописываем:

Мне лично еще очень нравится иметь в системе привычный htop:

Подробности про первоначальную настройку системы и управление пакетами во FreeBSD вы найдете в заметках Использование FreeBSD на десктопе, версия 2.0 и Управление пакетами во FreeBSD при помощи утилиты pkg соответственно.

Собираем ядро

То, как будет собираться ядро FreeBSD, контролируется несколькими файлами конфигурации.

Часть настроек лежит в /etc/make.conf. Этот файл влияет на сборку портов, мира, ядра FreeBSD, и вообще любых программ на C. Здесь можно указать CPU, под который производится сборка, флаги оптимизации, и так далее. Перечень всех доступных опций можно подглядеть в /usr/share/examples/etc/make.conf и man make.conf. Пример /etc/make.conf:

Еще есть /etc/src.conf, который имеет немного другие настройки и затрагивает только ядро и мир. Подробности смотри в man src.conf. Пример /etc/src.conf:

Наконец, также существует и файл конфигурации самого ядра. Про него будет рассказано далее.

Если при установке FreeBSD вы поставили галочку «установить все исходники», то исходники ядра и мира будут находится в каталоге /usr/src. Информацию о том, что в каком подкаталоге находится, можно найти в Developer’s Handbook и файле README.

Забыли поставить галочку? Не расстраивайтесь. Все равно вам, скорее всего, хотелось бы иметь самые свежие исходники, а не те, что были записаны на установочный CD. Исходники FreeBSD можно скачать с официального SVN-репозитория, а также с его зеркала на GitHub.

Мне лично Git ближе и милее, поэтому я сделал следующее:

Выбираем ветку. Я лично выбрал master.

Если же вы все-таки предпочитаете Subversion:

Настройки, с которыми собирается ядро, лежат в файле:

Название архитектуры зависит от вашего CPU. Как правило, это либо i386, либо amd64. Конфиг ядра, идущего в системе по умолчанию, называется GENERIC. Можно скопировать его и назвать, например, MYKERNEL.

Конфиг хорошо документирован. К примеру, можно отключить поддержку IPv6 и IPSec, закомментировав две строчки:

Важно! В CURRENT по умолчанию включен механизм witness, предназначенный для поиска дэдлоков. Имейте в виду, что он может выводить в консоль пугающие стэктрейсы, некоторые из которых являются багами и должны быть зарепорчены в рассылку freebsd-current@, а некоторые являются вполне безобидными. Также сообщается, что механизм этот довольно тормозной, и потому вам вполне может захотеться его отключить.

Собираем ядро с нашими настройками:

Перед установкой ядра делаем резервную копию текущего:

При установке нового ядра резервная копия создается автоматически, но эта копия будет затерта при следующей установке. После создания резервной копии вручную у нас под рукой всегда будет 100% рабочий GENERIC, с которого можно будет загрузиться в случае возникновения проблем.

Устанавливаем новое ядро:

После установки ядро окажется в каталоге /boot/kernel, а резервная копия текущего ядра будет лежать в /boot/kernel.old.

Вместо пары шагов buildkernel и installkernel также можно было использовать команды:

Этим мы сказали положить ядро в /boot/kernel.test и использовать его один раз при следующей закрузке. Если все пройдет хорошо, после перезагрузки /boot/kernel.test можно будет переименовать в /boot/kernel. Этот вариант может быть удобнее, если к машине нет физического доступа.

Перезагружаемся:

После загрузки системы проверяем версию ядра:

Должны увидеть что-то вроде

Если что-то пошло не так, при загрузке системы в меню можно выбрать загрузку с kernel.old (нажатием цифры 5). Также можно выбрать «Escape to a loader prompt» (нажатием цифры 3) и выбрать вообще любое ядро, например:

Таким образом, даже если мы вдруг запорим ядро, есть запасной парашют.

Собираем мир

Мир от FreeBSD 10 почти наверняка будет не лучшим образом работать с ядром FreeBSD 11. Поэтому не лишено смысла вместе с пересборкой ядра системы обновить сразу и мир.

Важно! Компиляция мира может занять очень много времени, особенно если в VirtualBox вы дали виртуалке только одно ядро. Если вы используете реальную машину, вам потребуется физический доступ к ней. Также от вас потребуется вручную смержить множество конфигов, подтвердить удаление множества файлов, а потом (!) переустановить все установленные пакеты и пересобрать все установленные порты. Возможно, вместо сборки нового мира, вам будет проще временно вывести машину из эксплуатации, поставить на нее новую систему, и настроить поверх все необходимое. Или воспользоваться уже упомянутым механизмом бинарного обновления. Как мне кажется, пересборка мира — процедура больше для разработчиков FreeBSD, чем администраторов боевых серверов.

Итак, переходим в каталог с исходниками:

Чистим временные файлы, которые могли остаться с предыдущей сборки:

Собираем мир:

Чтобы минимизировать риски, связанные с обновлением уже запущенных и работающих приложений, рекомендуется перевести ОС в однопользовательский режим:

Теперь монтируем файловую систему (у меня ZFS):

Если вы используете UFS, тогда:

Перед установкой нового мира может потребоваться подготовить файлы конфигурации, создать новые группы, и так далее. Делается это командой:

Там довольно простой диалоговый режим, ничего особенного.

Ставим новый мир:

Завершаем правку конфигов и вот это все:

Удаляем файлы, ставшие ненужными:

Перезагружаемся:

После перезагрузки, согласно хэндбуку, также нужно обновить установленные пакеты:

Если что-то ставили из портов, то их тоже придется пересобрать:

После чего можно удалить библиотеки, ставшие теперь ненужными:

Вот так хитро во FreeBSD происходит пересборка мира.

Запуск тестов

Начиная с FreeBSD 11 мир включает в себя набор тестов. Запускаются эти тесты таким образом:

Тесты запускаются под sudo, так как некоторые из них требуют рутовых прав. Без sudo такие тесты будут пропущены. Некоторые тесты выполняются очень долго (скажем, 80 секунд), а всего тестов более 3.5 тысяч, так что будьте терпеливы.

Заключение

Как видите, процесс компиляции ядра и мира FreeBSD из исходных кодов не является самым простым, но разобраться в нем вполне реально. К счастью, во FreeBSD есть превосходная документация практически на все. Поэтому, если в этой заметке вы не нашли чего-то, что вы искали, обращайтесь к хэндубку!

А доводилось ли вам собирать ядро и мир FreeBSD? Или, быть может, других ОС, например, Linux?

Дополнение: Также вас могут заинтересовать статьи Памятка по отладке ядра и драйверов во FreeBSD и Памятка по сборке ядра Linux из исходного кода.

Метки: FreeBSD, Ring0.