Определение степени покрытия кода на C/C++ тестами
25 мая 2016
Определение степени покрытия кода тестами — это очень-очень важно как минимум по двум причинам. Во-первых, с его помощью вы проверяете, что тесты выполняют каждую из написанных вами строк кода хотя бы один раз. Если это не так, скорее всего, у вас довольно фиговые тесты. Во-вторых, вы можете найти «мертвый» код, который на самом деле никогда не выполняется, и выкинуть его. Сегодня мы выясним, как посмотреть code coverage в программах, написанных на языке C или C++.
Примечание: Аналогичные инструкции для Python вы найдете в заметке Памятка по написанию тестов при помощи PyTest, а для Scala — в заметке Тестирование в Scala с помощью ScalaTest и определение степени покрытия кода тестами.
Если вы используете GCC
Этот вариант был проверен мной на FreeBSD 10.3 и GCC 4.9. Дополнительно нам понадобится пакет lcov:
При сборке проекта используем следующие флаги:
LDFLAGS="-lgcov"
Собираем проект, как обычно, затем выполняем make check. Выполняться он будет заметно медленнее, чем обычно. При этом будет сгенерирована куча *.gcda файлов:
Агрегируем данные:
sudo ln -s /usr/local/bin/gcov49 /usr/local/bin/gcov
lcov --directory src --capture --output-file postgresql.info
Генерируем HTML-отчет:
genhtml -o ../cov-report/ postgresql.info
В конце выполнения программы увидим примерно такой самори:
Overall coverage rate:
lines......: 63.2% (179603 of 284239 lines)
functions..: 69.5% (10550 of 15183 functions)
Его можно, например, парсить регулярными выражениями и в Jenkins считать билд сломанным, если процент покрытия кода тестами падает ниже заданного. Мы так пробовали делать, чтобы программисты не ленились писать тесты на новые фичи. Проверено, работает.
Так примерно выглядит сам отчет:
По отчету видно, какие куски кода не были выполнены:
Все просто и понятно!
Если вы используете CLang
Под FreeBSD построить отчет о покрытии кода при помощи CLang 3.8 у меня не получилось. При компиляции вылетает ошибка:
Похоже, что это косяк в LLVM 3.8, так как его компонент compiler-rt не собирается на FreeBSD.
В итоге мне пришлось воспользоваться Ubuntu 14.04 (я пока не спешу переходить на 16.04). Для установки CLang и LLDB 3.8 говорим:
sudo apt-key add -
В /etc/apt/sources.list дописываем:
Далее:
sudo apt-get install clang-3.8 lldb-3.8 lcov
Проект собираем с теми же флагами, что использовали в случае с GCC:
LDFLAGS="-lgcov"
Опять-таки, говорим make check. Данные о покрытии кода собираются намного быстрее, чем в случае с GCC.
Теперь нам понадобится примерно такой скрипт /usr/bin/llvm-cov-wrapper:
use strict;
use warnings;
my $args = "@ARGV";
print STDERR "LLVM-COV-WRAPPER: args = '$args'\n";
if($args eq "-v") {
print "gcov (FreeBSD Ports Collection) 4.2.4 20151202 ".
"(prerelease)\n";
} else {
my $cmd = "llvm-cov-3.8 gcov $args";
print STDERR "LLVM-COV-WRAPPER: executing '$cmd'\n";
system($cmd);
}
Агрегируем данные:
--capture --output-file postgresql.info
Генерируем HTML-отчет:
genhtml -o ../cov-report/ postgresql.info
Зачем нужен этот уродливый хак с --gcov-tool? Дело в том, что по умолчанию lcov использует утилиту gcov. В системе установлен gcov 4.8. Однако CLang генерирует *.gcda, совместимые с версией 4.2, и поэтому gcov не может их пропарсить. Передавая кастомный --gcov-tool мы (1) выводим фальшивый номер версии, заставляя lcov думать, что он использует gcov 4.2 (2) вместо gcov заставляем lcov использовать команду llvm-cov, кторая прекрасно парсит сгенерированные *.gcda файлы.
Заключение
Заметьте, что во многих проектах из описанного выше делать нужно далеко не все. В частности, в PostgreSQL можно получить отчет о покрытии кода тестами таким образом:
make && make check && make coverage
find ./ -type f -iname '*.info' | xargs genhtml -o ../cov-report/
Ссылки по теме:
- https://gcc.gnu.org/onlinedocs/gcc/Gcov.html;
- https://llvm.org/docs/CommandGuide/llvm-cov.html;
- http://ltp.sourceforge.net/coverage/lcov.php;
А строите ли вы отчеты о покрытии кода тестами и если да, то чем?
Дополнение: Вас также могут заинтересовать статьи Тестирование кода на C++ с помощью Google Test и Практика написания модульных тестов в языке Go.
Метки: C/C++, Разработка, Тестирование.
Вы можете прислать свой комментарий мне на почту, или воспользоваться комментариями в Telegram-группе.