Поиск мертвого кода в большом проекте Python

Вы можете попробовать стервятник. Он не может уловить все из-за динамической природы Python, но он улавливает совсем немного, не нуждаясь в полном наборе тестов, например, в покрытии .py и других, которые должны работать.

Попробуйте запустить Неда Батчелдера rel = "nofollow noreferrer"> cover.py.

Coverage.py - это инструмент для измерения покрытия кода программ Python. Он отслеживает вашу программу, отмечая, какие части кода были выполнены, а затем анализирует исходный код, чтобы определить код, который мог быть выполнен, но не был.

Очень сложно определить, какие функции и методы вызываются без выполнения кода, даже если код не выполняет никаких сложных задач. Простые вызовы функций довольно легко обнаружить, но вызовы методов действительно сложны. Простой пример:

class A(object):
    def f(self):
        pass

class B(A):
    def f(self):
        pass

a = []
a.append(A())
a.append(B())
a[1].f()

Ничего особенного здесь не происходит, но любому сценарию, который пытается определить, вызывается ли A.f() или B.f(), будет довольно сложно сделать это без фактического выполнения кода.

Хотя приведенный выше код не делает ничего полезного, он определенно использует шаблоны, которые появляются в реальном коде, а именно помещает экземпляры в контейнеры. Реальный код обычно выполняет еще более сложные задачи - сбор и очистку, иерархические структуры данных, условные выражения.

Как указывалось ранее, просто обнаруживая вызовы простых функций формы

function(...)

or

module.function(...)

будет довольно легко. Вы можете использовать модуль ast для анализа ваших исходных файлов. Вам нужно будет записать весь импорт и имена, используемые для импорта других модулей. Вам также необходимо будет отслеживать определения функций верхнего уровня и вызовы внутри этих функций. Это даст вам график зависимостей, и вы сможете использовать NetworkX для обнаружения связанных компонентов этого графа.

Хотя это может показаться довольно сложным, вероятно, для этого потребуется менее 100 строк кода. К сожалению, почти во всех крупных проектах Python используются классы и методы, поэтому от этого мало пользы.

Вот решение, которое я использую, по крайней мере, ориентировочно:

grep 'def ' *.py > defs
# ...
# edit defs so that it just contains the function names
# ...
for f in `cat defs` do
    cat $f >> defCounts
    cat *.py | grep -c $f >> defCounts
    echo >> defCounts
done

Затем я смотрю на отдельные функции, на которые очень мало ссылок (например, ‹3)

это некрасиво и дает мне лишь приблизительные ответы, но я думаю, что для начала достаточно. Что вы-все думаете?

В следующей строке вы можете перечислить все определения функций, которые, очевидно, не используются в качестве атрибута, вызова функции, декоратора или возвращаемого значения. Это примерно то, что вы ищете. Он не идеален, он медленный, но у меня никогда не было ложных срабатываний. (В Linux вам нужно заменить ack на ack-grep)

for f in $(ack --python --ignore-dir tests -h --noheading "def ([^_][^(]*).*\):\s*$" --output '$1' | sort| uniq); do c=$(ack --python -ch "^\s*(|[^#].*)(@|return\s+|\S*\.|.*=\s*|)"'(?<!def\s)'"$f\b"); [ $c == 0 ] && (echo -n "$f: "; ack --python --noheading "$f\b"); done

Если ваш код покрыт множеством тестов (это вообще очень полезно), запустите их с помощью плагина покрытия кода, и тогда вы увидите неиспользуемый код.)

ИМО, чего можно было достичь довольно быстро с помощью простого плагина pylint, который:

• запомнить каждую проанализированную функцию / метод (/ класс?) в наборе S1
• отслеживать каждую вызываемую функцию / метод (/ класс?) в наборе S2
• отображать S1 - S2 в отчете

Тогда вам придется вызывать pylint для всей базы кода, чтобы получить что-то осмысленное. Конечно, как уже говорилось, это необходимо проверить, так как могли быть сбои логического вывода или такие, которые могут привести к ложному срабатыванию. В любом случае это, вероятно, значительно уменьшит количество выполняемых grep.

У меня еще не так много времени, чтобы делать это самому, но любой найдет помощь в списке рассылки [email protected].