Snakemake позволяет создавать журнал для каждого правила с параметром log, который указывает имя файла журнала. Относительно просто передать результаты из вывода shell в этот журнал, но я не могу понять, как записать в журнал вывод вывода run (то есть скрипт python).
Один способ обхода - сохранить код Python в скрипте, а затем запустить его из оболочки, но мне интересно, есть ли другой способ?
У меня есть несколько правил, в которых используются директивы log и run. В директиве run я «вручную» открываю и записываю файл журнала.
Например:
rule compute_RPM:
input:
counts_table = source_small_RNA_counts,
summary_table = rules.gather_read_counts_summaries.output.summary_table,
tags_table = rules.associate_small_type.output.tags_table,
output:
RPM_table = OPJ(
annot_counts_dir,
"all_{mapped_type}_on_%s" % genome, "{small_type}_RPM.txt"),
log:
log = OPJ(log_dir, "compute_RPM_{mapped_type}", "{small_type}.log"),
benchmark:
OPJ(log_dir, "compute_RPM_{mapped_type}", "{small_type}_benchmark.txt"),
run:
with open(log.log, "w") as logfile:
logfile.write(f"Reading column counts from {input.counts_table}\n")
counts_data = pd.read_table(
input.counts_table,
index_col="gene")
logfile.write(f"Reading number of non-structural mappers from {input.summary_table}\n")
norm = pd.read_table(input.summary_table, index_col=0).loc["non_structural"]
logfile.write(str(norm))
logfile.write("Computing counts per million non-structural mappers\n")
RPM = 1000000 * counts_data / norm
add_tags_column(RPM, input.tags_table, "small_type").to_csv(output.RPM_table, sep="\t")
Для стороннего кода, который записывает в stdout, возможно, может оказаться полезным redirect_stdout диспетчер контекста (находится в https://stackoverflow.com/a/40417352/1878788, задокументировано по адресу https://docs.python.org/3/library/contextlib.html#contextlib.redirect_stdout).
Тестовый файл snakefile, test_run_log.snakefile:
from contextlib import redirect_stdout
rule all:
input:
"test_run_log.txt"
rule test_run_log:
output:
"test_run_log.txt"
log:
"test_run_log.log"
run:
with open(log[0], "w") as log_file:
with redirect_stdout(log_file):
print(f"Writing result to {output[0]}")
with open(output[0], "w") as out_file:
out_file.write("result\n")
Запускаем это:
$ snakemake -s test_run_log.snakefile
Полученные результаты:
$ cat test_run_log.log
Writing result to test_run_log.txt
$ cat test_run_log.txt
result
Мое решение было следующим. Это полезно как для обычного журнала, так и для записи исключений с отслеживанием. Затем вы можете заключить настройку логгера в функцию, чтобы сделать ее более организованной. Хотя это не очень красиво. Было бы намного лучше, если бы змейка могла делать это сама.
import logging
# some stuff
rule logging_test:
input: 'input.json'
output: 'output.json'
log: 'rules_logs/logging_test.log'
run:
logger = logging.getLogger('logging_test')
fh = logging.FileHandler(str(log))
fh.setLevel(logging.INFO)
formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')
fh.setFormatter(formatter)
logger.addHandler(fh)
try:
logger.info('Starting operation!')
# do something
with open(str(output), 'w') as f:
f.write('success!')
logger.info('Ended!')
except Exception as e:
logger.error(e, exc_info=True)
