Загрузка текстовых файлов с помощью Python и ftplib.FTP из z/os

Просто наткнулся на этот вопрос, когда пытался понять, как рекурсивно загружать наборы данных из z/OS. Я уже много лет использую простой скрипт Python для загрузки файлов ebcdic с мейнфрейма. Он эффективно просто делает это:

def writeline(line):
    file.write(line + "\n")

file = open(filename, "w")
ftp.retrlines("retr " + filename, writeline)

Вы должны иметь возможность загрузить файл в виде двоичного файла (используя retrbinary) и использовать модуль codecs для преобразования из EBCDIC в любую желаемую выходную кодировку. Вы должны знать конкретную кодовую страницу EBCDIC, используемую в системе z/OS (например, cp500). Если файлы маленькие, вы можете даже сделать что-то вроде (для преобразования в UTF-8):

file = open(ebcdic_filename, "rb")
data = file.read()
converted = data.decode("cp500").encode("utf8")
file = open(utf8_filename, "wb")
file.write(converted)
file.close()

Обновление: если вам нужно использовать retrlines для получения строк, и ваши строки возвращаются в правильной кодировке, ваш подход не будет работать, поскольку обратный вызов вызывается один раз для каждой строки. Таким образом, в обратном вызове sequence будет строкой, и ваш цикл for будет записывать отдельные символы в строке на выходе, каждый в отдельной строке. Таким образом, вы, вероятно, захотите выполнить цикл self.write(sequence + "\r\n"), а не цикл for. Тем не менее, по-прежнему не кажется особенно правильным создание подкласса file только для того, чтобы добавить этот служебный метод - вероятно, он должен быть в другом классе в вашей версии bells-and-whistles.

Ваш метод writelineswitheol добавляет '\r\n' вместо '\n', а затем записывает результат в файл, открытый в текстовом режиме. Эффект, независимо от того, на какой платформе вы работаете, будет нежелательным '\ r'. Просто добавьте '\n', и вы получите соответствующее окончание строки.

Надлежащая обработка ошибок не должна быть отнесена к версии «прибамбасов». Вы должны настроить свой обратный вызов так, чтобы ваш файл open() находился в try/except и сохранял ссылку на дескриптор выходного файла, ваш вызов записи находился в try/except, и у вас был метод callback_obj.close(), который вы используете, когда retrlines() явно возвращается к file_handle.close() (в попытке/за исключением) - таким образом вы получаете явную обработку ошибок, например сообщения «не могу (открыть | записать в | закрыть) файл X, потому что Y» И вам не нужно думать о том, когда ваши файлы будут неявно закрыты, и рискуете ли вы исчерпать дескрипторы файлов.

Python 3.x ftplib.FTP.retrlines() должен предоставить вам объекты str, которые являются строками Unicode, и вам нужно будет закодировать их, прежде чем писать их, если только кодировка по умолчанию не является latin1, что было бы довольно необычно для Windows. коробка. У вас должны быть тестовые файлы с (1) всеми возможными 256 байтами (2) всеми байтами, которые допустимы в ожидаемой кодовой странице EBCDIC.

[несколько «санитарных» замечаний]

1. Вам следует подумать об обновлении Python с версии 3.0 (доказательная версия) до версии 3.1.

2. Чтобы облегчить лучшее понимание вашего кода, используйте «i» в качестве идентификатора только в качестве индекса последовательности и только в том случае, если вы безвозвратно приобрели привычку из FORTRAN 3 или более десятилетий назад :-)

3. Две проблемы, обнаруженные до сих пор (добавление конца строки к каждому символу, неправильный признак конца строки), обнаружились бы при первом тестировании.

Используйте повторные строки ftplib для загрузки файла из z/os, в каждой строке нет '\n'.

Это отличается от команды Windows ftp «получить ххх».

Мы можем переписать функцию «retrlines» в «retrlines_zos» в ftplib.py.

Просто скопируйте весь код retrlines и измените строку «обратный вызов» на:

...

обратный вызов (строка + \n)

...

Я проверил, и это сработало.