Каков максимально допустимый размер строки в U-SQL?

при обработке файла CSV я получаю сообщение об ошибке максимального размера строки. «Размер строки превышает максимально допустимый размер».


person Ahsan Abbas    schedule 29.04.2016    source источник


Ответы (1)


В настоящее время максимально допустимый размер строки в U-SQL составляет 128 КБ.

Если вам сейчас нужно обрабатывать большие размеры, чем это, используйте вместо этого тип byte [] при чтении из файла CSV. Позже, когда наборы строк обрабатываются в сценарии в теле некоторого кода C #, вы можете преобразовать byte [] в строку и выполнять любые строковые операции в коде C #.

ПРИМЕЧАНИЕ. Строки в U-SQL также имеют максимальный размер (в настоящее время 4 МБ). И эта техника тоже имеет это ограничение.

Если вас интересуют сценарии, поддерживающие размер строки, превышающий 128 КБ, проголосуйте за запрос функции здесь, добавление вашего сценария в качестве комментариев также будет очень полезным .. https://feedback.azure.com/forums/327234-data-lake/suggestions/13416093-usql-string-data-type-has-a-size-limit-of-128kb

person Rukmani Gopalan    schedule 29.04.2016