TFX StatisticsGen для данных изображений

Из ответа на проблему git Спасибо Эван Розен

Привет народ,

Предупреждения, которые вы видите, указывают на то, что StatisticsGen пытается обрабатывать ваши необработанные функции изображения как категориальную строковую функцию. Байты изображения декодируются нормально. Проблема в том, что при записи статистики (включая топ-примеры K) выходной протокол ожидает допустимую строку UTF-8, но вместо этого получает байты необработанного изображения. Насколько я могу судить, с вашими настройками все в порядке, но это всего лишь непреднамеренный побочный эффект преднамеренного предупреждения в случае, если у вас есть категориальная строковая функция, которая не может быть сериализована. Мы постараемся найти лучшее значение по умолчанию, которое более элегантно обрабатывает данные изображения.

Между тем, чтобы сообщить StatisticsGen, что эта функция действительно является непрозрачным большим двоичным объектом, вы можете передать измененную пользователем схему, как описано в документации StatsGen. Чтобы сгенерировать эту схему, вы можете запустить StatisticsGen и SchemaGen один раз (для выборки данных), а затем изменить выведенную схему, чтобы аннотировать эти функции изображения. Вот модифицированная версия колаба от @ tall-josh:

Открыть в Colab

Дополнительные шаги немного многословны, но наличие тщательно подобранной схемы часто является хорошей практикой по другим причинам. Вот ячейка, которую я добавил в блокнот:

from google.protobuf import text_format
from tensorflow.python.lib.io import file_io
from tensorflow_metadata.proto.v0 import schema_pb2

# Load autogenerated schema (using stats from small batch)

schema = tfx.utils.io_utils.SchemaReader().read(
    tfx.utils.io_utils.get_only_uri_in_dir(
        tfx.types.artifact_utils.get_single_uri(schema_gen.outputs['schema'].get())))

# Modify schema to indicate which string features are images.
# Ideally you would persist a golden version of this schema somewhere rather
# than regenerating it on every run.
for feature in schema.feature:
  if feature.name == 'image/raw':
    feature.image_domain.SetInParent()

# Write modified schema to local file
user_schema_dir ='/tmp/user-schema/'
tfx.utils.io_utils.write_pbtxt_file(
    os.path.join(user_schema_dir, 'schema.pbtxt'), schema)

# Create ImportNode to make modified schema available to other components
user_schema_importer = tfx.components.ImporterNode(
    instance_name='import_user_schema',
    source_uri=user_schema_dir,
    artifact_type=tfx.types.standard_artifacts.Schema)

# Run the user schema ImportNode
context.run(user_schema_importer)

Надеюсь, вы найдете этот обходной путь полезным. А пока мы рассмотрим улучшенный стандарт по умолчанию для функций, оценивающих изображения.

Пощупал это и обнаружил, что решение намного проще, чем я думал ...

from tfx.orchestration.experimental.interactive.interactive_context import InteractiveContext
import logging
...
logger = logging.getLogger()
logger.setLevel(logging.CRITICAL)
...
context = InteractiveContext(pipeline_name='my_pipe')
...
c = StatisticsGen(...)
...
context.run(c)