Публикации по теме 'tfx'


CI/CD для конвейеров TFX с Vertex и платформой AI
Разверните конвейер TFX с помощью Vertex Pipelines, обслуживайте свою модель на платформе AI, отслеживайте свои запросы и создавайте конвейер CI/CD для масштабирования вашей системы. 1. Введение Эта статья является второй из двух частей, первая часть доступна на странице Анализ настроений с помощью конвейеров TFX — локальное развертывание . В первой части мы обсудили, как разработать пайплайн локально, а также показали процесс построения модели анализа тональности. В этой..

Сквозное глубокое обучение для производства на основе TFX и Spark
В настоящее время обучение модели глубокого обучения (DL) для академических целей стало проще благодаря улучшениям сред DL. Однако для производственной среды есть некоторые проблемы, о которых компании должны заботиться до и после обучения своих моделей. Такие вопросы, как масштабируемость при предварительной обработке данных и моделях обучения, борьба с отклонением концепций в данных (больших данных), мониторинг их моделей и т. д., следует рассмотреть до разработки архитектуры DL. Эта..

От исследований к производству с помощью конвейеров TFX и метаданных машинного обучения
Автор: Ярек Вилкевич от имени команды TFX Если ваш код работает в производственной среде, вы, вероятно, уже знакомы с управлением версиями / конфигурацией программного обеспечения (SCM), непрерывной интеграцией и непрерывным развертыванием (CI / CD), а также со многими другими передовыми методами разработки программного обеспечения. На эти ушли годы , и теперь мы часто принимаем их как должное. Подобно тому, как написание эффективной реализации алгоритма - это только начало пути..

Демистификация стандартных компонентов TFX
Когда мы думаем об ML, мы склонны сосредотачиваться на части обучения модели. Но когда мы переходим к производству, мы понимаем, что есть много других частей, которые очень важны для того, чтобы модель была доступной и надежной в течение всего срока службы. Производственное решение требует гораздо большего, чтобы иметь возможность решать все проблемы, с которыми мы сталкиваемся во время разработки ML: Маркированные данные (как их получить) У меня могут быть терабайты данных, но мне..

Вопросы по теме 'tfx'

TFX StatisticsGen для данных изображений
Привет, я пытаюсь запустить TFX Pipeline просто как упражнение. Я использую ImportExampleGen для загрузки TFRecords с диска. Каждый Example в TFRecord содержит jpg в виде байтовой строки, высоты, ширины, глубины, меток управления и газа....
942 просмотров
schedule 20.05.2022

TFX - REST API без сериализации вводимых данных для получения прогнозов
Я новичок в TFX, изучал руководство по Keras и успешно создал конвейер TFX, используя свои данные. Пока я учусь обслуживать свою модель через Docker с TF Serving, мои вводимые данные должны быть сериализованы следующим образом, чтобы вернуть...
258 просмотров
schedule 03.07.2022

TFX Example_Gen Производит RuntimeError
Я получаю следующую ошибку при запуске context.run(example_gen) , и мне хотелось бы понять, что это значит и как я могу избежать этой ошибки. Прошу совета и заранее спасибо! Ошибка: RuntimeError: Files in same split /home/jupyter/.../data/*...
183 просмотров
schedule 11.09.2022

Ошибка TFX IndexError в компоненте Evaluator
Пытаюсь сделать для своей модели оценщик. До сих пор все остальные компоненты в порядке, но когда я пробую эту конфигурацию: eval_config = tfma.EvalConfig( model_specs=[ tfma.ModelSpec(label_key='Category'), ],...
188 просмотров
schedule 11.07.2023

Почему SchemaGen не поддерживается в tfdv.display_schema ()?
Что касается проверки данных тензорного потока TFX, я пытаюсь понять, когда мне следует использовать компоненты * Gen по сравнению с использованием методов, предоставляемых TFDV. В частности, меня сбивает с толку то, что у меня в качестве ExampleGen...
92 просмотров

Проблема TFX Evaluator в модели с несколькими выходами keras
Я использую очень простую модель keras в TFX, чтобы решить проблему регрессии. Кажется, что TFX хочет, чтобы вы использовали модель keras с именованными выходами, поэтому я сделал: output = {key: tf.keras.layers.Dense(1, name = key)(x)...
134 просмотров
schedule 25.08.2022

Как мне получить фрейм данных или запись в базу данных из TFX BulkInferrer?
Я новичок в TFX, но у меня есть явно работающий конвейер ML, который должен использоваться через BulkInferrer . Кажется, что это производит вывод исключительно в формате Protobuf, но, поскольку я выполняю массовый вывод, я хочу вместо этого передать...
269 просмотров
schedule 28.06.2023

TFX на Kubeflow Pipelines не может запустить конвейер с слишком большой ошибкой объекта запроса
Мы развертываем наши конвейеры TFX 0.30.0 с использованием Kubeflow Pipelines 1.5.0. Kubeflow Pipelines развертывается со стандартными шаблонами в кластере GKE 1.19.9-gke.1400. Используя интерфейс командной строки TFX, мы можем создать конвейер в...
38 просмотров