Проверяя Linkedin, я наткнулся на сообщение, в котором говорилось: «Представьте себе инструмент ETL с более чем 125 коннекторами. Это ВПЕЧАТЛЯЮЩАЯ инженерия. А теперь представьте это: Portable только что добавила более 125 коннекторов ETL, чтобы достичь нашей цели в 500+ коннекторов к концу апреля».

Как Data Engineer, я практически каждый день прохожу через ритуал, когда мне показывают рекламу будущих инструментов ETL/ELT, и я сразу же отклоняю их, но этот пост привлек мое внимание.

Если вы использовали классические инструменты извлечения данных, такие как Talend, вы знаете, насколько болезненным может быть подключение необычного бизнес-приложения к вашему хранилищу данных, и сложность, которая усложняет ваш рабочий процесс. Portable, похоже, избавляет от этой проблемы, что звучит слишком хорошо, чтобы быть правдой, поэтому я решил попробовать.

Первое, что я заметил, это то, что он доступен только из США. Несмотря на то, что у меня был доступ к целевой странице, я не мог посетить страницу «Попробовать бесплатно», поэтому мне пришлось использовать VPN, чтобы открыть ее. Со всеми правилами обработки данных в Европе я не виню их, но надеюсь, что скоро они будут доступны по всему миру.

Инструмент довольно прост в использовании, так как он имеет только 3 вкладки (Источники, Среды, Потоки):

  1. Сначала вы выбираете коннектор из бесконечных вариантов: Notion, Github, Confluence, Discord…

Что мне нравится в Portable, так это то, что они предоставляют четкие инструкции по установке соединения.

2) Создайте пункт назначения на вкладке «Среды». Для моего примера я выбрал BigQuery, для которого вы должны указать имя проекта, имя набора данных, а также ключ учетной записи службы. У них также есть все распространенные среды: Snowflake, MySQL, PostgreSQL, Redshift и Google Sheets.

3) Создайте новый поток данных на вкладке «Потоки», просто выбрав один источник и одно место назначения:

И все, как только ваш поток создан, все, что вам нужно сделать, это нажать «Сохранить и запустить», и ваши данные Google Sheet волшебным образом превратятся в таблицу BigQuery в кратчайшие сроки!

В то время как Portable обещает схематизировать данные для вас, результаты, которые я получил из Google Sheet, не были идеально смоделированы, поэтому к данным необходимо применить другой внешний слой Transform. Надеемся, что Portable добавит возможность редактировать схему, наряду с некоторыми другими опциями, такими как выбор имени для таблиц. Но даже на этом раннем этапе Portable предлагает огромную ценность.

В бесплатной версии вам разрешено только ручное выполнение потоков, что очень здорово. Если вам нужно автоматизировать свои потоки, вы можете выбрать один из платных планов:

Команда Portable также предлагает создавать коннекторы по запросу для команд данных, поэтому, если вашего коннектора нет в списке, вы можете запросить его здесь: https://portable.io/request

Окончательный вердикт: оказалось, что Portable так же хорош, как и «рекламируемый», все, что требуется, — это пара минут, чтобы подключить различные приложения к вашему хранилищу данных и извлечь данные. Поэтому, если вы хотите тратить меньше времени на настройку конвейеров извлечения/загрузки и больше времени на извлечение ценности из ваших данных, Portable определенно стоит рассмотреть.

Их план состоит в том, чтобы создать до 10 000 разъемов, я не могу дождаться, когда это произойдет!