Пару дней назад как минимум 4 человека прислали мне ту же ссылку на твит из Microsoft Office. Они выпустили действительно классную новую функцию, позволяющую сфотографировать стол и импортировать его в мобильное приложение Excel. Это было очень круто. Мне прислали этот твит, потому что те, кто меня знает, знали, что я руководил разработкой технологий в моем стартапе 9fin, где мы также показываем аналогичный трюк для вечеринок с тем, как мы можем извлекать данные таблиц из документов и размещать их. это безупречно в Excel. Что касается нас, у нас есть эта возможность уже более двух лет, и мы используем ее для внутренних целей, чтобы обеспечить работу нашего конвейера обработки наиболее полных данных о рынках европейских высокодоходных облигаций.
Если эта последняя строчка отправила вас спать или не имела для вас смысла, мы не обижаемся! Мы знаем, что занимаем свою нишу. Но именно по этой причине мы показываем нашу демонстрацию «magic excel», поскольку это отличный способ наглядно показать всем, кто не знаком с отраслью, что мы можем делать с данными. Но для наших клиентов нам никогда не нужно поднимать этот вопрос, потому что наш рынок - это не технология извлечения данных или OCR.
В 9fin мы обрабатываем, систематизируем и анализируем мировые финансовые данные с фиксированным доходом. Упрощение поиска, фильтрации и анализа для специалистов по инвестициям. На более высоком этапе цепочки создания стоимости мы доставляем это напрямую нашим клиентам. Обогащение и ссылки на новости, цены и контекстные данные. Таким образом, они могут пропустить ввод данных и многие другие действия одновременно. [1] [2] [3]
Имея более 79 триллионов долларов AUM [4] во всем мире на всех рынках, вы можете видеть, как небольшое преимущество в любой части инвестиционного процесса приносит прибыль.
Цифровые лидеры [в управлении активами] также осознают преимущества инвестиционного процесса. Некоторые автоматизировали свои соглашения об управлении инвестициями с помощью обработки естественного языка, обеспечивая быстрое соблюдение рекомендаций клиентов и позволяя управляющим портфелем быстрее открывать позиции. - McKinsey & Company, Достижение цифровой альфы в управлении активами, ноябрь 2018 г.
Поэтому я думаю, что здесь не совсем правильно сравнивать 9fin с Excel, это не будут яблоки с яблоками ... или даже фрукты с фруктами. Но я технический ботаник, и мне нравятся крутые вещи так же, как и другим людям, поэтому я хотел посмотреть, на что они способны.
UX в приложении для Android действительно гибок, но в конечном итоге инструмент не справляется с более сложными таблицами ... которые более обычны для финансовых документов. Нам нужно, чтобы эти извлечения были безупречными. Это не для того, чтобы сбить с толку команду MSFT и упорный труд, но это была та же проблема, с которой мы столкнулись при первом запуске компании.
Иногда я называю 9fin «случайной компанией ИИ», потому что разработка систем компьютерного зрения и машинного обучения не входила в первоначальный план. Цель всегда заключалась в том, чтобы предоставлять наиболее полезные и полные данные на рынки облигаций напрямую профессионалам в области инвестиций, но при попытке заполнить наши системы мы сталкивались с проблемой извлечения данных. Мы пробовали все, как с открытым исходным кодом, так и с коммерческой точки зрения, прежде чем что-либо создать, но ни один из них не справился с задачей навести структурированный порядок в хаосе документов, с которыми мы имели дело. Итак, имея четкую задачу, мы руководствовались в процессе разработки, чтобы в конечном итоге решить эту проблему для наших нужд. Максимум 2 человека в этом проекте. (Не позволяйте этому скрывать сложность задачи!)
Excel - это просто удобный формат вывода, но для нас данные представлены по-разному внутри, что вам нужно, чтобы иметь возможность использовать его в базах данных, интерфейсных экранах, API и конвейерах дальнейшей обработки данных.
Я думаю, что у нас другой подход;
- мы не используем глубокое обучение на всем протяжении, а скорее на краю, выполняя более специализированные роли в системе вместе с другими методами машинного обучения.
- Это не только полностью OCR, то есть он может адаптироваться к тому, что находится перед ним, и выбрать лучший путь выполнения. (Мы умеем распознавать текст).
- нам также не нужно переносить ваши (потенциально личные) документы в другое облако, которое вы не контролируете. Поскольку мы сами обрабатываем миллионы страниц, мы можем развернуть полностью обученный статический двоичный файл для работы где угодно.
- Запустив нашу настроенную сетку / настройку параллельных вычислений, мы можем обработать страницу за 0,05 секунды.
- Побочным продуктом нашей системы является то, что мы фиксируем каждую деталь, позволяя вам вернуться к точному положению в исходном документе. Кроме того, вы можете пойти наоборот и выполнить поиск в указанных документах. [5]
Но, как я уже сказал, мы не продаем программное обеспечение для извлечения данных.
Я очень рад, что эта область технологий вызывает больший интерес. В данном случае с извлечением низкого уровня, я думаю, это превращается в битву между решениями для управления документами. Старая гвардия Microsoft, Adobe и новая Dropbox, Google. Это бой, в котором я очень рад не участвовать!
(обязательно xkcd)
- конечная нота -
Привет и спасибо за чтение. Это мой первый пост на Medium, wohoo! Я давно хотел попытаться возобновить работу и расширить свои технические записи в качестве временной цели в течение долгого времени. Я так многому научился у других, которые посвятили свое время множеству сообщений в блогах и учебных пособий, которые я использовал за эти годы, так что, по крайней мере, я мог бы попытаться оставить что-то другим, чтобы они могли оказаться полезными в какой-то момент в будущем. Здесь вы можете найти и другие попытки написания.
