Загрузите данные CSV из aws-s3 в загрузчик графиков dse

У меня есть данные на aws-s3 (в формате csv), и я хочу загрузить эти данные в график dse с помощью Graph Loader. у меня есть поиск, но ничего не нашел по этой теме. возможно ли использовать загрузчик dse graph?


person Rajni Kant Sharma    schedule 28.10.2016    source источник


Ответы (1)


Вот как выглядит сопоставление для загрузчика графа при чтении из csv:

https://docs.datastax.com/en/latest-dse/datastax_enterprise/graph/dgl/dglCSV.html

Вот пример HDFS (также с файлами csv), S3 должен быть похож (просто поменяйте местами dfs_url:

// Configures the data loader to create the schema
config create_schema: true, load_new: true, preparation: true
// Define the data input sources
// dfs_uri specifies the URI to the HDFS directory in which the files are stored.
dfs_uri = 'hdfs://host:port/path/'
authorInput = File.csv(dfs_uri + 'author.csv.gz').gzip().delimiter('|')
//Specifies what data source to load using which mapper (as defined inline)
load(authorInput).asVertices
{ label "author" key "name" }
// graphloader call
./graphloader myMap.groovy -graph testHDFS -address localhost
// start gremlin console and check the data
bin/dse gremlin-console
:remote config reset g testHDFS.g
schema.config().option('graph.schema_mode').set('Development')
g.V().hasLabel('author')
person phact    schedule 28.10.2016
comment
Да, сообщество datastax добавило этот документ, относящийся к s3. docs.datastax.com/en/latest-dse/ datastax_enterprise/graph/dgl/ - person Rajni Kant Sharma; 03.11.2016