У меня есть данные на aws-s3 (в формате csv), и я хочу загрузить эти данные в график dse с помощью Graph Loader. у меня есть поиск, но ничего не нашел по этой теме. возможно ли использовать загрузчик dse graph?
Загрузите данные CSV из aws-s3 в загрузчик графиков dse
Ответы (1)
Вот как выглядит сопоставление для загрузчика графа при чтении из csv:
https://docs.datastax.com/en/latest-dse/datastax_enterprise/graph/dgl/dglCSV.html
Вот пример HDFS (также с файлами csv), S3 должен быть похож (просто поменяйте местами dfs_url:
// Configures the data loader to create the schema
config create_schema: true, load_new: true, preparation: true
// Define the data input sources
// dfs_uri specifies the URI to the HDFS directory in which the files are stored.
dfs_uri = 'hdfs://host:port/path/'
authorInput = File.csv(dfs_uri + 'author.csv.gz').gzip().delimiter('|')
//Specifies what data source to load using which mapper (as defined inline)
load(authorInput).asVertices
{ label "author" key "name" }
// graphloader call
./graphloader myMap.groovy -graph testHDFS -address localhost
// start gremlin console and check the data
bin/dse gremlin-console
:remote config reset g testHDFS.g
schema.config().option('graph.schema_mode').set('Development')
g.V().hasLabel('author')
person
phact
schedule
28.10.2016
Да, сообщество datastax добавило этот документ, относящийся к s3. docs.datastax.com/en/latest-dse/ datastax_enterprise/graph/dgl/
- person Rajni Kant Sharma; 03.11.2016