如何通过 Nebula Exchange 导入数据

345

Nebula Exchange 是一款 Apache Spark 应用，用于在分布式环境中将集群中的数据批量迁移到 Nebula Graph 中，能支持多种不同格式（CSV,JSON,Parquet,Neo4j, MySQL 等等）的批式数据和流式数据的迁移。

接下来将用一个示例说明如何使用 Nebula Exchange 将存储在 HDFS 或本地的 CSV 文件数据导入 Nebula Graph。关于本地 CSV 的导入也可以使用 Nebula Import，详细信息参见 [使用 Nebula Importer] (https://docs.nebula-graph.com.cn/2.6.1/nebula-importer/use-importer/)。

下载示例数据

下载 [basketballplayer数据集] (https://docs-cdn.nebula-graph.com.cn/dataset/dataset.zip)。

解压后可以看到有 4 张表，数据结构和 Nebula 快速入门章节中介绍的一样，有 player 和 team 两个 TAG，follow 和 serve 两个 EDGE type。

图片[1]-如何通过 Nebula Exchange 导入数据-不念博客
示例数据

在 Nebula Graph 中创建 Schema

使用 Nebula Console 创建一个图空间 basketballplayer，并创建一个 Schema，如下所示。

## 创建图空间 
nebula> CREATE SPACE basketballplayer \
(partition_num = 10, \
replica_factor = 1, \
vid_type = FIXED_STRING(30)); 
## 选择图空间basketballplayer 
nebula> USE basketballplayer; 
## 创建Tag player 
nebula> CREATE TAG player(name string, age int); 
## 创建Tag team 
nebula> CREATE TAG team(name string); 
## 创建Edge type follow 
nebula> CREATE EDGE follow(degree int); 
## 创建Edge type serve 
nebula> CREATE EDGE serve(start_year int, end_year int);
## 创建图空间 
nebula> CREATE SPACE basketballplayer \
(partition_num = 10, \
replica_factor = 1, \
vid_type = FIXED_STRING(30)); 

## 选择图空间basketballplayer 
nebula> USE basketballplayer; 

## 创建Tag player 
nebula> CREATE TAG player(name string, age int); 

## 创建Tag team 
nebula> CREATE TAG team(name string); 

## 创建Edge type follow 
nebula> CREATE EDGE follow(degree int); 

## 创建Edge type serve 
nebula> CREATE EDGE serve(start_year int, end_year int);
## 创建图空间 
nebula> CREATE SPACE basketballplayer \
(partition_num = 10, \
replica_factor = 1, \
vid_type = FIXED_STRING(30)); 

## 选择图空间basketballplayer 
nebula> USE basketballplayer; 

## 创建Tag player 
nebula> CREATE TAG player(name string, age int); 

## 创建Tag team 
nebula> CREATE TAG team(name string); 

## 创建Edge type follow 
nebula> CREATE EDGE follow(degree int); 

## 创建Edge type serve 
nebula> CREATE EDGE serve(start_year int, end_year int);

修改 Nebula Exchange 配置文件

在 root/csv_application.conf 创建 Nebula Exchange 配置文件，设置 CVS 数据源相关配置。本地和 HDFS 导入 CSV 除了 path 路径不同以外，其余配置都一样。如果你使用的是 basketballplayer 数据集，那么只需要修改 Nebula 的连接信息和 CSV path 路径即可。

{
# Spark相关配置
spark: {
app: {
name: Nebula Exchange 2.6.0
}
driver: {
cores: 1
maxResultSize: 1G
}
executor: {
memory:1G
}
cores {
max: 16
}
}
# Nebula Graph相关配置
nebula: {
address:{
# 指定Graph服务和所有Meta服务的IP地址和端口。
# 如果有多台服务器，地址之间用英文逗号（,）分隔。
# 格式: "ip1:port","ip2:port","ip3:port"
graph:["11.8.38.149:9669","11.8.38.150:9669","11.8.38.151:9669"]
meta:["11.8.38.149:9559","11.8.38.150:9559","11.8.38.151:9559"]
}
# 指定拥有Nebula Graph写权限的用户名和密码。
user: root
pswd: nebula
# 指定图空间名称。
space: basketballplayer
connection {
timeout: 3000
retry: 3
}
execution {
retry: 3
}
error: {
max: 32
output: /tmp/errors
}
rate: {
limit: 1024
timeout: 1000
}
}
# 处理点
tags: [
# 设置Tag player相关信息。
{
# 指定Nebula Graph中定义的Tag名称。
name: player
type: {
# 指定数据源，使用CSV。
source: csv
# 指定如何将点数据导入Nebula Graph：Client或SST。
sink: client
}
# 指定CSV文件的路径。
# 如果文件存储在HDFS上，用双引号括起路径，以hdfs://开头，例如"hdfs://ip:port/xx/xx"。
# 如果文件存储在本地，用双引号括起路径，以file://开头，例如"file:///tmp/xx.csv"。
#path: "hdfs://192.168.*.*:9000/data/vertex_player.csv"
path: "/root/dataset/vertex_player.csv"
# 如果CSV文件没有表头，使用[_c0, _c1, _c2, ..., _cn]表示其表头，并将列指示为属性值的源。
# 如果CSV文件有表头，则使用实际的列名。
fields: [_c1, _c2]
# 指定Nebula Graph中定义的属性名称。
# fields与nebula.fields的顺序必须一一对应。
nebula.fields: [age, name]
# 指定一个列作为VID的源。
# vertex的值必须与上述fields或者csv.fields中的列名保持一致。
# 目前，Nebula Graph 2.6.1仅支持字符串或整数类型的VID。
vertex: {
field:_c0
# policy:hash
}
# 指定的分隔符。默认值为英文逗号（,）。
separator: ","
# 如果CSV文件有表头，请将header设置为true。
# 如果CSV文件没有表头，请将header设置为false。默认值为false。
header: false
# 指定单批次写入Nebula Graph的最大点数量。
batch: 256
# 指定Spark分片数量。
partition: 32
}
# 设置Tag team相关信息。
{
# 指定Nebula Graph中定义的Tag名称。
name: team
type: {
# 指定数据源，使用CSV。
source: csv
# 指定如何将点数据导入Nebula Graph：Client或SST。
sink: client
}
# 指定CSV文件的路径。
# 如果文件存储在HDFS上，用双引号括起路径，以hdfs://开头，例如"hdfs://ip:port/xx/xx"。
# 如果文件存储在本地，用双引号括起路径，以file://开头，例如"file:///tmp/xx.csv"。
# path: "hdfs://192.168.*.*:9000/data/vertex_team.csv"
path: "/root/dataset/vertex_team.csv"
# 如果CSV文件没有表头，使用[_c0, _c1, _c2, ..., _cn]表示其表头，并将列指示为属性值的源。
# 如果CSV文件有表头，则使用实际的列名。
fields: [_c1]
# 指定Nebula Graph中定义的属性名称。
# fields与nebula.fields的顺序必须一一对应。
nebula.fields: [name]
# 指定一个列作为VID的源。
# vertex的值必须与上述fields或者csv.fields中的列名保持一致。
# 目前，Nebula Graph 2.6.1仅支持字符串或整数类型的VID。
vertex: {
field:_c0
# policy:hash
}
# 指定的分隔符。默认值为英文逗号（,）。
separator: ","
# 如果CSV文件有表头，请将header设置为true。
# 如果CSV文件没有表头，请将header设置为false。默认值为false。
header: false
# 指定单批次写入Nebula Graph的最大点数量。
batch: 256
# 指定Spark分片数量。
partition: 32
}
# 如果需要添加更多点，请参考前面的配置进行添加。
]
# 处理边
edges: [
# 设置Edge type follow相关信息。
{
# 指定Nebula Graph中定义的Edge type名称。
name: follow
type: {
# 指定数据源，使用CSV。
source: csv
# 指定如何将点数据导入Nebula Graph：Client或SST。
sink: client
}
# 指定CSV文件的路径。
# 如果文件存储在HDFS上，用双引号括起路径，以hdfs://开头，例如"hdfs://ip:port/xx/xx"。
# 如果文件存储在本地，用双引号括起路径，以file://开头，例如"file:///tmp/xx.csv"。
# path: "hdfs://192.168.*.*:9000/data/edge_follow.csv"
path: "/root/dataset/edge_follow.csv"
# 如果CSV文件没有表头，使用[_c0, _c1, _c2, ..., _cn]表示其表头，并将列指示为属性值的源。
# 如果CSV文件有表头，则使用实际的列名。
fields: [_c2]
# 指定Nebula Graph中定义的属性名称。
# fields与nebula.fields的顺序必须一一对应。
nebula.fields: [degree]
# 指定一个列作为起始点和目的点的源。
# vertex的值必须与上述fields或者csv.fields中的列名保持一致。
# 目前，Nebula Graph 2.6.1仅支持字符串或整数类型的VID。
source: {
field: _c0
}
target: {
field: _c1
}
# 指定的分隔符。默认值为英文逗号（,）。
separator: ","
# 指定一个列作为rank的源(可选)。
#ranking: rank
# 如果CSV文件有表头，请将header设置为true。
# 如果CSV文件没有表头，请将header设置为false。默认值为false。
header: false
# 指定单批次写入Nebula Graph的最大边数量。
batch: 256
# 指定Spark分片数量。
partition: 32
}
# 设置Edge type serve相关信息。
{
# 指定Nebula Graph中定义的Edge type名称。
name: serve
type: {
# 指定数据源，使用CSV。
source: csv
# 指定如何将点数据导入Nebula Graph：Client或SST。
sink: client
}
# 指定CSV文件的路径。
# 如果文件存储在HDFS上，用双引号括起路径，以hdfs://开头，例如"hdfs://ip:port/xx/xx"。
# 如果文件存储在本地，用双引号括起路径，以file://开头，例如"file:///tmp/xx.csv"。
# path: "hdfs://192.168.*.*:9000/data/edge_serve.csv"
path: "/root/dataset/edge_serve.csv"
# 如果CSV文件没有表头，使用[_c0, _c1, _c2, ..., _cn]表示其表头，并将列指示为属性值的源。
# 如果CSV文件有表头，则使用实际的列名。
fields: [_c2,_c3]
# 指定Nebula Graph中定义的属性名称。
# fields与nebula.fields的顺序必须一一对应。
nebula.fields: [start_year, end_year]
# 指定一个列作为起始点和目的点的源。
# vertex的值必须与上述fields或者csv.fields中的列名保持一致。
# 目前，Nebula Graph 2.6.1仅支持字符串或整数类型的VID。
source: {
field: _c0
}
target: {
field: _c1
}
# 指定的分隔符。默认值为英文逗号（,）。
separator: ","
# 指定一个列作为rank的源(可选)。
#ranking: _c5
# 如果CSV文件有表头，请将header设置为true。
# 如果CSV文件没有表头，请将header设置为false。默认值为false。
header: false
# 指定单批次写入Nebula Graph的最大边数量。
batch: 256
# 指定Spark分片数量。
partition: 32
}
]
# 如果需要添加更多边，请参考前面的配置进行添加。
}
{
# Spark相关配置
spark: {
app: {
name: Nebula Exchange 2.6.0
}
driver: {
cores: 1
maxResultSize: 1G
}
executor: {
memory:1G
}
cores {
max: 16
}
}
# Nebula Graph相关配置
nebula: {
address:{
# 指定Graph服务和所有Meta服务的IP地址和端口。
# 如果有多台服务器，地址之间用英文逗号（,）分隔。
# 格式: "ip1:port","ip2:port","ip3:port"
graph:["11.8.38.149:9669","11.8.38.150:9669","11.8.38.151:9669"]
meta:["11.8.38.149:9559","11.8.38.150:9559","11.8.38.151:9559"]
}
# 指定拥有Nebula Graph写权限的用户名和密码。
user: root
pswd: nebula
# 指定图空间名称。
space: basketballplayer
connection {
timeout: 3000
retry: 3
}
execution {
retry: 3
}
error: {
max: 32
output: /tmp/errors
}
rate: {
limit: 1024
timeout: 1000
}
}
# 处理点
tags: [
# 设置Tag player相关信息。
{
# 指定Nebula Graph中定义的Tag名称。
name: player
type: {
# 指定数据源，使用CSV。
source: csv
# 指定如何将点数据导入Nebula Graph：Client或SST。
sink: client
}
# 指定CSV文件的路径。
# 如果文件存储在HDFS上，用双引号括起路径，以hdfs://开头，例如"hdfs://ip:port/xx/xx"。
# 如果文件存储在本地，用双引号括起路径，以file://开头，例如"file:///tmp/xx.csv"。
#path: "hdfs://192.168.*.*:9000/data/vertex_player.csv"
path: "/root/dataset/vertex_player.csv"
# 如果CSV文件没有表头，使用[_c0, _c1, _c2, ..., _cn]表示其表头，并将列指示为属性值的源。
# 如果CSV文件有表头，则使用实际的列名。
fields: [_c1, _c2]
# 指定Nebula Graph中定义的属性名称。
# fields与nebula.fields的顺序必须一一对应。
nebula.fields: [age, name]
# 指定一个列作为VID的源。
# vertex的值必须与上述fields或者csv.fields中的列名保持一致。
# 目前，Nebula Graph 2.6.1仅支持字符串或整数类型的VID。
vertex: {
field:_c0
# policy:hash
}
# 指定的分隔符。默认值为英文逗号（,）。
separator: ","
# 如果CSV文件有表头，请将header设置为true。
# 如果CSV文件没有表头，请将header设置为false。默认值为false。
header: false
# 指定单批次写入Nebula Graph的最大点数量。
batch: 256
# 指定Spark分片数量。
partition: 32
}
# 设置Tag team相关信息。
{
# 指定Nebula Graph中定义的Tag名称。
name: team
type: {
# 指定数据源，使用CSV。
source: csv
# 指定如何将点数据导入Nebula Graph：Client或SST。
sink: client
}
# 指定CSV文件的路径。
# 如果文件存储在HDFS上，用双引号括起路径，以hdfs://开头，例如"hdfs://ip:port/xx/xx"。
# 如果文件存储在本地，用双引号括起路径，以file://开头，例如"file:///tmp/xx.csv"。
# path: "hdfs://192.168.*.*:9000/data/vertex_team.csv"
path: "/root/dataset/vertex_team.csv"
# 如果CSV文件没有表头，使用[_c0, _c1, _c2, ..., _cn]表示其表头，并将列指示为属性值的源。
# 如果CSV文件有表头，则使用实际的列名。
fields: [_c1]
# 指定Nebula Graph中定义的属性名称。
# fields与nebula.fields的顺序必须一一对应。
nebula.fields: [name]
# 指定一个列作为VID的源。
# vertex的值必须与上述fields或者csv.fields中的列名保持一致。
# 目前，Nebula Graph 2.6.1仅支持字符串或整数类型的VID。
vertex: {
field:_c0
# policy:hash
}
# 指定的分隔符。默认值为英文逗号（,）。
separator: ","
# 如果CSV文件有表头，请将header设置为true。
# 如果CSV文件没有表头，请将header设置为false。默认值为false。
header: false
# 指定单批次写入Nebula Graph的最大点数量。
batch: 256
# 指定Spark分片数量。
partition: 32
}
# 如果需要添加更多点，请参考前面的配置进行添加。
]
# 处理边
edges: [
# 设置Edge type follow相关信息。
{
# 指定Nebula Graph中定义的Edge type名称。
name: follow
type: {
# 指定数据源，使用CSV。
source: csv
# 指定如何将点数据导入Nebula Graph：Client或SST。
sink: client
}
# 指定CSV文件的路径。
# 如果文件存储在HDFS上，用双引号括起路径，以hdfs://开头，例如"hdfs://ip:port/xx/xx"。
# 如果文件存储在本地，用双引号括起路径，以file://开头，例如"file:///tmp/xx.csv"。
# path: "hdfs://192.168.*.*:9000/data/edge_follow.csv"
path: "/root/dataset/edge_follow.csv"
# 如果CSV文件没有表头，使用[_c0, _c1, _c2, ..., _cn]表示其表头，并将列指示为属性值的源。
# 如果CSV文件有表头，则使用实际的列名。
fields: [_c2]
# 指定Nebula Graph中定义的属性名称。
# fields与nebula.fields的顺序必须一一对应。
nebula.fields: [degree]
# 指定一个列作为起始点和目的点的源。
# vertex的值必须与上述fields或者csv.fields中的列名保持一致。
# 目前，Nebula Graph 2.6.1仅支持字符串或整数类型的VID。
source: {
field: _c0
}
target: {
field: _c1
}
# 指定的分隔符。默认值为英文逗号（,）。
separator: ","
# 指定一个列作为rank的源(可选)。
#ranking: rank
# 如果CSV文件有表头，请将header设置为true。
# 如果CSV文件没有表头，请将header设置为false。默认值为false。
header: false
# 指定单批次写入Nebula Graph的最大边数量。
batch: 256
# 指定Spark分片数量。
partition: 32
}
# 设置Edge type serve相关信息。
{
# 指定Nebula Graph中定义的Edge type名称。
name: serve
type: {
# 指定数据源，使用CSV。
source: csv
# 指定如何将点数据导入Nebula Graph：Client或SST。
sink: client
}
# 指定CSV文件的路径。
# 如果文件存储在HDFS上，用双引号括起路径，以hdfs://开头，例如"hdfs://ip:port/xx/xx"。
# 如果文件存储在本地，用双引号括起路径，以file://开头，例如"file:///tmp/xx.csv"。
# path: "hdfs://192.168.*.*:9000/data/edge_serve.csv"
path: "/root/dataset/edge_serve.csv"
# 如果CSV文件没有表头，使用[_c0, _c1, _c2, ..., _cn]表示其表头，并将列指示为属性值的源。
# 如果CSV文件有表头，则使用实际的列名。
fields: [_c2,_c3]
# 指定Nebula Graph中定义的属性名称。
# fields与nebula.fields的顺序必须一一对应。
nebula.fields: [start_year, end_year]
# 指定一个列作为起始点和目的点的源。
# vertex的值必须与上述fields或者csv.fields中的列名保持一致。
# 目前，Nebula Graph 2.6.1仅支持字符串或整数类型的VID。
source: {
field: _c0
}
target: {
field: _c1
}
# 指定的分隔符。默认值为英文逗号（,）。
separator: ","
# 指定一个列作为rank的源(可选)。
#ranking: _c5
# 如果CSV文件有表头，请将header设置为true。
# 如果CSV文件没有表头，请将header设置为false。默认值为false。
header: false
# 指定单批次写入Nebula Graph的最大边数量。
batch: 256
# 指定Spark分片数量。
partition: 32
}
]
# 如果需要添加更多边，请参考前面的配置进行添加。
}
{
# Spark相关配置
spark: {
app: {
name: Nebula Exchange 2.6.0
}
driver: {
cores: 1
maxResultSize: 1G
}
executor: {
memory:1G
}
cores {
max: 16
}
}
# Nebula Graph相关配置
nebula: {
address:{
# 指定Graph服务和所有Meta服务的IP地址和端口。
# 如果有多台服务器，地址之间用英文逗号（,）分隔。
# 格式: "ip1:port","ip2:port","ip3:port"
graph:["11.8.38.149:9669","11.8.38.150:9669","11.8.38.151:9669"]
meta:["11.8.38.149:9559","11.8.38.150:9559","11.8.38.151:9559"]
}
# 指定拥有Nebula Graph写权限的用户名和密码。
user: root
pswd: nebula
# 指定图空间名称。
space: basketballplayer
connection {
timeout: 3000
retry: 3
}
execution {
retry: 3
}
error: {
max: 32
output: /tmp/errors
}
rate: {
limit: 1024
timeout: 1000
}
}
# 处理点
tags: [
# 设置Tag player相关信息。
{
# 指定Nebula Graph中定义的Tag名称。
name: player
type: {
# 指定数据源，使用CSV。
source: csv
# 指定如何将点数据导入Nebula Graph：Client或SST。
sink: client
}
# 指定CSV文件的路径。
# 如果文件存储在HDFS上，用双引号括起路径，以hdfs://开头，例如"hdfs://ip:port/xx/xx"。
# 如果文件存储在本地，用双引号括起路径，以file://开头，例如"file:///tmp/xx.csv"。
#path: "hdfs://192.168.*.*:9000/data/vertex_player.csv"
path: "/root/dataset/vertex_player.csv"
# 如果CSV文件没有表头，使用[_c0, _c1, _c2, ..., _cn]表示其表头，并将列指示为属性值的源。
# 如果CSV文件有表头，则使用实际的列名。
fields: [_c1, _c2]
# 指定Nebula Graph中定义的属性名称。
# fields与nebula.fields的顺序必须一一对应。
nebula.fields: [age, name]
# 指定一个列作为VID的源。
# vertex的值必须与上述fields或者csv.fields中的列名保持一致。
# 目前，Nebula Graph 2.6.1仅支持字符串或整数类型的VID。
vertex: {
field:_c0
# policy:hash
}
# 指定的分隔符。默认值为英文逗号（,）。
separator: ","
# 如果CSV文件有表头，请将header设置为true。
# 如果CSV文件没有表头，请将header设置为false。默认值为false。
header: false
# 指定单批次写入Nebula Graph的最大点数量。
batch: 256
# 指定Spark分片数量。
partition: 32
}
# 设置Tag team相关信息。
{
# 指定Nebula Graph中定义的Tag名称。
name: team
type: {
# 指定数据源，使用CSV。
source: csv
# 指定如何将点数据导入Nebula Graph：Client或SST。
sink: client
}
# 指定CSV文件的路径。
# 如果文件存储在HDFS上，用双引号括起路径，以hdfs://开头，例如"hdfs://ip:port/xx/xx"。
# 如果文件存储在本地，用双引号括起路径，以file://开头，例如"file:///tmp/xx.csv"。
# path: "hdfs://192.168.*.*:9000/data/vertex_team.csv"
path: "/root/dataset/vertex_team.csv"
# 如果CSV文件没有表头，使用[_c0, _c1, _c2, ..., _cn]表示其表头，并将列指示为属性值的源。
# 如果CSV文件有表头，则使用实际的列名。
fields: [_c1]
# 指定Nebula Graph中定义的属性名称。
# fields与nebula.fields的顺序必须一一对应。
nebula.fields: [name]
# 指定一个列作为VID的源。
# vertex的值必须与上述fields或者csv.fields中的列名保持一致。
# 目前，Nebula Graph 2.6.1仅支持字符串或整数类型的VID。
vertex: {
field:_c0
# policy:hash
}
# 指定的分隔符。默认值为英文逗号（,）。
separator: ","
# 如果CSV文件有表头，请将header设置为true。
# 如果CSV文件没有表头，请将header设置为false。默认值为false。
header: false
# 指定单批次写入Nebula Graph的最大点数量。
batch: 256
# 指定Spark分片数量。
partition: 32
}
# 如果需要添加更多点，请参考前面的配置进行添加。
]
# 处理边
edges: [
# 设置Edge type follow相关信息。
{
# 指定Nebula Graph中定义的Edge type名称。
name: follow
type: {
# 指定数据源，使用CSV。
source: csv
# 指定如何将点数据导入Nebula Graph：Client或SST。
sink: client
}
# 指定CSV文件的路径。
# 如果文件存储在HDFS上，用双引号括起路径，以hdfs://开头，例如"hdfs://ip:port/xx/xx"。
# 如果文件存储在本地，用双引号括起路径，以file://开头，例如"file:///tmp/xx.csv"。
# path: "hdfs://192.168.*.*:9000/data/edge_follow.csv"
path: "/root/dataset/edge_follow.csv"
# 如果CSV文件没有表头，使用[_c0, _c1, _c2, ..., _cn]表示其表头，并将列指示为属性值的源。
# 如果CSV文件有表头，则使用实际的列名。
fields: [_c2]
# 指定Nebula Graph中定义的属性名称。
# fields与nebula.fields的顺序必须一一对应。
nebula.fields: [degree]
# 指定一个列作为起始点和目的点的源。
# vertex的值必须与上述fields或者csv.fields中的列名保持一致。
# 目前，Nebula Graph 2.6.1仅支持字符串或整数类型的VID。
source: {
field: _c0
}
target: {
field: _c1
}
# 指定的分隔符。默认值为英文逗号（,）。
separator: ","
# 指定一个列作为rank的源(可选)。
#ranking: rank
# 如果CSV文件有表头，请将header设置为true。
# 如果CSV文件没有表头，请将header设置为false。默认值为false。
header: false
# 指定单批次写入Nebula Graph的最大边数量。
batch: 256
# 指定Spark分片数量。
partition: 32
}
# 设置Edge type serve相关信息。
{
# 指定Nebula Graph中定义的Edge type名称。
name: serve
type: {
# 指定数据源，使用CSV。
source: csv
# 指定如何将点数据导入Nebula Graph：Client或SST。
sink: client
}
# 指定CSV文件的路径。
# 如果文件存储在HDFS上，用双引号括起路径，以hdfs://开头，例如"hdfs://ip:port/xx/xx"。
# 如果文件存储在本地，用双引号括起路径，以file://开头，例如"file:///tmp/xx.csv"。
# path: "hdfs://192.168.*.*:9000/data/edge_serve.csv"
path: "/root/dataset/edge_serve.csv"
# 如果CSV文件没有表头，使用[_c0, _c1, _c2, ..., _cn]表示其表头，并将列指示为属性值的源。
# 如果CSV文件有表头，则使用实际的列名。
fields: [_c2,_c3]
# 指定Nebula Graph中定义的属性名称。
# fields与nebula.fields的顺序必须一一对应。
nebula.fields: [start_year, end_year]
# 指定一个列作为起始点和目的点的源。
# vertex的值必须与上述fields或者csv.fields中的列名保持一致。
# 目前，Nebula Graph 2.6.1仅支持字符串或整数类型的VID。
source: {
field: _c0
}
target: {
field: _c1
}
# 指定的分隔符。默认值为英文逗号（,）。
separator: ","
# 指定一个列作为rank的源(可选)。
#ranking: _c5
# 如果CSV文件有表头，请将header设置为true。
# 如果CSV文件没有表头，请将header设置为false。默认值为false。
header: false
# 指定单批次写入Nebula Graph的最大边数量。
batch: 256
# 指定Spark分片数量。
partition: 32
}
]
# 如果需要添加更多边，请参考前面的配置进行添加。
}

向 Nebula Graph 导入数据

通过 [这个连接] (https://repo1.maven.org/maven2/com/vesoft/nebula-exchange/2.6.0/) 下载编译完成的 Nebula Exchange jar 包。

图片[2]-如何通过 Nebula Exchange 导入数据-不念博客
压缩包

在 [Spark 官方下载页面] (https://archive.apache.org/dist/spark/spark-2.4.7/)下载 Spark 2.4.7 版本压缩包。

图片[3]-如何通过 Nebula Exchange 导入数据-不念博客
压缩包

运行 spark-submit 以 local 方式在本地运行 Spark 程序将 CSV 文件数据导入到 Nebula Graph 中。

/root/spark-2.4.7-bin-hadoop2.7/bin/spark-submit \
--master "local" \
--class com.vesoft.nebula.exchange.Exchange \
/root/nebula-exchange-2.6.0.jar \
-c /root/csv_application.conf
/root/spark-2.4.7-bin-hadoop2.7/bin/spark-submit \
--master "local" \
--class com.vesoft.nebula.exchange.Exchange \
/root/nebula-exchange-2.6.0.jar \
-c /root/csv_application.conf
/root/spark-2.4.7-bin-hadoop2.7/bin/spark-submit \
--master "local" \
--class com.vesoft.nebula.exchange.Exchange \
/root/nebula-exchange-2.6.0.jar \
-c /root/csv_application.conf
© 版权声明
本站文章由不念博客原创，未经允许严禁转载！
THE END
数据库
# graph# nebula# exchange
相关推荐
文章目录
paypal官网登录首页入口（网页版入口网址链接）-不念博客

1paypal官网登录首页入口（网页版入口网址链接）

不念的头像-不念博客昨天
2758
拳头官网登录入口（riot games网页版登录教程）-不念博客

2拳头官网登录入口（riot games网页版登录教程）

不念的头像-不念博客昨天
1W+
oppo官网登录入口（官网首页地址链接）-不念博客

3oppo官网登录入口（官网首页地址链接）

不念的头像-不念博客昨天
708
汽车之家官网入口（官方网页版网址）-不念博客

4汽车之家官网入口（官方网页版网址）

不念的头像-不念博客昨天
1384
Netflix官网入口网址（奈飞/网飞网页版入口）-不念博客

5Netflix官网入口网址（奈飞/网飞网页版入口）

不念的头像-不念博客昨天
389
Linux常用命令大全(Linux终端常用命令)-不念博客

1Linux常用命令大全(Linux终端常用命令)

不念的头像-不念博客2年前
510
Linux权限掩码详解-不念博客

2Linux权限掩码详解

不念的头像-不念博客2年前
407
Linux wc命令详解：用于统计文件的字节数、单词数、行数等信息-不念博客

3Linux wc命令详解：用于统计文件的字节数、单词数、行数等信息

不念的头像-不念博客3年前
503
selinux被禁用要怎么打开(如何启用禁用的SELinux？)-不念博客

4selinux被禁用要怎么打开(如何启用禁用的SELinux？)

不念的头像-不念博客2年前
703
js常用跳转代码(js新标签页跳转代码)-不念博客

5js常用跳转代码(js新标签页跳转代码)

不念的头像-不念博客2年前
459
文章目录
标签云
鼠标默认值默认黑树黑帽麻辣烫麒麟鸟哥魔力魔兽高防高速高级ACL高精度高端高斯高性能高带宽高密度高密高可靠性高可用性骨干验证码验证驱逐驱动程序驱动器驱动马赛克马斯克香港站香港首部饿汉饥荒餐具飞行飞秋风河风格颜色代码题目题库颗粒频谱频率