DynamoDB 数据管道
Data Pipeline 允许向/从表、文件或 S3 存储桶导出和导入数据。这当然在备份、测试以及类似的需求或场景中证明是有用的。
在导出中,您使用 Data Pipeline 控制台创建新管道并启动 Amazon EMR (Elastic MapReduce) 集群来执行导出。 EMR 从 DynamoDB 读取数据并写入目标。我们将在本教程后面详细讨论 EMR。
在导入操作中,您使用数据管道控制台,它创建管道并启动 EMR 来执行导入。它从源读取数据并写入目标。
注意-导出/导入操作会产生成本,具体取决于所使用的服务,特别是 EMR 和 S3、
使用数据管道
在使用 Data Pipeline 时,您必须指定操作和资源权限。您可以利用 IAM 角色或策略来定义它们。执行导入/导出的用户应注意他们需要有效的访问密钥 ID 和密钥。
数据管道的 IAM 角色
您需要两个 IAM 角色才能使用 Data Pipeline-
DataPipelineDefaultRole-这包含您允许管道为您执行的所有操作。
DataPipelineDefaultResourceRole-这包含您允许管道为您提供的资源。
如果您不熟悉 Data Pipeline,则必须生成每个角色。由于现有角色,所有以前的用户都拥有这些角色。
使用 IAM 控制台为 Data Pipeline 创建 IAM 角色,并执行以下四个步骤-
步骤 1-登录位于 https://console.aws.amazon.com/iam/
步骤 2-从仪表板中选择
角色。
步骤 3-选择
创建新角色。然后在
Role Name 字段中输入 DataPipelineDefaultRole,并选择
Next Step。在
Role Type 面板的
AWS Service Roles 列表中,导航到
Data Pipeline,然后选择
Select。在
审核面板中选择
创建角色。
第 4 步-选择
创建新角色。