apache spark-如何使用aws角色从S3读取数据
发布时间:2022-06-01 17:57:45 243
相关标签: # apache# 数据
我在本地使用 Pyspark 3.1 使用 AWS 访问密钥、密码和“s3a”协议访问 s3 中的数据,它工作正常。我想使用 AWS 角色而不是 AWS 密钥。有人可以告诉我使用它的语法吗?
我试过下面的代码,但它给出了一个错误:
spark_context._jsc.hadoopConfiguration().set("fs.s3a.aws.credentials.provider", "org.apache.hadoop.fs.s3a.auth.AssumedRoleCredentialProvider")
spark_context._jsc.hadoopConfiguration().set("fs.s3a.assumed.role.arn", "arn:aws:iam::2:role/admin-admin-admin")
我收到错误消息:
Unable to load AWS credentials from environment variables (AWS_ACCESS_KEY_ID (or AWS_ACCESS_KEY) and AWS_SECRET_KEY
谢谢,十一
特别声明:以上内容(图片及文字)均为互联网收集或者用户上传发布,本站仅提供信息存储服务!如有侵权或有涉及法律问题请联系我们。
举报