Question

I'm using 2.1.1 with Hadoop 2.7.3 and I'm use data from different S3 sites in one管线。

缩略语全权证书使用<条码>, park虫。

当我消费不同的S3buckets时,它运作良好,但当我拥有与同一桶不同的全权证书时,只处理第一份全权证书。

当我试图使用二等平子查阅档案时,似乎没有更新火焰群,而且由于在打电话S3时有403个错误而失败。

我想要实现的是,用不同的证书处理同一个S3bucket的档案。

Answer 1

没有真正的支持。每个S3A连接器只拥有一套证书,第一个S3A特定包裹的档案系统由美国国际船舶和公司注册。接下来,调查该档案系统,收集其全权证书的现有系统。

Answer 2

I found this link on configuring default credentials for all bucket and another credentials for one specific bucket but it s not taking default credentials for all other buckets. It looks sparkcontext not taking the configuration mentioned as below link. https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html#Configuring_different_S3_buckets_with_Per-Bucket_Configuration

如果你了解并落实了这一经验,请你予以介绍。