Tag: amazon-s3

为什么我的形象没有正确地应用到 AWS3?

我正试图将图像上传到 AWS S3, 但没有效果。 出现了一个文件 , 但它太小 , 不能成为图像 , 并且在 S3 中没有正确打开。 我不知道我的参数是什么。 我要上传的文件叫 picture.g 。 我现在的密码是 : import React , {Component} from 'react'; import logo from './logo.svg'; import './App.css'; import AWS from 'aws-sdk'; AWS.config.update({ accessKeyId: "xxxxxx",…

Read More »

我的 S3 生命周期政策不起作用, 我怎么能调试?

在 AWS 控制台上有一个生命周期策略设置。 在我的 S3 桶里 , 有一个叫做”备份”的文件夹。 我的政策有一个前缀 “backups” 和当前和以前向冰川的过渡设定在创建后 1 天。 S3 文件仍然显示为标准, 没有在冰川。 我已经等了一个月 , 看是不是太慢了。 但什么也没发生。 EN From: My S3 life-cycle policy is not working, how can I debug?

Read More »

持续的「来电讯息」至「三」

我有 Kinesis stream , 我的应用程序以 proto 的格式 , 每秒写入 10K 信息。 我想以拼拍的形式将这些消息保留到 S3 。 为了方便以后的搜索 , 我需要通过用户 ID 字段分区我的数据 , 这是消息的一部分。 目前, 我有一个 lambda 函数是由凯尼斯事件触发的。 它接收最多 10K 的消息 , 用用户 ID 对它们进行分组 , 然后用拼接格式将这些文件写入 S3 。 我的问题是 ,…

Read More »

如何设置通过 ActiveStorage 上传的 S3 文件的缓存控件?

我想设置一个 cache-control 到通过 ActiveStorage 上传到 S3 的文件。 轨道回购 ( 此处链接 ) 中有这条线 : object_for(key).put(body: io, content_md5: checksum, content_type: content_type, **upload_options) 所以我知道 , 如果 **上传 _ 选项中有 :cache_control , 它就可以工作。 ( 此处链接到 aws 参考 ) 如何正确设置上传选项中的内容? EN From: How…

Read More »

S3 Bucket AWS 您不能允许公共访问 , 因为此帐户打开了 Block 公共访问设置

我想把 S3 公开给大家听 , 但是当我这么做的时候我会被拒绝 You can't grant public access because Block public access settings are turned on for this account. To determine which settings are turned on, check your Block public access settings. 当我进入公共访问设置时 , 一切都被关闭了。 我设定了…

Read More »

boto3 放置对象会导致 botoco 。异常。

我已经在每个节点上安装了带有 Rados 网关的两个 ceph 集群。 我试图实现的是将所有对象从我的集群”1″中带有端点的桶”A”转移到可以从我的集群”2″上的另一个端点到达的桶”B”。 这对我的问题并不重要 , 但至少你了解上下文。 我使用 boto3 模块在 python 中创建了一个脚本。 剧本很简单。 我只想把东西放在桶里。 有关部分如下 : s3 = boto3.resource(‘s3’, endpoint_url=credentials[‘endpoint_url’], aws_access_key_id=credentials[‘access_key’], aws_secret_access_key=credentials[‘secret_key’], use_ssl=False) s3.Object(‘my-bucket’, ‘hello.txt’).put(Body=open(‘/tmp/hello.txt’, ‘rb’)) ( hello.txt 只有一个词 ) 假设这个脚本是从我的集群 1 中的一个节点 ( radosgw 端点节点…

Read More »

使用 AWS Cli 进行 AWS S3 ls 时拒绝访问

我启动了一个 ec2 实例 , 并创建了一个具有完整 S3 访问策略的角色。 我在上面安装了 awscli 并配置了用户的访问密钥。 我的用户也有管理员访问和完整的 S3 访问策略。 我可以在 aws 控制台上看到水桶 , 但当我试图在它返回 An error occurred (AccessDenied) when calling the ListBuckets operation: Access Denied 的实例上运行 aws s3 ls 时。 我还需要做什么才能向角色添加权限 , 或者我的用户能够正确地在 S3…

Read More »

如何在 python 中更快地读取和处理 s3 中的多个文件 ?

我在 s3 的某个文件夹位置有多个文件。 我要全部读。 目前 , 我循环所有文件 , 并使用熊猫读取 _ csv 创建一个数据文件 , 然后串联所有这些文件。 但这个过程需要很多时间。 我想要一些能读取文件并处理的东西。 现行编码 : s3 = boto3.resource("s3") bg = s3.Bucket("bucket") objects = bg.objects.filter(Prefix="prefix") file_list = [] for obj in objects: df = pd.read_csv(f's3://bucket/{obj.key}') file_list.append(df)…

Read More »

使用临时凭据从外部 AWS 读取 S3 通过火花

我试图通过 IntelliJ 从我的笔记本电脑上读取一个 s3 文件 , 这样我就能更容易地开发我的火花工作。 文本文件 RDD 代码在 EMR 集群中的 Zeppelin 中工作 , 但当我在本地尝试时不行。 在齐柏林 , 我不需要做任何设置的火花上下文 , 大概是因为它为我做了 , 因为齐柏林实例在 AWS 环境中。 我编写了一些代码来创建临时 AWS 凭据 ( 使用我的 IAM 用户密钥 ) , 这样我就可以为 spark 上下文提供会话令牌。 访问密钥和秘密密钥也来自临时凭据。…

Read More »

加入 EMR S3 同步步骤

在执行所有步骤后 , 我想执行最后一步 , 将 S3 数据复制到另一个桶。 我没有找到运行 shell 命令的支持脚本 https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-commandrunner.html 支持 s3-dist-cp , 如果它允许我覆盖目标目录数据 , 我可以使用它。 我需要这样的东西 : { action_on_failure = "CONTINUE" name = "copy s3 data" hadoop_jar_step = [{ args = ["bash" , " aws s3…

Read More »