S3 .上传异步 SDK AWS Java

使用 Java 高效上传文件到 Amazon S3 的方法

Trần_Tuấn_Anh

0/5 (0投票)

2024年10月12日

CPOL

2分钟阅读

2257

将文件上传到 Amazon S3 是现代 Web 应用程序中常见的任务，尤其是在处理大规模数据存储时。

1. 设置 Java AWS SDK

要在 Java 中与 Amazon S3 交互，需要在您的项目中设置 Java AWS SDK。

1.1 添加 AWS SDK 依赖项

首先，需要将 AWS SDK 依赖项添加到您的项目中。如果您使用的是 Maven，请在您的 pom.xml 中包含以下内容

<dependency>
    <groupId>software.amazon.awssdk</groupId>
    <artifactId>s3</artifactId>
    <version>2.20.0</version>
</dependency>

1.2 配置 AWS 凭证

AWS 需要凭证才能验证对 S3 服务的请求。您可以使用 ~/.aws/credentials 文件或环境变量提供凭证。

示例

[default]
aws_access_key_id = your_access_key_id
aws_secret_access_key = your_secret_access_key

1.3 初始化 S3 客户端

配置 AWS SDK 后，您可以在 Java 应用程序中初始化一个 S3 客户端

import software.amazon.awssdk.services.s3.S3Client;
import software.amazon.awssdk.regions.Region;

public class S3Uploader {
    private final S3Client s3;

    public S3Uploader() {
        this.s3 = S3Client.builder()
                          .region(Region.US_WEST_2)
                          .build();
    }
}

2. 将文件上传到 S3

初始化 S3 客户端后，您可以将文件上传到 S3 存储桶。

2.1 单个文件上传

要上传单个文件，可以使用 S3 客户端提供的 putObject 方法。以下是如何操作

import software.amazon.awssdk.services.s3.model.PutObjectRequest;
import java.nio.file.Paths;

public void uploadFile(String bucketName, String keyName, String filePath) {
    PutObjectRequest putObjectRequest = PutObjectRequest.builder()
                                                        .bucket(bucketName)
                                                        .key(keyName)
                                                        .build();
    s3.putObject(putObjectRequest, Paths.get(filePath));
}

演示代码和结果

假设您有一个名为 test.txt 的文件，想要将其上传到 my-bucket S3 存储桶

public static void main(String[] args) {
    S3Uploader uploader = new S3Uploader();
    uploader.uploadFile("my-bucket", "test.txt", "/path/to/test.txt");
    System.out.println("File uploaded successfully!");
}

2.2 大文件的分块上传

对于较大的文件，Amazon S3 提供了一个分块上传 API。此方法允许您将大文件分成更小、更易于管理的部分进行上传。

import software.amazon.awssdk.services.s3.model.CompleteMultipartUploadRequest;
import software.amazon.awssdk.services.s3.model.CreateMultipartUploadRequest;
import software.amazon.awssdk.services.s3.model.UploadPartRequest;

public void uploadLargeFile(String bucketName, String keyName, String filePath) {
    CreateMultipartUploadRequest createMultipartUploadRequest = CreateMultipartUploadRequest.builder()
                                                                                           .bucket(bucketName)
                                                                                           .key(keyName)
                                                                                           .build();
    String uploadId = s3.createMultipartUpload(createMultipartUploadRequest).uploadId();
    
    // Divide the file into parts and upload each part
    // After all parts are uploaded, complete the multipart upload
    CompleteMultipartUploadRequest completeMultipartUploadRequest = CompleteMultipartUploadRequest.builder()
                                                                                                  .bucket(bucketName)
                                                                                                  .key(keyName)
                                                                                                  .uploadId(uploadId)
                                                                                                  .build();
    s3.completeMultipartUpload(completeMultipartUploadRequest);
}

以下是如何使用分块上传大型文件

public static void main(String[] args) {
    S3Uploader uploader = new S3Uploader();
    uploader.uploadLargeFile("my-bucket", "large-file.txt", "/path/to/large-file.txt");
    System.out.println("Large file uploaded successfully!");
}

3. 优化文件上传

在生产环境中，优化文件上传可以节省时间和成本。以下是一些策略

3.1 异步上传

使用异步上传允许您的应用程序在文件上传过程中保持响应。

import software.amazon.awssdk.core.async.AsyncRequestBody;
import software.amazon.awssdk.services.s3.S3AsyncClient;

public void uploadFileAsync(String bucketName, String keyName, String filePath) {
    S3AsyncClient asyncClient = S3AsyncClient.builder().region(Region.US_WEST_2).build();
    asyncClient.putObject(
        PutObjectRequest.builder().bucket(bucketName).key(keyName).build(),
        AsyncRequestBody.fromFile(Paths.get(filePath))
    ).thenRun(() -> System.out.println("Asynchronous upload completed!"));
}

3.2 利用 TransferManager

AWS SDK 提供了一个名为 TransferManager 的更高级别的 API，用于处理文件传输，可以简化该过程，尤其是在进行分块上传时。

import software.amazon.awssdk.transfer.s3.S3TransferManager;
import software.amazon.awssdk.transfer.s3.Upload;

public void uploadUsingTransferManager(String bucketName, String keyName, String filePath) {
    S3TransferManager transferManager = S3TransferManager.create();
    Upload upload = transferManager.uploadFile(b -> b.source(Paths.get(filePath))
                                                     .putObjectRequest(r -> r.bucket(bucketName).key(keyName)));
    upload.completionFuture().join();
    System.out.println("File uploaded using TransferManager!");
}

4. 结论

通过遵循本指南中概述的方法，可以使用 Java 高效地将文件上传到 Amazon S3。无论您处理的是小文件还是大型分块上传，Java AWS SDK 都能提供强大的工具，以确保您的上传安全、快速和可靠。

如果您有任何问题或需要进一步澄清，请随时在下方留言！

更多文章请阅读：使用 Java 高效上传文件到 Amazon S3