并行文件下载

技能简介

pget 是一款基于 Go 开发的高性能命令行下载工具，支持将单个大文件分块并行下载，以及通过清单文件批量下载多个资源。该工具可直接从 HTTP(S)、S3、GCS 等来源拉取数据，并支持下载后即时解压 tar 归档，无需先写入磁盘。

业务背景

pget 解决大文件传输慢、批量下载繁琐的痛点。通过多线程分块技术，单个大文件下载速度显著提升；支持清单文件批量拉取，省去逐条操作的人力成本。下载后可直接内存解压 tar 归档，跳过落盘步骤，节省存储空间与时间，适合数据迁移、模型部署等高频取数场景。

落地案例：某团队需从对象存储批量获取训练数据集：准备清单文件列出所有资源 URL，执行 pget 指定并发数和分块大小，工具自动并行下载多个文件；若数据集为 tar.gz 格式，添加 -x 参数即可在下载完成后直接内存解压至目标目录，无需等待完整写入磁盘再手动解压，大幅缩短数据准备周期。

能做什么

• 单文件多线程分块下载，提升大文件传输速度
• 下载完成后直接内存解压 tar/tar.gz 文件
• 通过清单文件批量下载多个 URL 到指定路径
• 自定义并发数、分块大小、重试次数等参数

使用说明

安装指令（原始文档未提供，需用户自行获取）：

# 建议通过官方 release 或包管理器安装
# 例如：brew install pget 或下载二进制文件

基础用法

1. 单文件下载：pget <url> <dest>
2. 下载并解压：pget <url> <dest> -x
3. 批量下载（清单文件）：pget multifile /path/to/manifest.txt

常用调优参数

• --concurrency <n>：设置分块并发数
• --chunk-size 125M：指定每个分块大小
• --retries <n>：失败重试次数
• --force：覆盖已存在文件
• --max-concurrent-files <n>：批量下载时的文件级并发

输入与输出

见下方输入与输出表格。

风险提示

• 使用 --force 会无条件覆盖目标路径已有文件，请确认后再执行
• 高并发下载可能触发源站限流或 IP 封禁
• 内存解压大体积 tar 文件时，需确保系统可用内存充足
• 网络不稳定场景建议调高 --retries 并配合 --connect-timeout

来源信息

原始链接：https://github.com/openclaw/skills/tree/main/skills/kelvincai522/pget/SKILL.md
来源类型：GitHub 仓库