DuckDB数据分析

技能简介

DuckDB CLI Specialist 是一款嵌入式分析型数据库的命令行工具，支持直接用 SQL 查询 CSV、Parquet、JSON 等文件，无需导入即可分析，也可进行多格式数据转换。

能做什么

• 直接对 CSV、Parquet、JSON 文件执行 SQL 查询
• 将数据在 CSV、Parquet、JSON 等格式间相互转换
• 创建持久化数据库并管理表结构
• 以 18 种输出格式查看和导出结果
• 使用交互式命令行进行即席数据分析

使用说明

安装 DuckDB CLI：

# macOS
brew install duckdb

# Linux (Ubuntu/Debian)
wget https://github.com/duckdb/duckdb/releases/download/v1.0.0/duckdb_cli-linux-amd64.zip
unzip duckdb_cli-linux-amd64.zip
sudo mv duckdb /usr/local/bin/

# 验证安装
duckdb --version

基础查询：

# 查询 CSV 前10行
duckdb -c "SELECT * FROM 'data.csv' LIMIT 10"

# 查询 Parquet 文件
duckdb -c "SELECT * FROM 'data.parquet'"

# 批量读取多个文件
duckdb -c "SELECT * FROM read_parquet('logs/*.parquet')"

格式转换：

# CSV 转 Parquet
duckdb -c "COPY (SELECT * FROM 'input.csv') TO 'output.parquet' (FORMAT PARQUET)"

# Parquet 转 CSV（带表头）
duckdb -c "COPY (SELECT * FROM 'input.parquet') TO 'output.csv' (HEADER, DELIMITER ',')"

# JSON 转 Parquet
duckdb -c "COPY (SELECT * FROM read_json_auto('input.json')) TO 'output.parquet' (FORMAT PARQUET)"

打开持久化数据库：

# 创建或打开数据库
duckdb my_database.duckdb

# 只读模式打开
duckdb -readonly existing.duckdb

常用点命令（交互模式下）：

.tables          # 查看所有表
.schema [table “” not found /]

  # 查看表结构
.mode markdown   # 切换输出格式为 Markdown
.output file.txt # 将输出保存到文件
.timer on        # 显示执行时间

指定输出格式：

duckdb -csv -c "SELECT * FROM 'data.csv'"      # CSV 格式
duckdb -json -c "SELECT * FROM 'data.csv'"     # JSON 数组
duckdb -markdown -c "SELECT * FROM 'data.csv'" # Markdown 表格

输入与输出

见下方输入与输出表格。

项目	内容
输入	本地或远程 CSV、Parquet、JSON 文件；SQL 查询语句；命令行参数与配置选项
输出	查询结果（支持 csv/json/markdown/html/latex 等 18 种格式）、转换后的数据文件、数据库元数据
适用人群	数据分析师、数据工程师、后端开发、金融研究人员、需命令行快速处理数据的工程师
不包含	分布式计算能力、可视化图表生成、Web 管理界面、云端同步服务、企业级权限控制

 

风险提示

• 处理大文件时注意内存占用，DuckDB 虽为列式存储但仍受限于可用内存
• 写入操作会覆盖目标文件，转换前确认输出路径
• JSON 自动推断类型可能不准确，复杂嵌套结构建议手动指定 schema
• 生产数据库建议使用 -readonly 模式避免误修改
• glob 模式匹配大量文件时可能触发系统打开文件数限制

来源信息

原始链接：https://github.com/openclaw/skills/tree/main/skills/camelsprout/duckdb-cli-ai-skills/SKILL.md
来源类型：GitHub 开源技能文档