AI电话语音助手

技能简介

该技能在本地运行FastAPI服务器，连接Twilio电话网络与AI语音服务，实现实时双向语音对话。来电者说话内容经Deepgram转写为文字，由OpenAI模型生成回复，再通过ElevenLabs语音合成实时播报。

业务背景

AI电话语音助手让客服与营销团队无需自建复杂基础设施，即可快速部署7×24小时智能外呼与接听服务。通过实时语音交互，企业能自动处理客户咨询、预约确认、意向筛选等高频场景，降低人工坐席成本的同时提升响应速度与覆盖范围。

落地案例：某教育机构使用本技能搭建课程咨询热线：家长拨打Twilio号码后，AI实时询问孩子年级与学习需求，转写内容同步至CRM；系统根据对话内容推荐匹配课程，并发送试听链接短信。整个流程无需人工介入，高峰期可同时处理数十通来电，顾问仅需跟进高意向线索。

能做什么

• 接听真实电话号码的呼入来电
• 实时将用户语音转为文字并理解意图
• 调用大语言模型生成自然语言回复
• 以拟真人声实时朗读回复内容
• 支持自定义人设、音色和模型版本

使用说明

1. 安装依赖
   pip install -r scripts/requirements.txt
2. 配置环境变量（写入~/.moltbot/.env或导出）：
   需设置DEEPGRAM_API_KEY、OPENAI_API_KEY、ELEVENLABS_API_KEY、TWILIO_ACCOUNT_SID、TWILIO_AUTH_TOKEN、PORT=8080
3. 启动服务
   python3 scripts/server.py
4. 暴露公网地址
   ngrok http 8080，获取https转发地址
5. 绑定Twilio
   进入Twilio控制台 → 电话号码设置 → Voice & Fax → A Call Comes In → 选择Webhook → 填入https://<ngrok地址>/incoming → 方法选POST
6. 拨打测试
   用手机拨打Twilio号码，听到应答后即可对话

如需调整人设，修改scripts/server.py中的SYSTEM_PROMPT；更换音色则修改ELEVENLABS_VOICE_ID。

输入与输出

见下方输入与输出表格。

风险提示

• 需自行承担Twilio通话费用及各项API调用成本
• ngrok免费隧道地址每次重启会变化，生产环境建议固定域名
• 环境变量含敏感密钥，避免提交到代码仓库
• 实时语音对网络延迟敏感，服务器地理位置影响通话体验
• 部分国家/地区对AI外呼有合规限制，需确认当地法规

来源信息

原始链接：https://github.com/openclaw/skills/tree/main/skills/kesslerio/phone-agent/SKILL.md
来源类型：GitHub仓库