那我今天给大家介绍一个开源项目就是这个CC-Switch
就是现在的大模型API的提供商非常多
相信正在看视频的大多数朋友
手上可能都同时握着两到三个不同服务商的API
但这就带来了一个问题
每次你想在这些提供商之间做切换的时候
都需要去手动的修改配置文件
而今天介绍的这个CC-Switch开源项目
就能帮你完美解决这个问题
它可以让你很方便的在不同的提供商之间来回切换
而且这个项目它支持的Agent的工具
不仅仅是Cloud Code
它还支持Codex, OpenCode, OpenCraw, Gemini, CLI, Hermes Agent
这些主流的Agent
当然它的功能也绝不是仅仅做一个配置文件管理器这么简单
它还支持接口协议的转换
比如让Cloud Code可以直接用上OpenAI兼容格式的API接口
更强大的是它还内置了自动故障转移这一功能
就是当你某个API节点挂掉或者额度耗尽的时候
它会在底层自动无缝地切换到备用的节点
保证你的agent任务它不会中断
接下来我们就来实际操作一下
并且演示一下如何使用它的自动故障转移功能
加上OpenRouter的Free模型
让Cloud Code稳定地工作下去
它的安装非常简单
点击这里的Release
在这里去下载你对应电脑的版本
点击这里可以显示全部的资源
比如我这里使用的是Windows系统
我就下载这个MSI文件
下载安装完成后
这里就是它的应用界面
这里就是选择你要对哪个Agent的工具进行配置
比如这里是配置Cloud Code
这里点击加号就可以增加一个服务提供商
它默认的话已经预设了很多的服务提供商
比如这里我配置Deepseek
这里它会自动帮你填写请求用的API地址
然后这里填写你的API key
这里的模型名称应该是我之前配置过
所以说它自动就帮我填写好了
这里实际请求的模型
就是指在这个服务提供商的地址中
它显示的模型名称
比如说这里配置的是DeepSickVisPro
至于这里模型是否支持百万上下文
你需要根据就是这个提供商的模型
提供的模型名称
简单来说
比如说我们把这里勾上了以后
你可以看到
它这里请求的模型名称
会在后面加一个EM的标识
那这样的话
它在服务提供商那边请求的模型
其实是请求的这个模型了
就是你的模型提供商
没有提供这种名称的模型
那肯定是无法正常调用的
比如这个是Deepseq API的官方文档
可以看到Deepseq是支持
这样的模型名称的
这里呢是兜底模型
就是Cloud Code的请求
没有明确落到Sonic的
Oppos或Haku的角色时
使用
但是它写的通常可以流空
我们也就直接流空
然后可以对这里的模型测试
进行一个单独的配置
主要是配置一下这个测试的模型
我们这里就测试DeepSeq v4 Pro
为什么这里要做一个单独配置呢
就是你这里如果不单独进行配置的话
它会使用全局的配置去测试你的模型
而在全局的配置中
它默认填写的模型名称是Cloud Code的一款模型
所以你用DeepSecret的接口去测试
肯定是测试不成功的
这里填写下API Key
填写完成后点击添加
这里就显示了刚刚添加的模型提供商
使用前我们可以先通过这里的测试
看一下请求是否正常
如果这里测试报错的话
那可能就是你的配置有问题
需要检查一下你的请求地址
或者你的请求的模型是否正确
当然这里测试的模型是刚刚
在这里填写的测试模型
这也是为什么要对它进行单独的模型测试配置
不然的话你的测试是永远通过不了的
测试完成后
点击这里启用
就可以使用这个配置了
然后点击这里打开终端
选择你的工作目录
它会自动的帮我们打开这个Cloud Code
好的,没有问题
注意这里显示的是
当前这个Cloud Code
使用的配置文件的路径
也就是这个文件
我们这里可以看一下
这里就显示的是你模型服务商的配置
为什么给大家讲这个呢
因为这个在后面讲路由功能的时候非常重要
接下来我们来看一下路由的功能
比如这里我配了一个Deepseeker
但是它使用的接口是OpenAI的格式
我们可以进去看一下
这里可以看到
它请求的路径
后面就不带那个Atherapic
它使用的是OpenA的模式
然后这里我们需要告诉
就是这个CC-Switch
这个接口是用的什么模式
如果是这个Atherapic Message原生的话
你就不需要开取路由
当然你对应的这个接口地址
一定是对应的是
Anthoropic的接口的那种规范
我这里因为是OpenAI的
所以说我选择是
这个OpenAI Chat Completion的这个模式
如果你使用的是OpenAI格式的提供商
它这里就会提示你需要开启路由
比如像OpenRouter
英伟达
这些模型提供商
它只有OpenAI格式的接口
它没有Anthoropic格式的接口
所以说它都需要去开启这个路由
路由要如何开启呢
我们点击这里的设置
在这里点击路由
在这里
把这个路由开关打开
然后针对Cloud Code
去启动它的路由
然后它会在本地
启动一个HTTP的服务
帮助你去做接口协议的转换
也就是把OpenAI格式的返回结果
转换成Athrobic的结果
取用完成了以后
我们点击这里启用
但是这里就千万不要使用
这个按钮去启动客户端
我们可以试一下
如果在这里启动客户端
它的路由是无法正常工作的
可以看到它这里提示是
当前使用的模型有问题
建议是切换其他的模型
但其实根本的原因是
因为它这个配置文件里面
我们再来看一下
它请求的地址依然是这个Deepseek的地址
并没有去请求路由的地址
而路由的地址它是配置到哪里呢
它其实是配置到了
就是
就是它配置到了Cloudcode全局的配置文件中
在这里我们可以看到
它的base URL
请求的就是本地的那个路由的服务
所以正确的方法
我们直接在命令行终端里面启动Cloud Code就可以了
这里呢
它就是使用的是全局的配置文件
然后它的请求会默认通过这个路由服务进行转发
好的这样就是没有问题的
下面我们来看一下CC-Switch的自动故障转移功能
所谓自动故障转移
就是当你的某个API节点挂掉的时候
它会在底层自动的切换到其他的节点
而且它这个切换是在路由服务内部切换的
什么意思呢
就是Cloud Code
它在完成一期任务的时候
可能会发出很多个HTTP的请求
CC Switch会对每个HTTP的请求
单独做服务商的选择和步骤转移
如果某个请求失败了
CC Switch就自动的选择下一个服务商
继续发送这个请求
而对于Cloud Code的客户端这边
是完全无感的
它只会收到一个成功的响应
当然如果说是
所有的服务商请求都失败了
Cloud Code的客户端
才会受到一个失败的响应
为了测试空障转移这个功能
我申请了三个OpenRouter的账户
在测试之前
我们先了解一下OpenRouter的免费模型
在OpenRouter的官网中
搜索Free
这后面带Free标识的
就是免费的模型
比如这个DeepSick V4 Flash
当然了
免费模型使用起来
肯定是有一定的限制的
首先就是必源的模型
它肯定是不会让你免费去使用的
而且新开源的最强的模型
也不会让你去免费的使用
当然像这个Deepseek V4 Flash
我自己测试还是可以的
像其他的还有这个MiniMax
2.5的模型
这个测试的话
效果也是可以的
它这里还有一个FreeModes Router
选择这个模型
它就是在这里面
所有的免费模型中
自动的帮你去切换
选择它的好处是不容易触发速率的限制
但坏处是它可能会切换到一些效果不太好的模型
导致你的任务时好时坏的
关于免费模型的速率限制
在这个文档中它有详细的介绍
首先就是每分钟最多可以发送20个请求
如果你购买的积分少于10个
每天最多只能进行50次的模型请求
但如果你购买的积分大于等于10个
你每日的请求额度
就可以增加到1000次
它这个积分是1美元一个积分
当然使用这些免费的模型的时候
它是不会消耗你这个积分的
我这里有三个账户
但是都还没有充值
所以说这三个账户一起
单日可以使用150次请求
这里就设计一个简单的项目
让Cloud Code来完成
主要就是测试
当触发了每分钟的数率线之后
CC-Switch能否成功的切换到下一个免费的模型
让Cloud Code的任务能够继续完成
如果这条线路能够走通的话
你多申请几个账户
比如五个账户
每个账户充值10美元
合计应该不到400块钱
每天就有5000次的请求额度
这个额度对于大部分的开发者来说
是非常充足的
当然这里我也不敢把话说得太满
毕竟规则是别人制定的
可能后期别人会改规则
或者当前有什么隐性的规则没有发现
导致真正在使用的时候
可能会遇到各种各样的问题
所以大家可以多注册一些免费的账户进行测试
确保它足够的稳定
另外的话就是OpenRouter
它是有退款政策的
但是它必须你充值后的24小时内
提出申请才可以退款
好的
下面我们就来测试一下
首先我们需要开启故障转移功能
点击这里
点击路由
点击这个自动故障转移
然后选择是Cloud Code
点击这里的开启
在这里呢
设置故障转移的服务商的堆列
这里选择一个服务商
比如选择英伟达这个服务商
然后点击这个加号进行添加
那么Cloud Code在执行任务的时候
就会在这个四个服务商里面去请求模型
它请求的顺序就是
先请求第一个服务商的模型
如果第一个服务商的模型失败了以后
再请求第二个
依此类推
第三个
第四个
这个对列的顺序
可以在这里
就是点击这里进行调整
比如说把这个英伟达调到前面
那他就是优先请求这个英伟达的服务
这里调整错了
应该是调整备用2
这个
这个就在前面了
这里我先把它删除掉
下面的任务还是使用这三个open router的账户来进行
故障转移功能设置好了以后
还是需要通过从命令行的方式进入cloud code的客户端
就是不要通过这里去启动客户端
这里我先测试一下
FreeMode Router
这个模型的效果如何
这里我就随便设计了一个任务
也是让AI帮我想的
开发一个多功能
本地生活综合管理系统
要求包含项目基础设施的搭建
用户账户权限的系统的开发
然后核心模块
一个人记账理财系统
二日常代办备忘系统
三本地文件资源管理系统
四生活物资库存管理模块
最后是一些系统维护功能
比如说数据库的备份
系统数据的初始化
在开始前
我们还是让agent先列一个计划
好的计划已经列完了
我们来看一下它列出的计划
这里它列出来的都是英文的
就直接让他按照这个计划来执行吧
这里出现了写文件的错误
我推测是底层模型输出的工具调用的格式出现了问题
好的,使用FreeModeRouter这个模型会频繁的出错
而且有时候Cloud Code没有任何的输出
就直接停止在那了
而且这里基本没有触发自动故障转移
我们把底层换一个强烟的模型
就改成Deepseek V4 Flash模型
这里看一下它的模型名称
这里再把任务丢给他执行一下
好的,现在这里就可以看到
自动故障转移功能被触发了
好的,最终没能完成任务
三个帐号都已经达到了每日的限额
而且是因为接着前面模型的结果继续跑的
所以Deepseek模型在跑的时候
还要兼顾修改前面模型犯下的错误
这也浪费了很多的请求次数
当然换了模型以后
效果就好了很多
而且中间没有出现
因为每分钟的数据限制
导致任务中断的状况
当然中间有那么一瞬间
两个账号同时出现了熔断
如果把账号的数量增加到5个
应该就会更加的稳定
好的
以上就是这个视频的全部内容
谢谢大家观看