怎么在MetaGPT基础上使用ComfyUI? 怎么把基本大模型接口变成Ollama?

[qwas982]

Feature description

怎么在MetaGPT基础上使用ComfyUI? 怎么把基本大模型接口变成Ollama?

Your Feature

画图:

ollama <-> MetaGPT <-> ComfyUI

以此组装一个代理工作流?

[qwas982]

ComfyUI原来是画画专用,
我想把它用作coding.
如何做?

[better629]

using ollama according to https://docs.deepwisdom.ai/main/en/guide/tutorials/integration_with_open_llm.html#ollama

[qwas982]

我认为架构都要重新设计,

大模型它不可能自动访问周边的工具,虽然都在电脑里,在操作系统里,
在这种情况下,用py写一些代码去控制大模型做事,有些疲于奔命 南辕北辙.
最好的方式是让大模型自动识别代理工作流的各步骤,让它模仿人的操作流程,
让它写码就在VSCode里写,访问网页就在浏览器里浏览,画图就用blender画,

但是大模型没长手,这种情况下怎么办?
大模型如何去启动这些工具,如何在工具里操作?
微软最近的发布会Build 2024给出了答案,

放一个摄像头照屏幕,把图像实时传输给大模型,把鼠标或键盘的输入控制交给大模型,

这里得出的结论是;

1给大模型增添输入/输出访问能力的外部插件,

2大模型必须得具备多模态的能力,

你懂吧? 不能光靠软件的形式创造出代理工作流,"用py写一些代码去控制大模型做事",这根本不够.
还要有物理的辅助.

摄像头现在几乎每个人都有,那就是手机上的3到5个摄像头,连上电脑就能用.你对准屏幕就是,
但是多模态的大模型就难了点,现在能像GPT4o用得这么圆滑 圆润的仅此一家,
要是开源的,本地能跑的,几乎没有.
ollama我试过,本地跑速度也不够快,因为没有优化过,光靠ollama一家也不够.
在线大模型必须要联网,还要钱,这就阻挡了大部分人,
现实里的大部分人都是小白,动手能力也差,对这些懂得很少,成本高的望而却步,
复杂的东西,普通的人注意力都不会集中.
但你不能否认的是,如果普通人参与得多才能建立起更多大模型生态,
仅靠现在业内的这点儿人,你连找个问题的解决方案都找不到,普通使用问题的答案你也求不到,
一点想法,
欢迎探讨.

剩下的就是用comfyUI这种通过节点_连线_图形块_增删改查算法参数的方式创造一种任务管理器,
让大模型根据任务管理器里用户写好的任务,顺序或跳转地执行.直到完成一个项目或任务,这样地做事.
我刚刚又想到的.