WithAI.Design

5 min read

有人已经搭建了一个AI设计团队!

有人已经搭建了一个AI设计团队!

【AI辅助设计】有人已经搭建了一个AI设计团队!

前言

如今 AI 已经渗透到各个领域了,也为各个工作职能添上了更多提效的可能性。关于 AI 辅助设计,一直是本号关注的重点。之前一直集中在单点工具上,如辅助出图、辅助修改设计素材等。 最近看到一个国外的团队,直接使用 Google 最新的大语言模型 Gemini 2.0,搭建了一个“设计团队,直接从流程上去赋能设计,感觉还是很惊艳的👍,觉得有用,整理分享给设计师们。

AI 设计团队介绍

搭建这个流程的是这位小哥。

据他的介绍,他的这个“团队”有以下功能:

  1. 视觉设计
  2. UX 分析
  3. 市场分析

呃,这妥妥的一个准 UED 团队啊~🥱。

看看这个团队的效果

我们从演示视频,看看工作情况😂

上传一个设计稿: 20241214_231916-03.gif

做一些必要的设置和分析提示语。

20241214_231916-05.gif

20241214_231916-15.gif

20241214_231916-16.gif

就可以点击生成,可以分析 UX、UI、已经市场等,生成一个报告形式。

20241214_231916-20.gif

20241214_231916-27.gif

报告内容还是很详尽的,对设计的 review 很有帮助🐂🍺

接着看看搭建教程

以下内容就直接转移官方的教程

多代理人工智能设计团队

在多代理人工智能系统中,专门化的代理可以协同解决复杂问题,形成强大且实用的范式。每个代理都有其独特的能力和目标,能够有效地构建出既强大又实用的系统。随着我们添加多模态能力,比如图像、文本、视频和结构化数据,这些系统的能力将进一步增强。

在本教程中,我们将构建一个由谷歌最新的 Gemini 2.0 驱动的多代理设计团队,其中三位专门化的代理将协作提供全面的设计见解。

每个代理通过 Gemini 的多模态能力,从不同视角解析设计资源,包括分析视觉层次、评估交互模式,并结合市场定位的背景进行考量。代理之间通过沟通和协调,将各自的发现整合为统一且可执行的洞察。

我们将使用 Phidata,这是一个专门为协调 AI 代理设计的框架,提供代理通信、内存管理和工具集成的基础设施。通过使用 Phidata,我们可以轻松创建不仅能够处理多种输入模态,还能结合这些模态进行推理的代理。

此外,Gemini 2.0 Flash 为我们的 AI 代理带来了多模态、卓越性能和快速推理等令人印象深刻的能力。最棒的是,API 在模型实验阶段是免费的,并且提供慷慨的速率限制!

此应用程序利用多个专门化的 AI 代理,结合视觉理解、用户体验评估和市场研究见解,为您的产品及其竞争对手的 UI/UX 设计提供全面的分析。

我们的设计团队:

  1. 视觉代理(Vision Agent) - 该代理专注于视觉分析,识别设计元素、模式、视觉层次,并评估色彩方案和排版等构图基础。它从组件关系到整体品牌一致性,对视觉设计的技术层面进行分析。

  2. 用户体验代理(UX Agent) - 该代理专注于用户体验评估,分析用户流程、交互模式,并识别可用性问题和改进机会。它应用 UX 设计和无障碍性最佳实践,提供增强用户交互的可操作建议。

  3. 市场代理(Market Agent) - 该代理是市场研究专家,结合 DuckDuckGo 搜索功能,分析市场趋势和竞争模式,同时提供战略定位见解。此代理将设计分析与市场研究结合,提供上下文相关的建议和行业特定指导。

功能:

  • 跨三个代理视角的综合分析
  • 与竞争对手设计的比较分析
  • 可定制的重点领域以获得详细见解
  • 上下文相关分析以确保相关性
  • 带有进度指示器的实时处理
  • 结构化、可操作的输出

此应用程序通过结构化的分析工作流程协调三个代理的工作:

分析类型及代理分配:

  1. 视觉设计分析 - 由视觉代理处理

    • 处理上传的图像
    • 根据用户选择的重点领域分析特定元素,如色彩方案、排版、布局
    • 提供视觉组件的技术分析
  2. 用户体验分析 - 由用户体验代理管理

    • 从用户体验的角度评估相同图像
    • 关注用户流程、交互和无障碍性
    • 提供实用的改进建议
  3. 市场分析 - 由市场代理进行

    • 使用 DuckDuckGo 结合视觉分析进行网络研究
    • 提供市场背景和竞争见解
    • 提出定位战略

工作流程过程:

  • 用户上传设计文件及可选的竞争对手设计
  • 选择要运行的分析类型(可以选择任意组合)
  • 可以指定重点领域,如色彩方案、排版、布局、导航、交互、无障碍性、品牌或市场契合度
  • 每种选定的分析类型触发其对应的代理
  • 所有代理均可访问相同的图像,但通过其专门化的视角进行分析
  • 结果被编译成一份综合报告,每个代理的洞察清晰分开
  • 如果选择了多种分析类型,会有一个综合的“关键收获”部分,展示不同视角如何相互关联

在开始之前,请确保您具备以下条件:

  1. 您的机器上已安装 Python(建议使用 3.10 或更高版本)
  2. 获取您的 Gemini API密钥
  3. 选择一个代码编辑器(我们推荐 VS Code 或 PyCharm,它们对 Python 支持非常友好)
  4. 基本了解 Python 编程

分步说明

设置开发环境

首先,让我们准备好开发环境:

  1. 克隆 GitHub 仓库:
git clone https://github.com/Shubhamsaboo/awesome-llm-apps.git
  1. 移动到以下目录:
ai_agent_tutorials/ai_multimodal_design_agent
  1. 安装依赖:
pip install -r requirements.txt
  1. 获取 API 密钥:访问 Google AI Studio > 创建或选择一个项目 > 生成 API 密钥

创建 Streamlit 应用

让我们创建应用程序。新建一个文件 design_agent_team.py,并添加以下代码:

  1. 导入所需库并进行设置:

    • 使用 Streamlit 创建界面
    • 使用 Phidata 管理 AI 代理
    • 使用 Pillow 进行图像处理
    • 使用 DuckDuckGo 进行网络搜索
    • 使用 Google Gemini 作为语言模型
  2. 创建视觉分析代理:
    (代码略,参考原文)

  3. 创建用户体验分析代理:
    (代码略,参考原文)

  4. 创建市场研究代理:
    (代码略,参考原文)

(代码片段较多,省略重复部分)

运行应用程序

完成代码后,启动应用程序:

在终端中,导航到项目文件夹,然后运行以下命令:

streamlit run design_agent_team.py

现在,您已经成功构建了一个由 Gemini 2.0 驱动的多代理设计分析团队。这个工具可以显著简化任何设计评审过程,并为改进提供有价值的见解。

在继续开发您的 AI 代理团队时,可以考虑以下增强功能:

  • 使用 Gemini 的视频功能支持视频分析
  • 为不同设计类型创建自定义分析模板
  • 添加报告导出功能

不断实验和优化,构建更智能的 AI 解决方案!

更多 AI 辅助设计和设计灵感趋势,请关注公众号(设计小站):sjxz 00。

标签