amd/gaia: Run LLM Agents on Ryzen AI PCs in Minutes

AMD近期宣布了一项重大创新，推出了名为GAIA的应用程序，专为大语言模型（LLM）的本地化运行而设计。这款应用已经在GitHub上开源，但目前仅限于Windows平台使用。
GAIA是一款基于生成式AI技术的应用程序，它允许用户在Windows PC上本地、私密地运行大语言模型。这款应用针对AMD锐龙AI 300系列处理器进行了优化，展现了AMD在边缘计算领域的进一步布局。
通过在NPU上运行GAIA，用户可以显著提升AI特定任务的性能。从Ryzen AI软件版本1.3开始，AMD引入了混合支持功能，允许同时使用NPU和核显来部署量化的大语言模型。

不合规外链图片,不直接显示，谨慎点击

AMD发布GAIA开源AI项目，专为Windows打造本地化大语言模型运行方案

GAIA的核心组件基于ONNX TurnkeyML的Lemonade SDK开发，并采用了检索增强生成（RAG）技术框架。通过本地向量索引，用户可以实时检索和分析※※※※※※※、GitHub等外部数据。
系统的工作流程包括三大模块：LLM连接器、LlamaIndex RAG管道和代理Web服务器。GAIA支持Llama、Phi等主流的大语言模型，并提供了四大功能模块：
Chaty：一款支持※※对话的聊天机器人。Clip：专注于※※※※※※※视频搜索与问答的专家。Joker：一个具有幽默风格的笑话生成器。Simple Prompt：用于直接与模型交互的测试工具。

不合规外链图片,不直接显示，谨慎点击

AMD发布GAIA开源AI项目，专为Windows打造本地化大语言模型运行方案

在硬件方面，AMD提供了普通版和混合版两种安装方案。普通安装包兼容所有Windows PC，包括非AMD硬件设备，通过Ollama后端实现跨平台支持。混合安装包则专为配备锐龙AI 300系列处理器的设备设计，能够智能分配NPU与集成显卡的计算负载。
GAIA在隐私和性能方面表现突出。本地化处理确保了医疗、金融等敏感行业的数据不会跨境传输。同时，响应延迟降低至毫秒级，相比云端方案缩短了40-60%。NPU专用架构实现了每瓦性能的提升，并支持离线环境运行。
AMD鼓励开发者为GAIA贡献自定义代理模块，目前已有多个行业定制化代理正在开发中。GAIA项目采用了MIT开源协议，代码库已在GitHub上开放。
尽管目前GAIA暂不支持Linux和macOS系统，但AMD的官方文档透露，未来可能会扩展至多平台支持。

昨日，LG旗下的人工智能研究中心“LG AI Research”宣布推出韩国首个开源AI推理模型——EXAONE Deep，其团队宣传其擅长数学和代码编程。值得一提是，EXAONE Deep“满血版”的体积十分小巧，仅有320亿参数（32B），而DeepSeek-R1“满血版”则拥有6710亿参数（671B），此外EXAONE Deep还拥有两个轻量化模型，分别为EXAONE Deep-7.8B、EXAONE Deep-2.4B。