云原生的开源 AI 大模型基础设施 Open Source AI Meetup

Name: 云原生的开源 AI 大模型基础设施 Open Source AI Meetup
Start: 2023-07-08T01:30:00+08:00
End: 2023-07-08T06:30:00+08:00
Location: 中关村创业大街12号楼5层

Beijing

Friday, July 7, 2023, 5:30 – 10:30 PM UTC

In-person event

加入我们，参加一场令人激动的开源人工智能见面会，聚集了领域内五位顶尖专家！我们的演讲嘉宾将就他们的开源项目——智源的天秤、Milvus、WasmEdge、FATE、商汤做技术分享。

About this event

活动行页面：http://hdxu.cn/L3bji
meetup 页面：https://www.meetup.com/wasm-rust-meetup/events/294009685/
议程：
下午1:30 - 1:35：介绍
下午1:35 - 2:20：Michael Yuan，WasmEdge 创始人 - 使用 Rust 和 Wasm 开发轻量级 AI 应用
下午2:20 - 3:05：王方驰，VMware CTO办公室高级工程师，FATE 项目maintainer - FATE-LLM: 当联邦学习遇到大型语言模型
下午3:05 - 3:50：李晨 Zilliz 运营及生态负责人 - 向量数据库：大模型的长期记忆体
下午3:50 - 4:05：茶歇
下午4:05 - 4:50：张志，商汤模型量化框架PPQ首席工程师-在 AI 开发中模型量化相关的技术实践
下午4:50 - 5:35：玄日成，智源智能评测组算法研究员，天秤项目core contributor- FlagEval：大模型评测开源项目
下午5:35 - 6:30：问答环节 、集体照片和自由交流

Moderator

Miley Fu

WasmEdge

When

Friday, July 7, 2023
5:30 PM – 10:30 PM UTC

Where

中关村创业大街12号楼5层
海淀西大街
北京, 100086

Agenda

5:30 PM	使用 Rust 和 Wasm 开发轻量级 AI 应用	LLMs如ChatGPT类似于没有记忆、感官或手部的大脑。API和插件使开发人员能够为LLMs添加这些关键功能，并启用LLM应用程序。OpenAI插件和函数模板的普及表明了对此类服务的巨大需求。然而，当前的LLM插件通常建立在复杂的云本地基础设施之上，这些基础设施旨在为完整的服务（如VM，Linux容器和k8s集群）提供支持。这些基础设施对于大多数作为LLMs和外部服务之间轻量级链接的插件/无服务器应用程序来说过于繁重。Wasm已成为一种引人注目的轻量级、便携式和安全的运行时，适用于此类函数。在这个演讲中，我们将讨论WasmEdge社区（一个CNCF沙盒项目）如何利用和构建了Wasm容器基础架构，用于LLM插件。我们将涵盖主要的用例和采用情况，例如研发管理、DevRel、市场营销自动化和培训/学习。然后，我们将深入探讨技术堆栈，以及社区创建的Rust和JavaScript SDK，这些都能实现这些LLM用例。
6:20 PM	FATE-LLM: 当联邦学习遇到大型语言模型	近年来，基于 transformer 的大型语言模型越来越受欢迎，各界讨论不断升温，各路大模型也相继发布，另一方面，大型语言模型在数据和隐私问题上面临的挑战也逐渐凸显。近期，开源联邦学习框架FATE发布了联邦大模型方案FATE-LLM，将联邦学习和大模型技术相结合，为以上问题带来前瞻性的解决方案。通过FATE-LLM，各参与方可以在数据不出本地域的前提下，用各自隐私数据共同进行大模型微调并互惠互利。本次演讲将介绍FATE-LLM在将联邦学习应用于ChatGLM、 LLaMA 等大型语言模型方面的最新努力，并探讨技术和实践上的挑战、设计思路以及未来规划。听众受益： 1. 了解联邦学习与联邦大模型 2. 了解FATE-LLM相关设计思路 3. 了解FATE开源社区生态
7:05 PM	向量数据库：大模型的长期记忆体	对于构建专有大型语言模型的组织而言，向量数据库至关重要。向量数据库的一个新型重要用例是 LLM，在文本生成过程中可用于检索领域特定事实或专有事实，用以存储、索引、搜索和检索非结构化数据的大型数据集。本次分享将重点介绍AI 基础设施的开源向量数据库 Milvus 以及对应的云服务 Zilliz Cloud 是如何知识增强和赋能 LLM，并进而引出大模型与向量数据库的关系、生态集成、工具与应用等。听众收益： 1. 了解大模型和向量数据库的集成构建AI Native应用 2. 向量数据库如何知识增强和赋能 AIGC 领域相关
7:50 PM	AI 开发中模型量化相关的技术实践	神经网络量化是一种广泛应用的技术，可以在较低的成本下降低神经网络的计算代价和内存使用。目前使用最为广泛的量化技术将浮点模型转换为8位整数模型，并使用整数运算器完成网络的推理过程。量化技术目前正广泛应用于推理框架当中，大模型的压缩与部署也广泛地依赖于神经网络量化压缩，由商汤 OpenPPL 团队开发的量化框架 PPQ 是目前国内神经网络量化框架的佼佼者，其支持多个硬件后端平台的量化模拟与部署，并在此基础上抽象出一套完整的量化框架设计。我们将着重讲解大语言模型中广泛应用的量化技术，从weight only量化到groupwise kv cache量化，介绍这些技术的应用场景与性能收益。听众收益：您可了解到如何在服务器上进行网络部署以及性能调优，进而大幅降低神经网络模型的存储需求和计算成本，从而使得这些模型可以在资源要求严苛的设备上运行。通过一些在实际应用中的案例，您将更进一步地了解神经网络模型量化的实现细节与局限性。
8:05 PM

Volunteer

wenhao zhang

KubeSphere @QingCloud

Organizers

Queeny jin

PingCAP

Lead Organizer

wenhao zhang

KubeSphere

Product Manager at KubeSphere

CONTACT US

云原生的开源 AI 大模型基础设施 Open Source AI Meetup

Beijing

About this event

Moderator

Miley Fu

When

Where

Agenda

Volunteer

wenhao zhang

Organizers

Queeny jin

wenhao zhang

Partner

WasmEdge