OSC源创会·北京站：高性能计算与大模型推理 - 社区活动

活动主题

大模型推理与高性能计算是当今人工智能领域中的两个重要方面，二者相互依赖。

高性能计算为大模型推理提供了必要的计算能力和优化手段，而大模型推理的需求也推动了高性能计算技术的发展。

大模型通常具有数亿甚至数万亿的参数，它们在推理时需要大量的计算资源来处理输入数据并生成输出。

在模型训练阶段，高性能计算资源用于处理大规模数据集和复杂的计算任务；在模型部署阶段，高性能计算环境支持大模型的快速推理，满足实时性需求；此外结合高性能计算技术，可以对大模型进行剪枝、量化、知识蒸等优化，以适应不同的计算环境。但高性能计算系统在处理大模型推理时能耗较高，需要有效的能耗管理策略。

随着云服务的发展，越来越多的HPC资源可以在云上获得，为大模型推理提供了灵活性和可扩展性。本场沙龙聚焦大模型推理优化与高性能计算在AI技术发展中的作用。

演讲嘉宾及议程

演讲嘉宾：涂小兵，商汤高性能计算与推理部门负责人
演讲议题：商汤大模型推理优化分享

议题简介：当下大模型落地趋势加速明显, 大模型推理需求逐步开始爆发, 对应算力的需求与日俱增, 算力成本成为大模型落地中非常关键的因素, 而推理优化的程度直接影响到推理的算力使用成本, 本次主题将商汤高性能计算与推理部门在大模型推理优化领域一些经验及思路跟大家一起分享和探讨。

演讲嘉宾：杨滔，华为昇思MindSpore开源生态总监
演讲议题：昇思2.4版本加速大模型原生创新

议题简介：昇思MindSpore再次突破创新的边界，推出了全新2.4版本，这一版本不仅加速了大模型的原生创新，还进一步推动了AI软硬件协同技术发展。

演讲嘉宾：王玺源，华为高级软件工程师
演讲议题：openMind大模型平台介绍

议题简介：大模型技术发展日新月异，开源大模型百花齐放，面对层出不穷的模型，如何选择合适自己的，如何获取合适的数据集进行二次微调，又如何部署上线，是用户面临的一大问题和挑战。openMind大模型平台汇聚了主流的开源大模型、数据集，并提供在线应用开发和本地快速复现的能力，再配合openMind工具链软件，用户可以简单、快速的获取、生产满足需求的大模型。本议题详细介绍openMind大模型平台的功能、背后的架构、底层技术等，帮助用户使能大模型技术。

演讲嘉宾：陈祥麟，趋境科技研发负责人
演讲议题：降低推理成本，如何使用单卡完成千亿参数大模型推理任务

议题简介：大模型能力发展的同时，使用成本也大幅度提升——更多的数据 + 更大的模型 + 更长的上下文窗口 = 更高的智能。本议题详细介绍了Ktransformers如何利用全系统异构协同，实现单个消费级GPU在本地运行千亿大模型，以及如何使用单个GPU执行上下文长达1M的推理任务的相关技术。趋境科技极大地降低了大模型的使用门槛，帮助企业低成本落地私有化大模型。

奖品池

扫码加入交流群

「邀请有礼」活动开启！
奖品获取攻略：
1、参加北京源创会
2、邀请身边开发者好友来一起参会
3、开源中国精美周边get～ [哇][哇]

具体规则：
1. 发送活动报名链接给开发者好友，邀请TA一起参会
2. 被邀请人需在报名表单 “邀请人姓名” 一栏中填写邀请人的名称
3. 10 月 26 日活动现场，超 3 名被邀请人完成签到，则邀请人可获得 OSC 周边 T 恤或开源魔方 1 件

合作伙伴

志愿者招募
如果你想打入 OSC 编辑部内部，如果你想了解一场技术沙龙是怎么组织起来的，如果你想 get OSC 精美周边，快来加入我们，成为现场志愿者吧！！！
（请加微信：18655807197）

关于源创会
OSC源创会是开源中国社区（oschina.net）主办，聚焦开源、创新的技术沙龙。源创会始终秉承“自由、开放、分享”的宗旨，聚集最优质的技术资源与行业案例，对话最优秀的技术领军人物，为广大开发者带来最新开源技术、前沿技术视角、以及落地实践经验。

关于开源中国
OSCHINA 成立于 2008 年 8 月，目前已建立了相当完善的开源软件分类数据库，收录全球知名开源项目近 10 万款，涉及几百个不同的分类。围绕这些开源项目，OSCHINA 为中国开发者提供了最新开源资讯、软件更新资讯、技术分享和交流的技术平台。2013 年，OSCHINA 建立了代码托管与 DevOps 平台“码云 Gitee”，为广大开发者提供团队协作、源码托管、代码质量分析、代码评审、测试、CI/CD 与代码演示等功能。

经过在开源领域超过十年的深耕，以及与中国本土开源环境的结合，推动了中国开源领域的快速发展。OSCHINA 目前已发展成为国内知名的开源技术社区，社区有 600 万开发者活跃，长期致力于推动国内开源软件的应用和发展，提升本土开源能力，以及为开源生态环境的优化提供支持。

关于渠成开源社区

渠成开源社区是专注于帮助开发者实现商业化的社区，依托主体为青岛渠成开源计算机网络技术研究中心，是非营利、中立且公益的社会组织。
渠成开源社区主要面向一线开源软件生产者、贡献者、组织者、赞助商和用户，以解决具体实际问题为宗旨，旨在帮助中国开源项目实现商业化。

联系人：	北柠
电话：	17554229565
Email：	beining@chandao.com