DeepSpeed ZeRO++: A leap in speed for LLM and chat model training with 4X less communication
1:18
DeepSpeed ZeRO++: A leap in speed for LLM and chat model trai…
Jun 22, 2023
MicrosoftBrenda Potts
Lecture 19 - 分布式训练 Part 1 (MIT 6.5940, Fall 2024)
1:09:56
Lecture 19 - 分布式训练 Part 1 (MIT 6.5940, Fall 2024)
1K views1 month ago
bilibili吃瓜的学霸君
分布式机器学习、联邦学习（Shusen Wang）
分布式机器学习、联邦学习（Shusen Wang）
13.3K viewsMar 6, 2020
bilibili风语轻羽
全程干货！分布式框架实战精讲，5天掌握分布式面试核心知识点。
全程干货！分布式框架实战精讲，5天掌握分布式面试核心知识点。
194 viewsApr 26, 2022
bilibili京东架构师诸葛
并行计算与机器学习(1/3)（中文） Parallel Computing for Machine Learning (Part 1/3)
并行计算与机器学习(1/3)（中文） Parallel Computing for Machine Le…
26.7K viewsDec 2, 2019
YouTubeShusen Wang
并行计算-分布式机器学习-王树森
并行计算-分布式机器学习-王树森
392 viewsNov 17, 2022
bilibili咕噜咕噜水蜜桃_もも
并行计算与机器学习(3/3)（中文） Parallel Computing for Machine Learning (Part 3/3)
24:55
并行计算与机器学习(3/3)（中文） Parallel Computing for Machine Le…
8.7K viewsMar 14, 2020
YouTubeShusen Wang
17:25
并行计算与机器学习(2/3)（中文） Parallel Computing for Machine Le…
11.3K viewsDec 2, 2019
YouTubeShusen Wang
24:46
《大规模并行处理器编程实战 Programming Massively Parallel P…
3.1K viewsSep 22, 2024
bilibili听AI的话
3:03
5.2 分布式并行计算技术 《智能交通系统》
1.6K viewsMay 5, 2020
bilibiliDemosYe
21:18
Turing-NLG, DeepSpeed and the ZeRO optimizer
141 viewsFeb 17, 2023
bilibilibackyess
14:50
【分布式训练基础知识】04.PP流水线并行原理
2K views1 year ago
bilibili小鱼儿at青岛
59:39
并行智算云使用介绍
1.7K viewsSep 10, 2024
bilibili并行科技
17:17
【分布式训练基础知识】05.TP张量并行原理
2.5K views11 months ago
bilibili小鱼儿at青岛
1:09
串行机器人VS并联机器人
9.7K viewsFeb 8, 2020
bilibiliAiRobotNews
1:33:35
【教育】并行计算机架构与编程 第一讲（清华大学/CMU）
9.1K viewsJun 29, 2017
bilibilicsyonghe
1:04:10
Spark视频王家林 八第140课： Spark面试经典系列之数据倾斜解 …
Aug 11, 2016
sohu小狐狸299696274
19:58
ZegFormer: Decoupling Zero-Shot Semantic Segmentation
1.4K viewsMar 11, 2023
bilibili婷儿啵啵
1:15:07
Spark视频王家林第6课：零基础实战Scala集合操作
Aug 9, 2016
sohu小狐狸299742575
21:53
【分布式训练基础知识】03.DP数据并行原理（重要）
2.8K views1 year ago
bilibili小鱼儿at青岛
1:47:46
【LLM101】3.3 LLM预训练之分布式训练：数据并行、模型并行、混合精 …
5.8K viewsJan 19, 2025
bilibili一万篇论文笔记
10:08
【10分钟】大模型技术之Pipeline并行
5.5K viewsMay 22, 2023
bilibili吕昱峰-CQU弟中弟
25:25
并行计算与机器学习(1_3)（中文） Parallel Computing for Machine Le…
2K viewsJul 4, 2020
bilibiliTonyhao96
1:14:09
分布式训练
1.2K viewsApr 28, 2022
bilibili算能开发者
4:28
分布式多机多卡训练初体验
5.7K viewsSep 19, 2022
bilibili炼丹术师程序Faith
9:58
【10分钟】大模型技术之优化器并行(ZeRO)
1.9K viewsMay 22, 2023
bilibili吕昱峰-CQU弟中弟
1:24:32
斯坦福CS336第七课：详解大模型并行化策略
3.8K views8 months ago
bilibili一只小茄墩
1:17:56
pytorch基础——多线程并行（通信原语、torchrun介绍）
9.5K viewsMar 31, 2024
bilibili良睦路程序员
15:25
论文分享：自动并行Alpa
2.3K viewsNov 25, 2023
bilibili先进编译实验室
1:04:20
zdem2.1@并行超算云直播交流
548 viewsJul 19, 2021
bilibiligeovbox
See more videos
Static thumbnail place holder