OneFlow
OneFlow,是北京一流科技有限公司旗下的采用全新架构设计的开源工业级通用深度学习框架。
OneFlow为深度学习相关的算法工程师提供一套简洁易用的用户接口,使之能方便的搭建深度学习模型,进行深度学习模型的训练、验证、测试、调参、迁移、部署、迭代开发等工作。OneFlow独创了自动数据模型混合并行、静态调度、去中心化和全链路异步流式执行四大核心技术,解决了大数据、大模型、大计算所带来的异构集群分布式扩展挑战。
OneFlow于2018年9月发布闭源版,于2020年7月正式开源,同年,OneFlow获评中关村“番钛客”金融科技国际创新大赛人工智能底层技术专场第一名 、2020中国人工智能大赛“创新之星”等荣誉奖项。2021年7月,OneFlow入选“2021世界人工智能大会SAIL奖TOP 30”榜单;9月17日,OneFlow深度学习框架被评为“OSCAR尖峰开源项目及开源社区”;9月27日,OneFlow v0.5.0正式上线。2023年1月25日,OneFlow v0.9.0正式发布。
发展历程
OneFlow于2018年9月发布闭源版,2020年7月31日,OneFlow正式在github上开源,采用 Apache 2.0开源协议。
2021年9月27日,历经五次版本更迭后OneFlow v0.5.0正式上线,该版本实现与PyTorch严格对齐,并对齐了相关模型的200多个算子;动态图与静态图转换;单机和分布式无缝切换;在系统层面支持了数据并行、模型并行和流水并行等技术特点。
2023年1月25日,OneFlow v0.9.0正式发布,该本版对架构性能进行了进一步优化,并在易用性、兼容性等方面进行了更新。
基本功能
OneFlow为深度学习相关的算法工程师提供一套简洁易用的用户接口,使之能方便的搭建深度学习模型,进行深度学习模型的训练、验证、测试、调参、迁移、部署、迭代开发等工作。同时深度学习框架作为底层硬件跟算法工程师之间的中间件,使得算法工程师可以忽略具体的计算设备、存储设备的细节直接开发模型。
功能特点
OneFlow独创了自动数据模型混合并行、静态调度、去中心化和全链路异步流式执行四大核心技术,解决了大数据、大模型、大计算所带来的异构集群分布式扩展挑战。同时实现对数据集成、数据清洗、特征工程、模型训练、模型评估模型部署等AI生命全周期的精准管理,同时配备数据标注、交互式SOL数据探索、可视化模型开发、交互式开发及弹性资源设置等功能。
静态调度
静态调度把所有能在正式运行之前得到的调度策略、资源管理策略等问题都在编译阶段解决,运行时不需要在线求解最优的调度方案,从而大幅度降低运行时开销。OneFlow内部有动静两套执行机制,以让用户在使用高度动态模型时也有良好的体验。
去中心化协议
在运行任务时,不再需要中心调度器,只需要支持上下游任务之间局部的握手信号即可,即生产者向消费者发送的请求以及消费者向生产者发送的确认,整个系统以全链路异步的方式运行。
性能提升
OneFlow可降低计算集群内部的通信和调度消耗,提高硬件利用率,加快模型训练速度,训练成本时间大幅缩减。
支持模型并行与流水并行
OneFlow自动支持数据并行、模型并行和混合并行,无需定制化开发,通过该技术,OneFlow已在如大规模人脸识别支持、广告推荐大规模训练等领域落地应用。
异构分布式流式系统
OneFlow是世界首个针对深度学习打造的异构分布式流式系统,大幅减少了运行时开销,且一旦成功启动无运行时错误。OneFlow分布式最易用,代码量最优且完全自动并行。
荣誉奖项
相关评价
OneFlow分布式深度学习框架,其特点就在于高效性。它首创了静态调度与流式执行架构,解决了分布式深度学习面临的“网络墙”难题,同时,“基于全局性视角”的分布式编程接口,让普通工程师也能快速训练部署大模型,从而使更多的企业具备了深度挖掘自身数据资产的能力,降低了大模型训练架构的编程门槛,让大模型快速落地成为可能。(《科技日报》评)
OneFlow,是专为深度学习打造的异构分布式流式系统,代表了深度学习框架的发展方向,是新一代分布式深度学习框架的代表作。在更宏观的层面,它可以将多台服务器通过高速网络连接起来组成集群来实现更高算力,具备更好的扩展性和灵活性,不仅编程简单,而且能把底层每一个独立的芯片都利用充分。(《新民晚报》评)
相关事件
2017年,袁进辉曾与九合创投创始人王啸交流OneFlow和深度学习框架,不同于一般的投资人,技术出身的王啸理解并相信了该项目的前景,领投了一流科技天使轮。
参考资料
OneFlow OneFlow -- 全新一代深度学习框架.OneFlow.2024-02-24
公司介绍.一流科技.2024-02-24
OneFlow v0.9.0正式发布.今日头条.2024-02-24
4月16日,OneFlow亮相全球机器学习技术大会.OneFlow.2024-02-24
校友企业 | 一流科技,让AI简单强大!.微信公众平台.2024-02-24
15个项目现场争锋 中关村“番钛客”金融科技大赛总决赛来了.微信公众平台.2024-02-24
OneFlow登上“2021世界人工智能大会SAIL奖Top 30”榜.OneFlow.2024-02-24
OneFlow深度学习框架荣获“OSCAR尖峰开源项目及开.OneFlow.2024-02-24
一流科技正式上线OneFlow v0.5版:四大特性实现轻.OneFlow .2024-02-24
TensorFlow和PyTorch迎来了“后浪”.凤凰科技.2024-02-24
云推介·人工智能专场|携手科技,提高效率.微信公众平台.2024-02-24
效率为王,未来已来 OneFlow深度学习框架.oneflow.2024-02-24
国产人工智能操作系统 降低大模型训练架构编程门槛.新华网.2024-02-24
2021世界人工智能大会|芯片快跑、算力加持、应用开花 “硬核”创新力爆表.上海市人民政府.2024-02-24
百度元老王啸:国产芯片有望赶超英伟达,AI是未来中美竞争核心.腾讯网.2024-02-24