序二
人工智能新发展与智算经济新篇章
在科技进步浪潮的推动下,人工智能已从单纯的技术概念成长为引领时代进步的核心力量,推动人类生产方式变革、产业结构转型升级和社会经济稳健增长。作为九章云极DataCanvas的联合创始人,我有幸参与并见证这一变革的许多重要时刻。在《AI改变世界:人工智能新发展与智算经济》一书中,我愿分享十余年旅程中对人工智能和智能算力的一些思考和感悟。
我的旅程始于清华大学电子工程系,继而赴美深造,攻读硕博期间我在分布式算法、设计验证算法领域发表多篇论文,也取得了一点小小的成果。毕业后,我加入了微软工作。作为初始团队成员,深入参与了微软云计算平台的拓荒时代,亲历了全球超20万台服务器的数据中心管理监控系统的开发和管理,这不仅锻炼了我的技术能力,更点燃了我对数据智能的无限热情。
2011年,我加入了微软必应搜索团队,投身于下一代前沿智能技术的探索。在机器学习的辅助下,我们让搜索语义理解达到了新的高度。技术成功带来的成就感让我感到喜悦,然而,技术的边界永远在拓展,我渴望在更广阔的领域寻求突破。
2013年,美国迎来数据科学平台创业的爆发期,在硅谷车库文化的熏陶下,我与好友尚明栋共同孕育了九章云极DataCanvas的雏形。我们相信,容器化技术将统一分析流程的运行基础,而机器学习和深度学习将成为新的标准化基础设施。这一信念,引领我们在数据科学平台领域迈出了坚实的步伐。
回国后,面对国内尚未兴起的数据科学浪潮,我们选择了坚持初心。从最初的天使轮融资,到组建团队,再到开发出第一款产品,每一步都凝聚了我们对技术的热爱和对市场需求的深刻理解。我们致力于为数据科学家打造协作平台,让人工智能模型构建任务井然有序且高效。
随着AI技术的不断进步,我们认识到,AI的落地不仅需要强大的算法支持,更需要软件基础设施的全面升级。九章云极DataCanvas的产品矩阵,从自动化机器学习平台到实时决策中心,再到开源的因果学习工具包和多模向量数据库,都是为了降低企业应用AI技术的门槛,让AI模型的建立和应用变得更加简单。
2023年,生成式人工智能的崛起标志着我们步入了AI 2.0时代的全新纪元,大模型技术提供更强泛化能力是必然的技术趋势,人工智能从模拟人类转向模拟世界,带来了全新的芯片范式、基建范式、模型范式、应用范式和竞争范式。智算经济的崛起预示着新的增长范式,而智算力,作为新质生产力的代表,正在重塑我们的经济社会发展模式。在此过程中,算力的需求正以惊人的指数型趋势增长,但硬件的算力供给却只能以线性速度跟进,我们看到了这种供需之间的巨大差距所带来的巨大机遇。大模型训练和推理需要的算力规模庞大且复杂,推动AI算力向集群化和密集化发展,这个必然趋势需要硬件芯片和基础软件以及模型算法的三方共同优化来解决。这需要过去的积累和沉淀,也需要对于未来的想象力和勇气,躬身入局并解决此问题成为了我们的必然选择。
这是一个“软件定义算力”的时代,新一轮的底层计算变革正由大模型的崛起而引发,高速灵活算法的需求和底层相对固定硬件的匹配成为智算操作系统最核心的挑战,所以高度工程化的系统需要标准化产品。2024年,我们发布了全新的DataCanvas AIDC OS智算操作系统,打造包含“算力+算法”的全栈AI基础设施体系,端到端提供AIDC即服务,智算操作系统提供先进的算力纳管和调度方式,提升GPU等硬件的使用效率,充分地释放未能合理利用的算力,降低智能算力的使用成本,并将硬件、软件加Agent集合构建成标准化的算力包以达成算力普惠化。经过我们智算操作系统的优化,同样一个大模型的训练效率提升100%,GPU利用率提升50%,推理速度提升4倍。在我十几年的创业路程中,我深刻的体会到如果想要让算力人人可得,人人可用,人人适用,传统的“裸金属”租赁并不能满足终端用户的需求,我们提出了一度算力(DCU)的概念,通过将“裸金属”变成算力包让用户可以用多少买多少,用多少花多少,以普惠算力构建上下游算力消纳生态,助力AI行业发展。除此之外,我们积累了丰富的智算中心建设经验,通过智算中心的建设运营,可以为地方政府在带动经济发展、推动高端AI产业发展、引进人才等领域发挥作用,成为政府算力招商的核心生态伙伴,也为当地企业提供智能算力服务,吸引高科技企业落地,助力产业转型升级和经济可持续发展。
纵观过去十几年的人生历程,从早期的学术探索到微软的实战经验,再到九章云极DataCanvas的创立与成长,我深刻体会到人工智能与智能算力的演进历程不仅是一次技术突破,更是一场产业革命。产业革命的逻辑下,最大推动力往往来自于基础设施的升级。过去的经历让我坚信,智算中心将成为这场革命最重要的基础设施。
人工智能时代的算力经济对于当前的社会发展和经济建设有着重要的意义,但是深入的讨论还相对缺乏。怀着对于人工智能“未来已来”的憧憬,在多位师长、专家、同行朋友的支持下,本书得以成行。在书中,我们回顾了人工智能技术的演进历程,研究了相关产业链部分优秀的标杆企业,深入探讨了智算经济的内涵和外延、智能算力在推动社会进步中的关键作用,以及我们关于如何建设好智能算力基础设施的一些经验和思考。随着智算经济的崛起,人类站在了新的历史起点上。我期待与同行们一起,推动人工智能技术的创新和应用,共同迎接智算经济带来的无限可能。我们也希望通过这本书,为读者提供一个全面了解AI技术与智算经济发展的窗口,共同把握数字时代的发展机遇。
方磊
2024年8月28日