OPML: 区块链上的乐观主义机器学习

OPML(乐观主义机器学习)是一种新型技术,可在区块链系统上执行AI模型推理和训练/微调。与ZKML相比,OPML能够以更低成本、更高效率提供机器学习服务。OPML的门槛较低,普通PC无需GPU即可运行包含大型语言模型的OPML,如26GB大小的7B-LLaMA模型。

OPML采用验证游戏机制来确保ML服务的去中心化和可验证共识。其流程如下:

1. 请求者发起ML服务任务
2. 服务器完成任务并将结果提交到链上
3. 验证者检查结果,如有异议则启动验证游戏
4. 通过智能合约对争议步骤进行仲裁

单阶段验证游戏

单阶段验证游戏类似于计算委托(RDoC)机制。OPML的单阶段验证游戏具有以下特点:

• 构建用于链下执行和链上仲裁的虚拟机(VM)
• 实现专门的轻量级DNN库,提高AI模型推理效率
• 使用交叉编译技术将AI模型推理代码编译为VM指令
• VM镜像通过默克尔树管理,只将根哈希上传到链上

性能测试表明,在普通PC上,基本AI模型(MNIST分类DNN)的推理可在2秒内完成,整个挑战过程可在2分钟内完成。

多阶段验证游戏

为克服单阶段验证的局限性,OPML引入了多阶段验证游戏:

• 只在最后阶段在VM中计算,其他阶段可在本地环境灵活执行
• 利用CPU、GPU、TPU等硬件加速能力
• 通过减少VM依赖提高执行效率

多阶段OPML的核心思想是将DNN计算过程表示为计算图,在计算图上进行验证博弈。这种方法可以充分利用GPU或并行处理的优势,显著提高性能。

一致性与确定性

OPML采用以下方法确保ML结果的一致性:

1. 使用定点算法(量化技术)减少浮点舍入误差
2. 采用跨平台一致的软件浮点库

这些技术有助于克服不同硬件和软件环境带来的计算差异,保证OPML结果的可靠性。

OPML仍处于开发阶段,欢迎有兴趣的开发者参与贡献。