解析 ODPS SQL 任务优化方法原理

一文解析 ODPS SQL 任务优化方法原理

本文重点尝试从ODPS SQL的逻辑执行计划和Logview中的执行计划出发，分析日常数据研发过程中各种优化方法背后的原理，覆盖了部分调优方法的分析，从知道怎么优化，到为什么这样优化，以及还能怎样优化。

一、背景

使用ODPS SQL进行离线数据研发时，开发同学不可避免会碰到任务性能问题，需要经常对ODPS SQL执行任务进行调优，以对重点场景任务产出时效进行保障，避免资源浪费。调优过程需要参考相关优化文档资料，发现技术网站中有很多文章介绍到相关的优化方法，但从ODPS底层执行计划来解释为什么要这样做优化以及背后的依据是什么的介绍文章比较少。本文尝试从ODPS底层逻辑计划拆解部分优化方法对应的优化原理，从知道怎么优化，到为什么这样优化，以及还能怎样优化。

二、ODPS基础架构

本节直接略过MAXCOMPUTE基本信息介绍，直接进入相关架构描述。

2 ODPS架构

ODPS按照功能逻辑划分为接入层、逻辑层、存储/计算层，对应着集群功能则是接入层、控制集群、计算集群。