[KYLIN-5315] Optimize snapshot management and support automatic snapshot refresh

• Type: Bug
• Status: Resolved
• Priority: Major
• Resolution: Fixed
• Fix Version/s: 5.0-alpha
• Component/s: Job Engine
• Assignee: Jiale He
• Reporter: Jiale He
• Created: 01/Dec/22 07:50
• Updated: 05/Dec/22 10:26
• Resolved: 05/Dec/22 10:26

Description

 
Kylin 系统中对于快照管理，有两种管理模式：系统自动管理、用户手动管理。默认是系统自动管理，可以通过在项目级开启快照管理来进入用户手动管理模式。 * 系统自动管理的优势是，用户操作简便，无需单独新建、刷新快照等。劣势是，会造成一定程度上的重复刷新，每次构建 Segment 时，都会重复刷新引用的快照，而且如果是快照是分区表，也会刷新全部分区。

• 用户手动管理的优势是，可以精准刷新快照，只需要在快照在底层数据源更新之后，主动触发刷新即可。对于分区表快照，也可以精准刷新部分分区。而缺点是管理成本高，系统无法主动感知底层数据源刷新，需要用户主动触发，往往需要与上游数据准备进行集成，数据源有更新或新增分区时，触发刷新快照 API。而如果不进行及时的刷新，快照数据可能滞后。

为了降低上述管理成本，希望 kylin 能自动感知快照底层 Hive 数据源的更新，并自动触发刷新快照，用户无需与上下游集成也能及时刷新快照。 

 

详细Design 见附件