[KYLIN-5400] The query statement contains count(distinct), and an error is reported that distinct aggregation not supported

• Type: Bug
• Status: Resolved
• Priority: Major
• Resolution: Fixed
• Affects Version/s: 5.0-alpha
• Fix Version/s: 5.0-alpha
• Component/s: Query Engine
• Assignee: Jiale He
• Reporter: Jiale He
• Created: 11/Jan/23 02:09
• Updated: 29/Mar/23 07:09
• Resolved: 29/Mar/23 07:09

Description

 

参考如下SQL，where中的两个and条件互斥。

select count(distinct STR0)
from TDVT.CALCS
WHERE (CALCS."STR0" = '0330FH')
AND (CALCS."STR0" = '0798FH')

Root Cause

where条件为 = 时，查询一定是互斥的，生成relnode之后会被解析为常量查询，走calcite，calcite这里有bug，不支持distinct aggregation然后报错。

 

Fix Design

修复Calcite的问题，难度比较大，时间跨度也会比较长。

快速的修复方案，可以通过修改是否路由到calcite的判断条件（org.apache.kylin.query.engine.QueryExec#isCalciteEngineCapable），当AggregateRel的input是values并且aggCall是distinct的时候，使该常量查询路由到spark，绕过calcite的问题。

 

Test