[SPARK-40412] limit(x,y) + 子查询 出现数据丢失和乱序问题

• Type: Bug
• Status: Resolved
• Priority: Major
• Resolution: Invalid
• Affects Version/s: 2.4.5
• Component/s: Shuffle
• Labels: hiveonspark limit

Environment

hive on spark

hive 3.1.0

spark 2.4.5

• Flags: Important

Language

sql

• Assignee: Unassigned
• Reporter: FengJia
• Created: 13/Sep/22 03:39
• Updated: 13/Sep/22 09:34
• Resolved: 13/Sep/22 09:19

Description

select * 

from(

select * from

table

limit 10，20

)

结果只有10条  并且不是第11条到第20条  顺序也不对

 

select * from

table

limit 10，20

结果是20条，顺序是11到第30条

select * 

from(

select * from

table

order by id

limit 10，20

)

结果是20条，且顺序也是11到30条