[SPARK-48615] Perf improvement for parsing hex string

• Type: Sub-task
• Status: Resolved
• Priority: Major
• Resolution: Fixed
• Affects Version/s: 4.0.0
• Fix Version/s: 4.0.0
• Component/s: SQL
• Labels: pull-request-available
• Assignee: Kent Yao
• Reporter: Kent Yao
• Created: 13/Jun/24 09:43
• Updated: 18/Jun/24 01:59
• Resolved: 17/Jun/24 01:57

Description

================================================================================================
Hex Comparison
================================================================================================OpenJDK 64-Bit Server VM 17.0.10+0 on Mac OS X 14.5
Apple M2 Max
Cardinality 1000000:                      Best Time(ms)   Avg Time(ms)   Stdev(ms)    Rate(M/s)   Per Row(ns)   Relative
------------------------------------------------------------------------------------------------------------------------
Apache                                             5050           5100          86          0.2        5050.1       1.0X
Spark                                              3822           3840          30          0.3        3821.6       1.3X
Java                                               2462           2522          87          0.4        2462.1       2.1XOpenJDK 64-Bit Server VM 17.0.10+0 on Mac OS X 14.5
Apple M2 Max
Cardinality 2000000:                      Best Time(ms)   Avg Time(ms)   Stdev(ms)    Rate(M/s)   Per Row(ns)   Relative
------------------------------------------------------------------------------------------------------------------------
Apache                                            10020          10828        1154          0.2        5010.1       1.0X
Spark                                              6875           6966         144          0.3        3437.7       1.5X
Java                                               4999           5092          89          0.4        2499.3       2.0XOpenJDK 64-Bit Server VM 17.0.10+0 on Mac OS X 14.5
Apple M2 Max
Cardinality 4000000:                      Best Time(ms)   Avg Time(ms)   Stdev(ms)    Rate(M/s)   Per Row(ns)   Relative
------------------------------------------------------------------------------------------------------------------------
Apache                                            20090          20433         433          0.2        5022.5       1.0X
Spark                                             13389          13620         229          0.3        3347.2       1.5X
Java                                              10023          10069          42          0.4        2505.6       2.0XOpenJDK 64-Bit Server VM 17.0.10+0 on Mac OS X 14.5
Apple M2 Max
Cardinality 8000000:                      Best Time(ms)   Avg Time(ms)   Stdev(ms)    Rate(M/s)   Per Row(ns)   Relative
------------------------------------------------------------------------------------------------------------------------
Apache                                            40277          43453        2755          0.2        5034.7       1.0X
Spark                                             27145          27380         311          0.3        3393.1       1.5X
Java                                              19980          21198        1473          0.4        2497.5       2.0X 

Issue Links

• links to: GitHub Pull Request #46972