[ARROW-8011] [C++] Some buffers not resized when reading from Parquet

• Type: Bug
• Status: Resolved
• Priority: Major
• Resolution: Fixed
• Fix Version/s: 0.17.0
• Component/s: C++
• Labels: pull-request-available
• External issue URL: https://github.com/apache/arrow/issues/24227
• Assignee: Antoine Pitrou
• Reporter: Antoine Pitrou
• Created: 05/Mar/20 14:53
• Updated: 11/Jan/23 07:57
• Resolved: 09/Mar/20 19:55

Description

This may leak uninitialized data:

>>> table = pa.Table.from_pydict({"a": pa.array([0, None, None])})                                                                                                            
>>> table.column("a").chunk(0).buffers()[1].to_pybytes()                                                                                                                      
b'\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00'
>>> bio = io.BytesIO()                                                                                                                                                        
>>> pq.write_table(table, bio, use_dictionary=False)                                                                                                                          
>>> bio.seek(0)                                                                                                                                                               
0
>>> table = pq.read_table(bio)                                                                                                                                                
>>> table.column("a").chunk(0).buffers()[1].to_pybytes()                                                                                                                      
b'\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00'

Issue Links

• links to: GitHub Pull Request #6562