[ARROW-10214] [Python] UnicodeDecodeError when printing schema with binary metadata

• Type: Bug
• Status: Resolved
• Priority: Minor
• Resolution: Fixed
• Affects Version/s: 0.17.0, 0.17.1, 1.0.0, 1.0.1
• Fix Version/s: 2.0.0
• Component/s: Python
• Labels: pull-request-available
• Environment: Python 3.6 - 3.8
• External issue URL: https://github.com/apache/arrow/issues/26217
• Assignee: Antoine Pitrou
• Reporter: Paul Balanca
• Created: 07/Oct/20 13:30
• Updated: 11/Jan/23 08:11
• Resolved: 07/Oct/20 15:57

Description

The following small example raises a `UnicodeDecodeError` error, since PyArrow version 0.17.0:

import pyarrow as pa

bdata = b"\xff\xff\xff\xff8\x02\x00\x00\x10\x00\x00\x00\x00\x00\n\x00\x0c\x00\x06\x00\x05\x00\x08\x00\n\x00\x00\x00\x00\x01\x04\x00\x0c\x00\x00\x00\x08\x00\x08\x00\x00\x00\x04\x00\x08\x00\x00\x00\x04\x00\x00\x00\x02\x00\x00\x00\x00\x01\x00\x00\x04\x00\x00\x00\x1a\xff\xff\xff\x00\x00\x00\x0c\xd0\x00\x00\x00\x9c\x00\x00\x00\x90\x00\x00\x00\x04\x00\x00\x00\x02\x00\x00\x00P\x00\x00\x00\x04\x00\x00\x00\xc0\xfe\xff\xff\x08\x00\x00\x00 \x00\x00\x00\x14\x00\x00\x00ARROW:extension:name\x00\x00\x00\x00\x1b"

t = pa.table({"data": pa.array([1, 2])}, metadata={b"k": bdata})
print(t.schema)

In our case, the binary data is coming from the serialization of another PyArrow schema. But I guess the error can appear with any binary metadata in the schema.

The print used to work fine with PyArrow 0.16, getting this output:

data: int64
metadata
--------
OrderedDict([(b'k',
              b'\xff\xff\xff\xff8\x02\x00\x00\x10\x00\x00\x00\x00\x00\n\x00'
              b'\x0c\x00\x06\x00\x05\x00\x08\x00\n\x00\x00\x00\x00\x01\x04\x00'
              b'\x0c\x00\x00\x00\x08\x00\x08\x00\x00\x00\x04\x00'
              b'\x08\x00\x00\x00\x04\x00\x00\x00\x02\x00\x00\x00'
              b'\x00\x01\x00\x00\x04\x00\x00\x00\x1a\xff\xff\xff'
              b'\x00\x00\x00\x0c\xd0\x00\x00\x00\x9c\x00\x00\x00'
              b'\x90\x00\x00\x00\x04\x00\x00\x00\x02\x00\x00\x00P\x00\x00\x00'
              b'\x04\x00\x00\x00\xc0\xfe\xff\xff\x08\x00\x00\x00 \x00\x00\x00'
              b'\x14\x00\x00\x00ARROW:extension:name\x00\x00\x00\x00\x1b')])

I can work on a patch to reverse the behaviour back to PyArrow 0.16?

Issue Links

• links to: GitHub Pull Request #8379