Uploaded image for project: 'Flink'
  1. Flink
  2. FLINK-21007

flink sql sink 支持更新目标表的部分字段以及提供null值处理选项

    XMLWordPrintableJSON

Details

    • Improvement
    • Status: Closed
    • Blocker
    • Resolution: Invalid
    • 1.12.2
    • 1.13.0
    • Connectors / JDBC
    • None

    Description

      在通过flink SQL作为etl使用的时候,需要flink sql sink 支持更新目标表的部分字段以及提供null值处理选项(1、当前record剔除null值的字段,只更新没有null的字段到目标表,2、即使结果中有null的字段依旧更新到目标表)。

      eg: 
      目标表
      --------------------------
      id | name | age | level|
      --------------------------
      1  |   sky1 |   30 |    1   |
      --------------------------
      3  |  sky3  |   30 |    2   |
      --------------------------

      计算完写入存储的records(比目标表少一列):

      {"id":1,level:2} {"id":2,level:1}

      计算结果只想根据id更新level字段,不能用null覆盖name和age字段,并且需要考虑id=2的数据行不存在的可能。

      Attachments

        Activity

          People

            Unassigned Unassigned
            c8679724@163.com sky
            Votes:
            0 Vote for this issue
            Watchers:
            1 Start watching this issue

            Dates

              Created:
              Updated:
              Resolved: