Uploaded image for project: 'Kylin'
  1. Kylin
  2. KYLIN-5313

Migration of read-write separation cluster flat table data

    XMLWordPrintableJSON

Details

    • Improvement
    • Status: Resolved
    • Major
    • Resolution: Done
    • None
    • 5.0-alpha
    • Others
    • None

    Description

      在读写分离集群的环境下,要启用将平表数据从读集群存放改为存放在写集群的功能前,需要先执行脚本以迁移平表数据,保障涉及到已有平表的操作都是正常可用的。

       

      Dev Design

      通过脚本结合工具类进行数据的拷贝和迁移,其中工具类仅在用户不手动填入 project 的时候返回当前所有 project 的项目名,脚本名:prepare-flat-table.sh。

      • 脚本包含功能支持项说明,通过 --help 获取。
      • 目前支持四种传参方式:
        • 不传参,默认通过工具类获取所有 project 并拷贝 flat_table 数据文件
        • 仅包含 --update,默认通过工具类获取所有 project 并拷贝需要更新的 flat_table 数据文件
        • 指定 project,支持多个 project 以逗号分隔传参,仅针对指定的 project 拷贝 flat_table 数据文件
        • 指定 project 的同时传入 --update,那么仅针对指定的 project 拷贝需要更新的 flat_table 数据文件

      操作的日志会记录在 ${KYLIN_HOME}/logs/prepare-flatTable.log 文件,仅记录时间、用户和拷贝是否成功的日志。

      前提条件:由于是通过配置文件获取对应的,所以用户需要先提前配置好参数:kylin.env.hdfs-write-working-dir={DIR}{},才能使用该脚本迁移数据,配置该参数在不重启 KE 的情况下不会有其他影响。

      Attachments

        Activity

          People

            jlelehe Jiale He
            jlelehe Jiale He
            Votes:
            0 Vote for this issue
            Watchers:
            2 Start watching this issue

            Dates

              Created:
              Updated:
              Resolved: