Uploaded image for project: 'Apache IoTDB'
  1. Apache IoTDB
  2. IOTDB-5603

[ compaction strategy ]”Unsequence InnerSpaceCompaction“/CrossSpaceCompaction should not be performed when the merge task queue is empty

    XMLWordPrintableJSON

Details

    • Improvement
    • Status: Open
    • Blocker
    • Resolution: Unresolved
    • None
    • None
    • None
    • 2023-2-Storage, 2023-3-Storage

    Description

      master 0228_2ba24ca
      当合并任务队列为空,不应该不执行乱序空间内合并/跨空间合并 。

      1.启动1C1D
      生成测试数据(关3个合并参数):
      /data/mpp_test/m_0228_94ad9f3
      ConfigNode env
      MAX_HEAP_SIZE="8G"
      DataNode env
      MAX_HEAP_SIZE="32G"
      MAX_DIRECT_MEMORY_SIZE="16G"
      COMMON prop:
      data_region_group_extension_policy=CUSTOM
      default_data_region_group_num_per_database=5
      2. benchmark 运行附件中的配置
      运行脚本run_2.sh
      3. 备份数据
      开合并
      compaction_write_throughput_mb_per_sec=1024
      执行合并,合并完成,还有乱序tsfile存在,这是因为
      不满足乱序空间内合并,跨空间合并的条件(一个分区下的乱序文件当大小没到达1G 或者数量没到达30个就不会触发乱序空间内合并,而至少执行过一次空间内合并的乱序文件才能参与跨空间合并),但是这个策略是不合理的,因为目前并没有其他合并任务,但是乱序的合并是必要的。

      Attachments

        1. image-2023-03-01-14-57-33-216.png
          60 kB
          刘珍
        2. part1.conf
          14 kB
          刘珍
        3. part2.conf
          14 kB
          刘珍
        4. run_2.sh
          0.3 kB
          刘珍
        5. test.sh
          0.2 kB
          刘珍

        Activity

          People

            ChouBenson 周沛辰
            刘珍 刘珍
            Votes:
            0 Vote for this issue
            Watchers:
            1 Start watching this issue

            Dates

              Created:
              Updated: