Uploaded image for project: 'Apache IoTDB'
  1. Apache IoTDB
  2. IOTDB-5706

[IoT] Data inconsistency between IoT protocol replications.

    XMLWordPrintableJSON

Details

    • Bug
    • Status: Open
    • Blocker
    • Resolution: Unresolved
    • 1.1.0-SNAPSHOT
    • None
    • mpp-cluster
    • Catalyst-Backlog

    Description

      测试版本:rc/1.1.0 0306_32f9db0
      1.关合并,启动3副本3C3D
      dn_metric_internal_reporter_type=IOTDB 开启数据库统计写入历史点数
      2.启动benchmark执行写入与查询,运行24小时。
      3.(24小时后)cli执行flush
      4. 对比系统库记录的写入点数,与bm结果:
      bm okPoint:187183800000
      IoTDB:561244290000 (见下图),561244290000 /187183800000= 2.9983593131456887
      各节点数据不一致。

      另外的一种方法也可以验证各节点数据的一致性:
      ~ 3个节点在线,查询:
      "select min_time(s_9),max_time(s_9),count(s_9) from root.** align by device"
      记作q1,
      ~ stop ip66/ip68,只有ip62在线,执行相同查询,记作q2
      ~ stop ip62/ip68,只有ip66在线,执行相同查询,记作q3
      ~ stop ip62/ip66,只有ip68在线,执行相同查询,记作q4

      q1和q2/q3/q4预期结果一致,实际q2和q1就不一致,不需要执行后续的q3和q4.

      测试环境
      1. 192.168.10.62/66/68 72CPU256GB
      CN:
      MAX_HEAP_SIZE="8G"
      cn_target_config_node_list=192.168.10.62:10710
      DN:
      MAX_HEAP_SIZE="192G"
      MAX_DIRECT_MEMORY_SIZE="32G"
      dn_target_config_node_list=192.168.10.62:10710,192.168.10.66:10710,192.168.10.68:10710
      dn_metric_internal_reporter_type=IOTDB
      COMMON:
      schema_replication_factor=3
      data_replication_factor=3
      disk_space_warning_threshold=0.01
      enable_seq_space_compaction=false
      enable_unseq_space_compaction=false
      enable_cross_space_compaction=false
      iot_consensus_throttle_threshold_in_byte=536870912000

      2.benchmark配置见附件
      运行24小时

      Attachments

        1. screenshot-1.png
          747 kB
          刘珍
        2. iotdb_5706.conf
          14 kB
          刘珍
        3. image-2023-03-20-14-14-29-268.png
          230 kB
          刘珍
        4. image-2023-03-20-14-09-43-058.png
          44 kB
          刘珍

        Activity

          People

            tanxinyu Xinyu Tan
            刘珍 刘珍
            Votes:
            0 Vote for this issue
            Watchers:
            1 Start watching this issue

            Dates

              Created:
              Updated: