[FLUME-3309] 多文件采集时，因inode重复，造成文件读取异常

• Type: Improvement
• Status: Closed
• Priority: Major
• Resolution: Incomplete
• Affects Version/s: 1.7.0, 1.8.0
• Component/s: File Channel
• Labels: patch

Environment

linux

• Flags: Important
• Assignee: Unassigned
• Reporter: daisy
• Created: 27/Dec/18 02:18
• Updated: 08/Oct/22 06:50
• Resolved: 08/Oct/22 06:50

Description

1）前提

读取一个目录下的所有文件，文件名包含年月日时分秒，每天凌晨删除前一天文件。

2）现象

部分记录丢失，或者部分记录被截断，同时日志中不断出现Pos ** is larger than file size! Restarting from pos 0 信息。

3）问题分析

文件通过inode进行唯一标识，ReliableTaildirEventReader类中的tailFiles变量只有不断新增，没有删除。当文件从磁盘删除后，inode就会被重用，会出现同一个inode对应不同的文件。同一个inode第二次被使用时，如果当前文件小于已经删除的文件大小，pos被重置为0,，不存在问题；一旦当前文件大于已经删除的文件大小，就会按照老位置继续读取文件，信息就发生丢失。