[FLINK-8685] Code of method "processElement(Ljava/lang/Object;Lorg/apache/flink/streaming/api/functions/ProcessFunction$Context;Lorg/apache/flink/util/Collector;)V" of class "DataStreamCalcRule$3069" grows beyond 64 KB

• Type: Bug
• Status: Closed
• Priority: Blocker
• Resolution: Duplicate
• Component/s: API / DataStream, Table SQL / API

Environment

Fedora 27

• Assignee: Unassigned
• Reporter: Jahandar Musayev
• Created: 17/Feb/18 04:53
• Updated: 15/Mar/18 16:46
• Resolved: 15/Mar/18 16:46

Description

I want to use DataStream API and Table API & SQL. I want to read data from Apache Kafka and transpose it using SQL. It throws the error below.

A version of this code for DataSet API works fine.

 

org.apache.flink.api.common.InvalidProgramException: Table program cannot be compiled. This is a bug. Please file an issue.
    at org.apache.flink.table.codegen.Compiler$class.compile(Compiler.scala:36)
    at org.apache.flink.table.runtime.CRowProcessRunner.compile(CRowProcessRunner.scala:35)
    at org.apache.flink.table.runtime.CRowProcessRunner.open(CRowProcessRunner.scala:49)
    at org.apache.flink.api.common.functions.util.FunctionUtils.openFunction(FunctionUtils.java:36)
    at org.apache.flink.streaming.api.operators.AbstractUdfStreamOperator.open(AbstractUdfStreamOperator.java:102)
    at org.apache.flink.streaming.api.operators.ProcessOperator.open(ProcessOperator.java:56)
    at org.apache.flink.streaming.runtime.tasks.StreamTask.openAllOperators(StreamTask.java:393)
    at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:254)
    at org.apache.flink.runtime.taskmanager.Task.run(Task.java:718)
    at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.RuntimeException: Compiling "DataStreamCalcRule$3069": Code of method "processElement(Ljava/lang/Object;Lorg/apache/flink/streaming/api/functions/ProcessFunction$Context;Lorg/apache/flink/util/Collector;)V" of class "DataStreamCalcRule$3069" grows beyond 64 KB
    at org.codehaus.janino.UnitCompiler.compileUnit(UnitCompiler.java:361)
    at org.codehaus.janino.SimpleCompiler.cook(SimpleCompiler.java:234)
    at org.codehaus.janino.SimpleCompiler.compileToClassLoader(SimpleCompiler.java:446)
    at org.codehaus.janino.SimpleCompiler.cook(SimpleCompiler.java:213)
    at org.codehaus.janino.SimpleCompiler.cook(SimpleCompiler.java:204)
    at org.codehaus.commons.compiler.Cookable.cook(Cookable.java:80)
    at org.codehaus.commons.compiler.Cookable.cook(Cookable.java:75)
    at org.apache.flink.table.codegen.Compiler$class.compile(Compiler.scala:33)
    ... 9 more
Caused by: org.codehaus.janino.JaninoRuntimeException: Code of method "processElement(Ljava/lang/Object;Lorg/apache/flink/streaming/api/functions/ProcessFunction$Context;Lorg/apache/flink/util/Collector;)V" of class "DataStreamCalcRule$3069" grows beyond 64 KB
    at org.codehaus.janino.CodeContext.makeSpace(CodeContext.java:974)
    at org.codehaus.janino.CodeContext.write(CodeContext.java:867)
    at org.codehaus.janino.UnitCompiler.writeOpcode(UnitCompiler.java:11753)
    at org.codehaus.janino.UnitCompiler.writeLdc(UnitCompiler.java:10512)
    at org.codehaus.janino.UnitCompiler.pushConstant(UnitCompiler.java:10280)
    at org.codehaus.janino.UnitCompiler.compileGet2(UnitCompiler.java:5202)
    at org.codehaus.janino.UnitCompiler.access$8400(UnitCompiler.java:212)
    at org.codehaus.janino.UnitCompiler$12.visitIntegerLiteral(UnitCompiler.java:4073)
    at org.codehaus.janino.UnitCompiler$12.visitIntegerLiteral(UnitCompiler.java:4044)
    at org.codehaus.janino.Java$IntegerLiteral.accept(Java.java:5250)
    at org.codehaus.janino.UnitCompiler.compileGet(UnitCompiler.java:4044)
    at org.codehaus.janino.UnitCompiler.fakeCompile(UnitCompiler.java:3383)
    at org.codehaus.janino.UnitCompiler.compileGetValue(UnitCompiler.java:5218)
    at org.codehaus.janino.UnitCompiler.compileGet2(UnitCompiler.java:4813)
    at org.codehaus.janino.UnitCompiler.access$8200(UnitCompiler.java:212)
    at org.codehaus.janino.UnitCompiler$12.visitMethodInvocation(UnitCompiler.java:4071)
    at org.codehaus.janino.UnitCompiler$12.visitMethodInvocation(UnitCompiler.java:4044)
    at org.codehaus.janino.Java$MethodInvocation.accept(Java.java:4874)
    at org.codehaus.janino.UnitCompiler.compileGet(UnitCompiler.java:4044)
    at org.codehaus.janino.UnitCompiler.compileGetValue(UnitCompiler.java:5224)
    at org.codehaus.janino.UnitCompiler.compile2(UnitCompiler.java:3445)
    at org.codehaus.janino.UnitCompiler.access$5000(UnitCompiler.java:212)
    at org.codehaus.janino.UnitCompiler$9.visitMethodInvocation(UnitCompiler.java:3424)
    at org.codehaus.janino.UnitCompiler$9.visitMethodInvocation(UnitCompiler.java:3396)
    at org.codehaus.janino.Java$MethodInvocation.accept(Java.java:4874)
    at org.codehaus.janino.UnitCompiler.compile(UnitCompiler.java:3396)
    at org.codehaus.janino.UnitCompiler.compile2(UnitCompiler.java:2316)
    at org.codehaus.janino.UnitCompiler.access$1700(UnitCompiler.java:212)
    at org.codehaus.janino.UnitCompiler$6.visitExpressionStatement(UnitCompiler.java:1450)
    at org.codehaus.janino.UnitCompiler$6.visitExpressionStatement(UnitCompiler.java:1443)
    at org.codehaus.janino.Java$ExpressionStatement.accept(Java.java:2848)
    at org.codehaus.janino.UnitCompiler.compile(UnitCompiler.java:1443)
    at org.codehaus.janino.UnitCompiler.compileStatements(UnitCompiler.java:1523)
    at org.codehaus.janino.UnitCompiler.compile2(UnitCompiler.java:1509)
    at org.codehaus.janino.UnitCompiler.access$1600(UnitCompiler.java:212)
    at org.codehaus.janino.UnitCompiler$6.visitBlock(UnitCompiler.java:1449)
    at org.codehaus.janino.UnitCompiler$6.visitBlock(UnitCompiler.java:1443)
    at org.codehaus.janino.Java$Block.accept(Java.java:2753)
    at org.codehaus.janino.UnitCompiler.compile(UnitCompiler.java:1443)
    at org.codehaus.janino.UnitCompiler.fakeCompile(UnitCompiler.java:1485)
    at org.codehaus.janino.UnitCompiler.compile2(UnitCompiler.java:2390)
    at org.codehaus.janino.UnitCompiler.access$1800(UnitCompiler.java:212)
    at org.codehaus.janino.UnitCompiler$6.visitIfStatement(UnitCompiler.java:1451)
    at org.codehaus.janino.UnitCompiler$6.visitIfStatement(UnitCompiler.java:1443)
    at org.codehaus.janino.Java$IfStatement.accept(Java.java:2923)
    at org.codehaus.janino.UnitCompiler.compile(UnitCompiler.java:1443)
    at org.codehaus.janino.UnitCompiler.compileStatements(UnitCompiler.java:1523)
    at org.codehaus.janino.UnitCompiler.compile(UnitCompiler.java:3052)
    at org.codehaus.janino.UnitCompiler.compileDeclaredMethods(UnitCompiler.java:1313)
    at org.codehaus.janino.UnitCompiler.compileDeclaredMethods(UnitCompiler.java:1286)
    at org.codehaus.janino.UnitCompiler.compile2(UnitCompiler.java:785)
    at org.codehaus.janino.UnitCompiler.compile2(UnitCompiler.java:436)
    at org.codehaus.janino.UnitCompiler.access$400(UnitCompiler.java:212)
    at org.codehaus.janino.UnitCompiler$2.visitPackageMemberClassDeclaration(UnitCompiler.java:390)
    at org.codehaus.janino.UnitCompiler$2.visitPackageMemberClassDeclaration(UnitCompiler.java:385)
    at org.codehaus.janino.Java$PackageMemberClassDeclaration.accept(Java.java:1405)
    at org.codehaus.janino.UnitCompiler.compile(UnitCompiler.java:385)
    at org.codehaus.janino.UnitCompiler.compileUnit(UnitCompiler.java:357)
    ... 16 more

 

Issue Links

• duplicates: FLINK-8274 Fix Java 64K method compiling limitation for CommonCalc