hive orc 안써짐

Exception in thread "main" org.apache.hadoop.hive.ql.io.FileFormatException: Malformed ORC file ${경로}/1544772378105.orc. Invalid postscript

우선 해볼 것

현재 orc 파일 형태를 string, int, long, boolean 다양하게 받아서 쓰고 있었는데, 전부 string schema로 바꾸어 볼 것

==> 모두 바꾸어 봐도 안됨

** 해결

--> hive-orc는 자동 flush가 안됨.

close를 해야 flush가 됨 (org.apache.orc.impl.WriterImpl)

public void close() throws IOException {
    if (this.callback != null) {
        this.callback.preFooterWrite(this.callbackContext);
    }

    this.memoryManager.removeWriter(this.path);
    this.flushStripe();
    this.lastFlushOffset = this.writeFooter();
    this.physicalWriter.close();
}

* hive orc는 더이상 업그레이드가 잘 안된다는 이야기를 들음

apache-orc로 갈아탑시다.