이야기박스

MSSQL에서 Update 쿼리를 실행하던 중, 교착상태가 발생하여서 해당 이슈 분석하며 작성한 포스트입니다. # 개요 특정 서비스에서 특정 테이블로 Update를 진행하던 과정에서 발생한 이슈입니다. 이 프로세스는 약 3개월 정도 돌고 있었고 며칠 전까지만 해도 이슈 없이 정상 동작하고 있었습니다. ## 질의문 보안상 원문을 그대로 가져올 수는 없고 형식만 가져오도록 하겠습니다. IF EXISTS (SELECT * FROM [MY_TABLE] WITH (nolock) WHEREindex1 = ?, AND index2 = ?, AND index3 = ?) UPDATE [MY_TABLE] SET index1 = ?, index2 = ?, index3 = ?, index4 = ?, index5 =? WHER..

에러 내용.Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Handler dispatch failed; nested exception is java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration 이래서 org.apache.hadoop hadoop-common 2.7.1 추가했더니 java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration 에러가 발생 구체적으로는 gson 충돌이 났었음. ===> org.apache.hadoop hadoop-common 2.7..

Exception in thread "main" org.apache.hadoop.hive.ql.io.FileFormatException: Malformed ORC file ${경로}/1544772378105.orc. Invalid postscript 우선 해볼 것 현재 orc 파일 형태를 string, int, long, boolean 다양하게 받아서 쓰고 있었는데, 전부 string schema로 바꾸어 볼 것 ==> 모두 바꾸어 봐도 안됨 ** 해결--> hive-orc는 자동 flush가 안됨. close를 해야 flush가 됨 (org.apache.orc.impl.WriterImpl)public void close() throws IOException { if (this.callback != nu..

hive 에 쿼리를 날리려고 하니까 에러 발생 org.apache.hive.service.cli.HiveSQLException: Error while compiling statement: FAILED: ParseException line 2:2 cannot recognize input near ''${column name}'' 'int' ',' in column specification ---> 에러 발생 원인 컬럼 이름을 쓸 때는 ' (single quote) 가 아니라 ` (backticks)를 써야 한다고 함

커넥션 테스트 하는 중, 에러 발생 java.sql.SQLException: Could not open client transport with JDBC Uri: jdbc:hive2://${uri}: Could not establish connection to jdbc:hive2://${uri}: Required field 'client_protocol' is unset! Struct:TOpenSessionReq(client_protocol:null, configuration:{set:hiveconf:hive.server2.thrift.resultset.default.fetch.size=1000, use:database=${db}}) hive-jdbc 버전 문제라는 이야기가 있음 As is --> 2.3...

두 개의 테이블 생성하는 도중에 에러가 발생했습니다. 첫 번째 테이블을 생성하고, 두 번째 테이블에서 첫 번째 테이블의 PK를 FK로 써서 만들려고 하는데, 여기서 에러가 발생하였습니다. errno: 150 "Foreign key constraint is incorrectly formed" 열심히 구글링 해본 결과, 이 에러가 발생하는 경우는 보통 이렇다고 하네요 1. 데이터 타입이 같은가 2. NOT NULL or NULL 여부가 동일 한가 3. 참조받는 데이터가 unique key / primary key 인가 4. 두 테이블의 charset 이 같은가 근데 저의 경우는 모두 만족시켜줘도 에러가 계속 발생하더라구요.. 열심히 테스트 해본 결과, 참조받는 테이블의 경우 pk가 2개인데, 참조하는 테이블..

개요데이터 관리 플랫폼인 하이브에 저장되는 파일 포맷들이 있습니다.RC file (Row Columnar)ORC file (Optimized Row Columnar)Parquet이러한 포맷들은 하이브 처리 속도 높이기 위하여 개발되었습니다. 하이브 초기에는 RC 파일 포맷이 사용했었습니다. RC file 포맷은 각 컬럼을 하나의 파일 묶음으로 분산 저장되는 포맷이었습니다.기존의 row 단위로 저장되는 파일 포맷을 column 단위로 바꾼 것이죠.저장에는 큰 문제가 없지만, read 과정에서 다시 모으는 조인(join) 비용이 너무 크다는 문제점이 있었습니다. 이러한 문제점을 해결하기 위해 나온것이 ORC File Format입니다.ORC File Format은 호튼웍스 부사장이었던 오웬 오말리가 제안하였..

정규화란?불필요한 데이터를 없애고, 이로부터 각종 이상현상(Anamolies)들을 방지하는 것입니다.1NF원자 값(Atomic Value)을 만족시키는 것입니다.즉, 각 컬럼에는 1개의 값만을 가지고 있어야 합니다. region university korea seoul, kaist, postech usa havard, mit, emory 이러한 테이블을 region university korea seoul korea kaist korea postech usa havard usa mit usa emory 이런식으로 한개의 로우에는 하나의 값만을 가지도록 하는게 1차 정규화 과정입니다.로우 수가 늘어난다는 단점이있네요.. 하지만 논리 구조를 잡는게 더 중..