DB에 대용량 파일 넣으려고 하는데 제일 빠른 방법이 뭐야?

게시된 카테고리 개발/코딩

postgresql에 파일 4GB 조금 안 되는 거 365개 넣어야 하는데 (1.4TB 정도) 어떻게 넣는 게 제일 빠를까?

postgresql에서 지원하는 툴은 파일 사이즈가 너무 크다고 안 되더라,,,

지금은 jdbc로 batch insert하고 있는데 파일 30개에 2시간씩 걸려 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅜㅜㅜㅜㅜ

[삭제한 댓글]

(본인이 직접 삭제한 댓글입니다)

[글쓴이]

copy 해보니까 value too large라고 뜬다 ㅜㅜㅜ... 기다림이 답인 건가...

[익인2]

Copy

[글쓴이]

ㅇㄷ

[익인2]

아냐 나 카피로 레코드 2억개도 넣었어... 뭐 잘못 쓴 거 아니야?

[글쓴이]

헉 진짜? copy 테이블명 from '파일명' with csv 이렇게 썼는데 with csv가 아니라 delimiter로 지정해야 하는 건가... 다시 함 해볼게

[익인2]

COPY 스키마.테이블 FROM '경로파일명.csv' WITH DELIMITER E't' CSV HEADER QUOTE E'b' ;
(csv 컬럼이 tab으로 구분 되어 있으면 't', 컴마면 ','