인스티즈앱
러프 스케치의 자동 선화화 (스케치 단순화)
시모세라 에드거 外
본 연구에서는, 합성곱[다계층] 신경망(Convolutional neural network)에 기초하여 러프 스케치를 선화로 자동 변환하는 기술을 제안한다. 기존의 스케치 간략화 기술의 상당수는 단순한 러프 스케치의 벡터 이미지만을 대상으로 하고 있어 스캔한 연필화 등, 래스터 형식의 복잡한 러프 스케치를 선화화하는 것은 어려웠다. 그에 비해 우리의 제안 기술은, 3종류의 합성곱 층에서 구성되는 신경망 모델에 의해서 복잡한 러프화와 선화의 대응쌍을 학습하는 것으로, 래스터 형식의 다양한 러프 스케치를 양호하게 선화화할 수 있다. 제안 모델은 임의의 사이즈나 가로세로비를 가지는 이미지를 입력하여 처리하는 것이 가능하고, 출력되는 선화는 입력된 이미지과 같은 사이즈가 된다. 또, 이러한 다층 구조를 가지는 모델을 학습시키기 위해, 러프 스케치와 선화가 짝이 된 새로운 데이터 세트를 구축해, 모델을 효과적으로 학습시키는 방법을 제안했다. 마지막으로, 우리는 획득한 결과에 대해 유저 테스트를 실시하여, 제안 기술의 성능이 기존 기술을 크게 넘어서는 것을 확인했다.
모델
제안 모델은 모든 층이 합성곱 층만으로 구성되는 다층 신경망이며, 러프 스케치가 입력되면 그 선화가 출력된다. 이 모델은 down-convolution, flat-convolution, up-convolution의 3종류의 합성곱 층으로 구성되어 있다. down-convolution에서는 필터의 스트라이드수(Stride數)를 2로 하는 것으로 맵의 해상도를 반분(半分)하고, flat-convolution로는 맵의 해상도는 바꾸지 않으며, up-convolution로는 스트라이드수를 1/2로 해 맵의 해상도를 2배로 하고 있다. 이것으로 이미지를 처음에 작은 특징맵(feature maps)에 압축해 처리해 나가, 마지막에 원래 해상도에 되돌려 (쉽게 벡터화할 수 있는) 깔끔한 선화를 출력할 수 있다.
결과
여러 종류의 러프 스케치 선화화에 대해 실험을 실시하여 양호한 결과를 얻을 수 있음을 보여주었다. 또, 유저 테스트를 통해서 (특히 벡터화 방식의) 기존 기술보다 양호한 결과가 얻어지고 있는 것을 확인했다. (* 화상 (a), (b), (d)는 테스트 세트의 일부이며, 화상(c)와 (e)는 각각 Flickr 유저 'Anna Anjos' 및 Yama Q'의 작품을 Creative Commons 라이센스 하에서 이용하였다.)
비교
다른 유사 기술과의 비교. a) 입력된 화상 b) 포트레이스 c) 어도비 d) 와세다.
Publications2016
Learning to Simplify: Fully Convolutional Networks for Rough Sketch Cleanup
시모세라 에드거 外
본 연구에서는, 합성곱[다계층] 신경망(Convolutional neural network)에 기초하여 러프 스케치를 선화로 자동 변환하는 기술을 제안한다. 기존의 스케치 간략화 기술의 상당수는 단순한 러프 스케치의 벡터 이미지만을 대상으로 하고 있어 스캔한 연필화 등, 래스터 형식의 복잡한 러프 스케치를 선화화하는 것은 어려웠다. 그에 비해 우리의 제안 기술은, 3종류의 합성곱 층에서 구성되는 신경망 모델에 의해서 복잡한 러프화와 선화의 대응쌍을 학습하는 것으로, 래스터 형식의 다양한 러프 스케치를 양호하게 선화화할 수 있다. 제안 모델은 임의의 사이즈나 가로세로비를 가지는 이미지를 입력하여 처리하는 것이 가능하고, 출력되는 선화는 입력된 이미지과 같은 사이즈가 된다. 또, 이러한 다층 구조를 가지는 모델을 학습시키기 위해, 러프 스케치와 선화가 짝이 된 새로운 데이터 세트를 구축해, 모델을 효과적으로 학습시키는 방법을 제안했다. 마지막으로, 우리는 획득한 결과에 대해 유저 테스트를 실시하여, 제안 기술의 성능이 기존 기술을 크게 넘어서는 것을 확인했다.
모델
제안 모델은 모든 층이 합성곱 층만으로 구성되는 다층 신경망이며, 러프 스케치가 입력되면 그 선화가 출력된다. 이 모델은 down-convolution, flat-convolution, up-convolution의 3종류의 합성곱 층으로 구성되어 있다. down-convolution에서는 필터의 스트라이드수(Stride數)를 2로 하는 것으로 맵의 해상도를 반분(半分)하고, flat-convolution로는 맵의 해상도는 바꾸지 않으며, up-convolution로는 스트라이드수를 1/2로 해 맵의 해상도를 2배로 하고 있다. 이것으로 이미지를 처음에 작은 특징맵(feature maps)에 압축해 처리해 나가, 마지막에 원래 해상도에 되돌려 (쉽게 벡터화할 수 있는) 깔끔한 선화를 출력할 수 있다.
결과
여러 종류의 러프 스케치 선화화에 대해 실험을 실시하여 양호한 결과를 얻을 수 있음을 보여주었다. 또, 유저 테스트를 통해서 (특히 벡터화 방식의) 기존 기술보다 양호한 결과가 얻어지고 있는 것을 확인했다. (* 화상 (a), (b), (d)는 테스트 세트의 일부이며, 화상(c)와 (e)는 각각 Flickr 유저 'Anna Anjos' 및 Yama Q'의 작품을 Creative Commons 라이센스 하에서 이용하였다.)
비교
다른 유사 기술과의 비교. a) 입력된 화상 b) 포트레이스 c) 어도비 d) 와세다.
Publications2016
Learning to Simplify: Fully Convolutional Networks for Rough Sketch Cleanup
- ACM Transactions on Graphics (SIGGRAPH), 2016
- http://hi.cs.waseda.ac.jp/~esimo/publications/SimoSerraSIGGRAPH2016.