NEUTRINO를 이용해 AI키리탄이 노래를 부르게 해 보자

NEUTRINO는 악보를 읽어서 자동으로 보컬을 생성해 주는 프로그램입니다. 보컬로이드와 달리 세세하게 음정이나 타이밍 등을 조절(일명 '조교')할 필요 없이, 자연스럽게 음정과 박자를 맞춰줍니다. 2020년 2월 경에 릴리즈되었으며, 2021년 4월 현재 6명의 음원을 제공하고 있습니다.

홈페이지: https://n3utrino.work/ (일본어)

NEUTRINO는 인공신경망을 이용한 노래 보컬 신디사이저입니다. 악보에서 발성 타이밍, 음의 높이, 목소리가 갈라진 정도 등, 보컬로이드에서 '조교'해 주어야 할 것들을 딥러닝 기술로 자동으로 세팅하여 자연스러운 노랫소리를 만들어냅니다. 프로그램 자체는 프리웨어로 자유롭게 사용할 수 있습니다. 구글의 알파고가 촉발한 딥러닝 기술의 발전이, 이제는 서브컬쳐 문화까지 영향을 미치고 있습니다.

음원은 각 음원들의 라이선스에 따릅니다. 4종은 기존에 공개된 연구자용 데이터로 생성된 모델이고, 2종은 NEUTRINO에서 자체 제작한 음원입니다. 사실상 무료로 사용할 수 있는, AI가 적용된 보컬로이드입니다.

NEUTRINO는 악보를 읽어서 음원(보컬)을 생성하는 것까지 담당합니다. 악보를 만드는 것은 MuseScore와 같은 소프트웨어를 이용해 MusicXML 형태의 악보를 만들어야 합니다. 다행히 "NEUTRINO 조성 지원 툴"과 같이 NEUTRINO를 쓰기 쉽게 해 주는 프로그램이 있습니다. 한번 써 봤는데 일반 사용자가 해 볼만 합니다. 글 밑에서, 이 프로그램을 이용해 음원을 만드는 법을 설명하도록 하겠습니다.

도호쿠 키리탄

기본 내장된 음원인 "도호쿠 키리탄"(東北きりたん)이 유명합니다. 도호쿠 키리탄은 도후쿠 지방을 응원하기 위해 만들어진 VOICELOID로, 2016년 10월에 발매되었습니다. 설정상 만 11세이며 생일은 2월 13일입니다. 성우는 프리파라의 마나카 라라 역으로 유명한 아카네야 히미카(茜屋日海夏)입니다. VOICELOID는 텍스트를 입력하면 목소리로 읽어 주는 프로그램으로, 우리나라의 보이스웨어와 비슷합니다.

도호쿠 키리탄의 모습입니다.
(c) 株式会社AHS (공식 홈페이지 인용)

NEUTRINO의 "도호쿠 키리탄"은, AI키리탄(AIきりたん)으로 불리고 있습니다. 유투브나 니코동에 검색하면 AI키리탄이 부른 노래가 많이 나옵니다. AI키리탄은 도호쿠 키리탄의 연구자용 노래 데이터베이스를 이용해 학습되었습니다.

위 영상은 AI키리탄이 부른 철도창가 제1집 도카이도편입니다. 제목에 "AIきりたん'(AI키리탄)이 붙어 있습니다. 하츠네 미쿠가 부른 철도창가 도카이도편과 비교해 보면, AI키리탄 쪽이 목소리가 사람에 더 가깝다는 것을 느끼실 수 있습니다. (보컬로이드 특유의 느낌이 줄기는 했습니다)

참고: 일본 철도 정보 및 잡학 (철도창가에 관심이 있으신 분들은 이 글도 관심이 있으실 것 같습니다)

NEUTRINO로 AI키리탄이 노래 부르게 하는 방법

간단하게 NEUTRINO Tuning Supporting Tool를 이용한 NEUTRINO 사용법을 알아보겠습니다. NEUTRINO 개발자가 만든 공식 프로그램은 아니지만, 음악 생성을 훨씬 쉽게 만들어 주는 프로그램입니다.

 

이른바 '조교' 과정이 없기 때문에 보컬로이드보다는 음원 생성이 편리합니다. 홈페이지 설명에 의하면 "가사와 멜로디를 입력하기만 하면 쉽게 부릅니다. 실제 가수에게 의뢰하는 느낌으로 제작할 수 있습니다"라고 소개하고 있습니다.

악보를 제적하기 위한 프로그램(MuseScore 등), 목소리를 생성하기 위한 NEUTRINO 설치가 필요합니다. 딥러닝을 이용하는 만큼 저사양 PC에서는 구동이 불가능합니다. Intel Core i5/RYZEN 5 이상, 메모리는 8GB 이상이 필요합니다. 즉 게임을 구동할 수 있을 정도의 사양은 필요합니다. 아래 메뉴얼을 참고하면 음원을 생성할 수 있습니다.

사용법 공식 매뉴얼: https://n3utrino.work/238/ (일본어)

NEUTRINO 설치

노랫소리를 만들기 위핸 NEUTRINO, 그리고 NEUTRINO를 쉽게 쓸 수 있게 해 주는 Tuning Supporting Tool 두 개를 다운로드합니다.

NEUTRINO 홈페이지에서 "Start Now"를 눌러서 다운로드합니다. 윈도우 환경에선 NEUTRINO-Windows로 시작하는 파일을 받습니다. 그리고 파일을 적당한 디렉토리에 다운로드합니다. (여기선 C:\Users\owner\neutrino 라고 하겠습니다.)

NEUTRINO Tuning Supporting Tool 홈페이지에서 최신 버전을 다운로드합니다. NEUTRINO Tuning Supporting Tool는 NEUTRINO를 쉽게 사용할 수 있도록 한 프로그램입니다. 일본어, 영어를 지원합니다. 역시 C:\Users\owner\neutrino 디렉토리에 다운로드합니다.

각 프로그램이 아래 위치에 있다고 가정하겠습니다.

• NEUTRINO: C:\Users\owner\neutrino\NEUTRINO
• NEU EDITOR: C:\Users\owner\neutrino\NEU_EDITOR

 

추가 음원 설치 (선택)

기본 내장된 음원은 도호쿠 키리탄 및 YOKO입니다. 공식 홈페이지의 "特徴豊かな歌声ライブラリ"(특징이 풍부한 노래 라이브러리)에 들어가서 원하는 음원을 선택&다운로드합니다. 다운로드한 음원은 "NEUTRINO\model" 폴더에다가 저장합니다.

NEUTRINO Tuning Supporting Tool은 키리탄밖에 인식하지 못하는 문제가 있습니다.

악보 만들기

NEUTRINO Tuning Support Tool을 열어서, 악보에 마우스를 드래그하는 방식으로 악보를 만들 수 있습니다.

NEU_EDITOR 폴더에 있는 "NEUTRINOTyouseiSienTool.exe"를 실행합니다. File - Preference를 눌러 NEUTRINO가 있는 폴더를 지정해 줍니다.

악보 그리는 법은 간단합니다. 메뉴 바에 있는 연필 모양을 눌러서 편집 모드로 진입합니다. 1원하는 음계에서 마우스를 누른 채로 드래그하면 됩니다.

가사는 드래그해서 생긴 막대기를 더블 클릭하면 수정할 수 있습니다. 일본어만 입력할 수 있습니다. 기본으로 "ら"(RA) 음을 붙여줍니다.

SCORE를 누르면 악보를, TIMING을 누르면 발성 타이밍을, PITCH를 누르면 음정을 세부 조절할 수 있습니다. 보통은 SCORE를 누른 뒤 악보만 입력해 주면 됩니다. TIMING이나 PITCH 같은 것은 NEUTRINO가 알아서 만들어 줍니다. 수동으로 조절도 가능한데, 방법은 밑에서 설명드리겠습니다.

악보 상자 오른쪽 마우스를 누르면 메뉴가 뜹니다. 이 메뉴는 영어로 번역이 되어 있지 않습니다. 각 메뉴의 의미는 아래와 같습니다.

선택 모드
연필 (노트 그리기) 모드
지우개 (모드 지우기) 모드
노트 삭제
가사 입력하기
노트 끝에 브레스 추가 (노래 부르는 중간에 잠시 숨을 고르는 것 같습니다)
노트 끝에 브레스 삭제

MuseScore를 이용해 만든 다른 악보를 로딩할 수도 있습니다. musicxml 파일로 변환만 하면 됩니다.

음악의 박자를 수정하거나, 마디 수를 조절하는 기능이 없습니다. MuseScore로 빈 악보라도 만들어서 로딩하는 것을 추천합니다. musicxml 파일을 직접 수정해도 되긴 될텐데, 이건 어떻게 하는지 모르겠네요. 그래도 NEUTRINO를 체험해 보는 용도로는 충분합니다.

NEUTRINO 사용법 중 가장 어려운 부분이라고 할 수 있겠습니다. 마우스로 드래그하고 클릭하면 악보가 만들어지긴 하지만, 악보 그리는 것 자체가 어렵죠. 다행히 MuseScore를 이용하면 Midi 파일이나 pdf 악보를 musicxml 파일로 변환할 수 있습니다.

악보를 만들지는 못하지만 AI 키리탄의 목소리를 듣고 싶다면 NEUTRINO\score\musicxml 폴더에 있는 예제 악보를 고르면 됩니다. 노래가 일본인들에게 친숙한 곡으로 잘 선정되어 있네요.

• sample1.musicxml: "봄이 왔다" / "春が来た" (일본 동요)
  
• sample2.musicxml: "차따기" / "茶つみ" (일본 창가. 1912년 발표)
  
• sample3.musicxml: "사쿠라 사쿠라" / "さくらさくら" (일본 민요)
  

NEUTRINO Tuning Supporting Tool은 파일 로딩시 에러가 나면 해당 파일을 삭제해 버리는 문제가 있습니다. 백업은 필수입니다.

파라미터 추정

'Parameter Estimation'은 음절, 음정, 타이밍과 같은 파라미터를 NEUTRINO가 자동으로 처리해 주는 과정입니다. NEUTRINO Control Pannel에서 NEUTRINO를 눌러서 진행합니다.

NEUTRINO - NEUTRINO Control Pannel을 누르면 위와 같이 NEUTRINO를 접근할 수 있는 메뉴가 뜹니다. 여기서 NEUTRINO를 누르고, Run NEUTRINO를 누르면 컴퓨터가 열심히 돌아갑니다. 작업이 완료되면 "end NEUTRINO"가 뜹니다.

이 단계가 완료되면 재생 버튼을 눌러서 음악을 들어볼 수 있습니다. 악보를 수정한 뒤에는 위 과정을 다시 반복해야 합니다. 악보만 수정하면 수정 전 음악이 나옵니다.

필요하면 TIMING, PITCH를 수동으로 조절할 수도 있습니다.

좌측 메뉴에서 'TIMING'을 누르면 각 음절의 소리를 내는 타이밍 조절이 가능합니다. きてきいっせい(kiteki itsei)를 입력하고 파라미터 추정을 돌렸는데요, 각각의 자음과 모음의 소리를 내는 타이밍을 자동으로 잡아 주었습니다. 사람은 악보의 타이밍을 정확히 맞춰서 노래하진 않습니다. 중간 중간 숨을 가다듬기도 할테구요. 이런 것까지 감안하여 타이밍이 잡히는 것입니다.

 

좌측 메뉴에서 "PITCH"를 누르면 음의 높낮이를 조절할 수 있습니다. 사람이 노래할 때 악보에 나와 있는 음정을 그대로 노래하진 않습니다. 발성법이나 호흡에 따라 음정이 미묘하게 변화하긴 합니다. 이런 것까지 감안하여 NEUTRINO는 음정을 잡아줍니다. 역시 필요하면 음정을 수정할 수 있습니다.

일반적인 보컬로이드는 이런 타이밍 맞추고 음정을 튜닝하는 것을 수동으로 해 주어야 합니다. 물론 NEUTRINO도 필요하다면 수동으로 이 타이밍 조절이 가능합니다.

음성 합성

NEUTRINO가 생성한 파라미터를 이용해 WORLD와 NSF_IO 두 가지 방법 중 하나로 실제 목소리를 만들어내는 단계입니다. NEUTRINO Tuning Supporting Tool에선 NEUTRINO - NEUTRINO Control Pannel을 눌러서 나온 메뉴에서, WORLD/NSF를 누르면 됩니다. 합성된 음원은 NEUTRINO 폴더에 있는 output 폴더에 저장됩니다.

WORLD는 보코더를 이용해서 음성을 합성합니다. 보코더는 사람 목소리를 비롯한 다양한 소리/악기를 정해진 음정대로 변환하는 전자 악기입니다.

Key(피치)를 수정하면 음의 높낮이를 수정할 수 있습니다. Formant를 수정하면 "소리의 질"을 바꿀 수 있습니다. 값을 올리면 아이처럼, 낮추면 어른처럼 목소리가 나옵니다. 공식 메뉴얼에 따르면 0.85~1.15 정도를 추천한다고 합니다. 제가 듣기엔 0.95~1.05 범위를 넘어서면 목소리가 부자연스럽습니다.

NSF_IO는 음성 파형을 인공신경망을 이용해 합성합니다. 수동으로 세팅을 바꿀 수는 없습니다. CUDA를 지원하는 NVIDIA GPU가 필요합니다. 내장 그래픽으로는 돌릴 수 없습니다. 저음이 막히는 느낌이 없고, 깨끗하고 어택감이 있는 음성입니다. 적정 음역에선 훌륭한 목소리를 내 주지만, 통상적인 음역을 벗어나면 품질이 좋지 않습니다. 지지직거리는 음이 많이 섞이는 느낌입니다.

필요에 따라 WORLD, NSF_IO를 섞어 가면서 음원을 합성할 수 있습니다. 잘 모르겠다면 WORLD를 쓰시면 됩니다.

후기

NEUTRINO Tuning Supporting Tool 덕분에 체험하기가 쉬웠습니다. 마우스로 드래그 좀 하고, 클릭에서 일본어로 가사 좀 넣어주는 정도로, 도호쿠 키리탄이 노래를 부르게 할 수 있었습니다. 생각보다 성능이 좋습니다. 저보다 노래 잘 부르네요. 노랫소리가 꽤 자연스럽습니다.실제 사람 목소리로 학습을 해서 그런지, 꼭 사람이 노래를 부르는 느낌입니다. 악보에 숨 쉴 타이밍을 안 주었더니, 사람처럼 점점 숨이 조여오는 느낌으로 불러서 깜짝 놀랐습니다.

하지만 MR을 따로 만들어 주어야 한다는 단점이 있습니다. 보컬로이드도 사람 목소리만 생성하는 만큼 NEUTRINO만의 단점은 아니긴 합니다. 인공지능으로 사람 노랫소리를 만들 정도면, 반주 정도는 만들 수 있을 것 같긴 한데요. 아쉬운 부분입니다.

하나하나 '조교'해 주어야 하는 보컬로이드는 해 볼 엄두조차도 못 냈는데요, NEUTRINO는 음악에 관심이 있으신 분들이라면 한번쯤 해 볼 수 있을 것 같습니다. 

같이 보면 좋은 글

• spleeter, 딥러닝을 이용해서 MR과 보컬을 분리하자
• 만화, 애니메이션 등 일본의 굿즈, 해외직구로 구입하는 방법
• 애니메이션 음반/블루레이 구입의 포인트: 특전