음악정보검색 입문 -

Categories

DTW

FFT

FMA

HMM

HPS

MFCC

NMF

SSM

STFT

Viterbi

XGBoost

경로

내용 기반

내용 기반 오디오 검색

노벨티

데이터

동적 프로그래밍

동적프로그래밍

매칭 함수

멜로디

분류

분할

비트

샘플링

선행연구

소스분리

수학

스펙트로그램

신호

신호재구성

썸네일

악보

양자화

오디오 검색

오디오 분해

오디오피쳐

온셋

유사성

음계

음악구조분석

음악동기화

음악정보검색

음악추천

음악표현

음정

자기상관

장르

장르분류

조옮김

준비

커버송

크로마그램

템포

템포그램

템플릿

평가지표

푸리에변환

피크

화성

화음

화음인식

1.1. MIR은 무엇인가

음악정보검색

대체로 MIR(Music Information Retrieval) 연구 분야는 오디오…

2.1. 악보 표현

음악의 표현 방법 중 악보(sheet)와 기보법(notation), 음(note), 피치(pitch), 크로마(chroma) 등에 대해 다룬다.

2.2. 기호 표현

음악의 표현 방법 중 기호(심볼릭) 표현에 대해 알아본다. 피아노-롤(piano-roll), 미디(MIDI) 등이 있다.

2.3. 오디오 표현

스펙트로그램

음악의 표현 방법 중 오디오 표현에 대해 알아본다. 음파(wave), 주파수(frequency), 고조파(harmonics), 강도(intensity), 라우드니스(loudness), 음색(timbre) 등의 중요한 개념을 포함한다.

3.1. 수학리뷰 - 복소수와 지수함수

푸리에변환

푸리에 변환(Fourier transform)을 보기 전에 이와 관련한 몇가지 수학적 개념(복소수, 지수함수)을 리뷰해보록 한다.

3.2. 이산 푸리에 변환 & 고속 푸리에 변환 (DFT & FFT)

푸리에변환

이산 푸리에 변환(DFT)과 그 기본 속성과 함께, DFT를 평가하는 효율적인 알고리즘인 고속 푸리에 변환(FFT)을 소개한다.

3.3. 단기 푸리에 변환 (STFT) (1)

푸리에변환

스펙트로그램

단기 푸리에 변환(STFT)를 소개하고, 이와 관련된 윈도우(window), 스펙트로그램(spectrogram), 패딩(padding) 전략 등을 살펴본다.

3.4. 단기 푸리에 변환 (STFT) (2)

푸리에변환

단기 푸리에 변환(SFTF)의 변형을 다룬다. 주파수 그리드 밀도(density), 보간법(interpolation), 그리고 역(inverse) 푸리에 변환 등을 소개한다.

3.5. 디지털 신호

푸리에변환

오디오 신호(signal)의 디지털화에 필요한 샘플링(sampling)과 양자화(quantization)에 대해 소개하며, 또한 간섭(interference) 및 비팅(beating) 현상을 다룬다.

4.1. 오디오 동기화 피쳐

음악동기화

오디오피쳐

음악 작품의 음악적 정보를 시간순으로 정렬하여 동기화(synchronize)하는데 필요한 오디오 피쳐(audio feature)를 소개한다. 특히 크로마(chroma) 기반 음악 피쳐의 개념을 알아본다.

4.2. 동적 시간 워핑 (DTW)

음악동기화

동적프로그래밍

두 음악/오디오 시퀀스를 최적의 방법으로 시간에 따라 정렬할 수 있는 동적 시간 워핑 (dynamic time warping, DTW)에 대해 설명한다.

5.1. 음악 구조와 분할

음악구조분석

크로마그램

주어진 음악 녹음에 대한 구조적(structural) 분석과 시간적 분할(segmentation)를 소개하고, 반복성(repitition), 동질성(homogeneity) 및 새로움(novelty)을 기반으로 하는 기본 분할 원칙에 대해 논의한다.

5.2. 자기 유사성 행렬 (SSM)

음악구조분석

크로마그램

음악 구조를 분석하기 위한 기술적 도구인 자기 유사성 행렬(self similarity matrix)의 개념에 대해 상세히 다루고, 그 구조적 속성에 대해 논의한다.

5.3. 오디오 썸네일

음악구조분석

음악 녹음의 가장 대표적인 섹션을 자동으로 결정하는 오디오 썸네일(thumbnail)에 대해 다룬다. 세그먼트의 반복 기반 접근 방식의 최적화 방법을 알아본다.

5.4. 노벨티 기반 분할

음악구조분석

음악 구조 섹션 사이의 전환을 표시할 수 있는 노벨티(novelty) 기반 분할을 소개하며, 노벨티를 감지하는 방법을 알아본다.

5.5. 음악 처리의 평가 방법

음악구조분석

음악 구조에 대한 처리(예: 분할)가 얼마나 잘 되었는지를 평가하는 방법에 대해 알아본다.

6.1. 화성의 기본 이론

화음 인식에 대해 본격적으로 다루기 전에, 화성의 기본 개념을 알아본다. 음정(interval), 화음(chord), 음계(scale) 등에 대해 설명한다.

6.2. 템플릿 기반 화음 인식

크로마그램

크로마 기반 특징 표현과 템플릿 기반 패턴 매칭을 통한 화음 인식 방법을 소개하고, 화음 인식 결과를 평가하는 방법에 대해 설명한다.

6.3. HMM 기반 화음 인식

HMM(Hidden Markov Model)과 Viterbi 알고리즘을 설명하고 HMM 기반 화음 인식 방법과 그 예를 다룬다.

6.4. 화음 인식 예시: 비틀즈

간단한 예시로 비틀즈의 노래를 이용해 화음 인식 절차를 확인해보고, 결과를 해석해본다.

7.1. 온셋 감지

음악의 온셋(onset)을 설명하고, 온셋을 감지하기 위해 변화를 포착하는 노벨티(novelty) 함수의 네 가지 종류를 설명하고 비교한다. 또한 피크-선택(peak-picking) 방법을 알아본다.

7.2. 템포 분석

템포(tempo)와 비트(beat)에 대해 설명하고, 푸리에 템포그램(fourier tempogram), 자기상관 템포그램(autocorrelation tempogram) 및 순환 템포그램(cyclic tempogram)을 소개한다.

7.3. 비트와 펄스 추적

동적프로그래밍

비트(beat)와 펄스(pulse) 추적(tracking)에 대해 다룬다. 지배적 로컬 펄스(PLP)에 대해 알아보고, 동적 프로그래밍을 통한 비트 추적, 그리고 적응형 윈도우에 대해 예시와 함께 본다.

8.1. 내용 기반 오디오 검색: 개요

내용 기반 오디오 검색

내용 기반 오디오 검색(Content-Based Audio Retrieval)에 대해 자세히 다루기 전에 간단히 그 개요를 살펴본다.

8.2. 오디오 식별

오디오 검색

내용 기반 오디오 검색 중 쿼리와 일치하는 오디오 녹음을 찾는 오디오 식별(audio identification)에 대해 설명한다. 스펙트럼 피크와 매칭 함수, 컨스텔레이션 맵(constellation map) 등에 대해 다룬다.

8.3. 오디오 매칭

오디오 검색

크로마그램

내용 기반 오디오 검색 중 다른 연주나 편곡이라도 쿼리와 같은 음악을 찾는 오디오 매칭(audio matching)에 대해 설명한다. CENS와 대각선 매칭(diagonal matching), 하위시퀀스(subsequence) DTW 등에 대해 다룬다.

8.4. 버전 식별

오디오 검색

동적 프로그래밍

내용 기반 오디오 검색 중 커버 곡이나 리믹스 등 같은 음악의 다른 버전을 인식하는 버전 식별(version identification)에 대해 설명한다. 공통 하위시퀀스 매칭, 매칭의 평가 지표 등에 대해 다룬다.

9.1. 화성-타악 분리 (HPS)

오디오 분해

크로마그램

신호재구성

오디오의 하모니(Harmonic) 부분과 타악기(Percussive) 부분을 분리하는 HPS와 HRPS, 그리고 신호의 재구성 방법을 설명한다.

9.2. 멜로디 추출

오디오 분해

스펙트로그램

멜로디 추출에 대해 알아보고 그 예를 살펴본다. 또한 순간 주파수 추정, 돌출(salience) 표현, 기본 주파수 추적 등을 설명한다.

9.3. NMF 기반 오디오 분해

오디오 분해

스펙트로그램

NMF 기반의 오디오 분해 방법을 살펴본다. 행렬 분해 기법인 NMF를 설명하고, 음악 정보를 활용한 스펙트로그램의 분해 등을 다룬다.

[실험] (FMA) 장르 분류 - XGBoost

FMA 데이터를 사용해 지정된 장르를 XGBoost Classifier을 이용해 예측하는 간단한 실험이다. 피쳐(feature)로 스펙트럼 피쳐, 크로마그램 피쳐, MFCC, 제로-크로싱 레이트 등을 사용한다.

선행연구 조사 - 내용 기반 음악 추천

MIR Literatures - Content-based Music Recommendation

선행연구 조사 - 소스분리

오디오 분해

MIR Literatures - Music Source Separation

선행연구 조사 - 음악분류

(..작성 수정중..)

음악정보검색 데이터 세트 모음

내용 기반 음악정보검색 분야 연구를 위해서는 많은 양의 오디오 데이터 및 메타데이터가 필요하다.