다행성적 음향 공간학 Multiplanetary Sonic Proxemics
작품 구상 / 제작계획 / 설치방법
류필립
그림 1. 작품 구상도
[1]. 작품 구상
이 작품은 화성의 어쿠스틱스(Martian acoustics)라는 미래적인 주제를 중심으로, '공간의 리버브가 음악 및 악기의 발전이 영향을 준다'라는 음향고고학적 관점 및 음향 문화 공간학(sonic proxemics)적 관점에 따라, 미래의 지구가 아닌 환경을 상상해보고 그 조건 하에서 악기 및 소리 재생장치들은 어떻게 발전하게 될 지를 미리 상상(speculative)해보는 의도를 담고 있는 작품임.
그림 2. 전체 기술 개념도
Apparatus 1: 본 작품의 메인 아파라투스인 키네틱(물리적으로 움직이는) 스피커. '제너레이터' 이기도 하고 '리시버'이기도 함.
화성에서는 지구와 달리 저음과 고음의 이동속도가 다르기 떄문에, 모든 스피커 유닛들이 같은 평면에 위치하는 지구의 환경과 다르게, 청자의 위치에 맞추어 각 음역대를 재생하는 스피커 유닛들의 위치를 끊임없이 물리적으로 조정해 주어야 함. 이 아파라투스는 주변을 자동으로 인식하여 주변에 있는 모든 사람들의 중심점을 산출하고, 그에 맞추어 화성에서 지구처럼 소리를 들을 수 있도록 끊임없이 본인의 위치를 스스로 조정하는 유기적 시스템으로 화성의 음향 환경에 적응한 기계의 진화를 상징함. 다만, 이를 지구에서 들었을 때는 고음부터 저음까지 글라산도(glissando)가 되는 식으로 들리게 되어, 독특한 물리적 사운드 이펙트로서 기능함.
Apparatus 2: 기타 형태의 '제너레이터' 작품. 알고리즘적으로 발생된 컴퓨터로부터의 패턴 입력에 따라 음악을 계속 자동 연주해주며, 일렉트릭 기타의 6개의 현을 따로 프로세싱할 수 있는 hex pickup을 활용해 화성의 음향환경에서 들을 수 있는 기타 소리를 내주는 오브젝트로 개조됨. 이는 한 악기가 다른 문화권에 가면 변형이 되는것처럼, 화성에 맞추어 변화된 인간의 악기를 상상하는 것이라고 할 수 있음. 외형 또한 지구 바깥에서 사용되는 물건을 상징하도록 독창적인 디자인 계획중.
Apparatus 3: 헤드폰 형태의 '리시버' 작품으로써, 360도 카메라를 통해 컴퓨터가 주변의 공간을 인지하고, 해당 사이즈와 재질의 공간이 화성 환경에 있다면 어떤 리버브를 발생할지를 Image to Reverb AI와 특수 필터의 조합으로 산출함. 해당 리버브가 입혀진 악기 및 기타 관람객들이 발생하는 소음 등은 해당 '화성' 리버브가 입혀져 Apparatus 1으로 재생됨. 헤드폰은 또한 '화성에 적응된 귀'를 상징하며, 화성의 기준으로 어긋나 있는 Apparatus 1과 2가 재생하는 소리를 지구의 것처럼 보정해주는 역산 알고리즘이 탑재되어 있음. 따라서, 헤드폰을 착용한 관람객과 그렇지 않은 관람객은 서로 다른 청각적 경험을 하게 됨. 이는 지구의 귀와 화성의 귀를 각각 상징함.
[2]. 제작 계획
Apparatus 1.
영상 1. 키네틱 스피커 프로토타입 (from Sonic Lunar Topographer, 2024)
본 기획은 작가의 2024년작 Sonic Lunar Topographer와 Asynchronous Concurrency와 같은 '외부 세계로부터의 사운드스케이프' 시리즈이며, 급진적으로 바뀐 부분도 있지만, 전반적으로 연구 방법이나 기술적 구현 방식은 유사한 점이 상당수 있는 후속작이라고 할 수 있음. 따라서, 컨셉을 구현하기 위한 기술 및 노하우의 상당부분이 이미 연구되어 있고, 3개월의 기간동안 구현이 가능함.
작품의 가장 핵심이라고 할 수 있는 키네틱 스피커(Apparatus 1) 관련해서는, 작가는 이미 프로토타입을 Sonic Lunar Topographer를 통해 선보인 바가 있으며, 제작 방법을 비롯, 스피커에 적합한 저소음 모터 조사 완료 및 안정성 관련 노하우를 모두 습득한 상태이기 때문에 빠르게 제작이 가능함. 레일형과 회전형 기반 키네틱 솔루션을 모두 테스트 해 보았으며, 본 작품 기획에는 회전형이 적합하다고 판단, 해당 메커니즘으로 제작할 예정임. 류필립은 본 프로젝트에서는 예술품으로써 해당 시스템을 더 진보된 '스패큘레이티브' 디자인으로 제작하며, 역량이 입증된 키네틱 스피커 연구 팀 '렙톤'(구성원 사운드 아티스트 류필립, 후니다킴, 박다희)과, 또한 역량이 입증된 엔지니어(카이스트 교수 김성영 등)과의 협동 세션을 통해 해당 장치를 단순 장치가 아닌 공간에 녹아드는 예술품으로 제작 완성할 계획을 가지고 있음. 충분한 리소스와 노하우, 협력가능한 네트워크 등을 보유하여 수월하게 제작할 수 있을 것으로 보임.
기타 형태의 작품 관련, 전자기타를 전자기 기반의 트리거 장치로 자동연주하는 프로토타입에 성공한 상황이며, 기타를 줄마다 프로세싱할 수 있는 Hex-pickup의 경우, 지원금을 받게 된다면 바로 구입하여 연구 및 적용할 예정임. 류필립은 오디오 시그널 프로세싱 전문가이며, 해당 메커니즘을 통해 '화성적 악기' 컨셉을 구현하는것은 수월할 것이라고 생각됨.
Apparatus 2.
그림 3. (좌) 자동 연주 기타 프로토타입. 액추에이터 기반의 자동 지판 시스템과 전자기장 기반의 진동 시스템.
마이크로컴퓨터를 통해 프로세싱 되어 '기타가 화성환경에서 연주 될 시의 소리'로 바뀌게 됨. 원래는 각 줄을 따로 프로세싱 할 수 있는 Hex Pickup을 사용해야 하나, 여기에서는 일반 픽업으로 테스트 됨. 최종 버전에서는 색상 및 디자인도 미래적으로 커스텀 할 계획임. (목재가 아닌 컨셉에 맞는 대안적 신소재 사용 기타 활용 구상중)
(우) 회전 기반의 기타 줄 트리거 (및 서스테인 장치) Credit: Landscape. 원래는 수동 장치이지만, 전면적으로 개조되어, 컴퓨터로부터의 패턴 입력대로 전자기장을 통해 다수의 기타줄을 자동으로 연주하는 트리거 장치가 될 예정
Apparatus 3.
헤드폰 형태의 작품 관련, 핵심이 되는 Image to Reverb AI는 작가 소속 카이스트 연구실 (현재 박사수료, 휴학예정)에서 연구하는 분야임. 해당 메커니즘을 파악하고 있으며 구현 경험이 있음. 기본적으로 (Singh, 2021) 논문을 베이스로 함 ( https://web.media.mit.edu/~nsingh1/image2reverb/ ) 이는 현재의 아파라투스를 착용한 사용자의 공간 자체를 화성에 있다고 상정하여, 그에 맞는 반향을 발생함. 핵심은 현재의 주변 공간을 인식하여, 그 공건이 그대로 화성 조건 하에 있을 시의 잔향을 발생하는 것임.
그림 4. 베이스라인이 되는 Image to Reverb 연구. 여기서는 GAN을 사용하지만, 작가의 Implementation에서는 CNN을 사용함. Credit: MIT
이 세가지 요소가 유기적으로 상호작용하여 전시 공간 안에 작은 이질적 음향 생태계를 만들 때, 관람객들은 다른 세계에 와 있는 것 같은 체험을 하게 될 것이라 예상됨.
그림 5. 추진일정
[3]. 설치 방법
작품의 세 가지 아파라투스가 모두 크지는 않지만 소리를 발생하여 어느정도의 공간 분리가 필요하며, 또한 행사장 바닥에 흙 등을 통한 연출을 생각하고 있기 때문에, 이러한 부분들을 파라다이스측 및 타 참여 작가들과 모두 합의하는 시간이 필요할 것으로 보임.
스피커 시스템(Apparatus 1)은 세 개의 아파라투스중에 가장 설치하기 까다로운 부분으로, 천장과 벽에 다수의 고정이 필요할 것으로 보임. 모터를 포함한 베이스 구조물이 먼저 고정되고, 커넥터 기반으로 각 모터에 연결하면 매달리는 동시에 전원과 오디오 신호 연결까지 되는 형태로 제작할 예정임. 전작에 사용된 키네틱 스피커 또한 그러한 모듈 형태로 설계하였음. 베이스 구조물은 가급적 천장에서 내려오는 형태를 희망하고 있으나, 상황에 따라 벽면에 고정되는 형태로도 설치 가능함.
기타 형태의 작품(Apparatus 2)은 독립적으로 작동하는 악기이므로 벽 등에 고장이 이루어지고 스피커 시스템과 연결만 된다면 바로 소리를 만들어주는 구조임.
작가는 대부분의 물건을 벽이나 천장에 매다는 형태를 구상하고 있는데, 무게가 아주 크진 않지만 그렇다고 아주 가볍진 않으므로 건물관리자와의 긴밀한 상담이 필요하며, 이것 역시 주최측과 상의 및 협의가 필요한 부분임.
헤드폰 형태의 작품(Apparatus 3)은 배터리로 완전 독립적으로 작동하므로 설치상의 어려움은 없음.
운영시에는 관람객이 참여하여 헤드폰 형태의 작품을 착용한 채 전시장 안을 자유롭게 정해진 시간동안 돌아다니는 것을 구상하고 있고, 또한 예약제로 기타를 만질수도 있게 할 계획으로, 이 역시 상담과 합의가 필요함.
조명을 많이 사용할 예정으로, 특히 아파라투스들의 움직임이 부각되도록 밝은 조도와 분명한 대비가 이루어지게 설치할 예정임.
본 작품(아파라투스 3개)외에도 대형 디스플레이 2개 배치를 생각하고 있으며, 주로 화성의 풍경을 보여줌.
이 외에 특별히 필요한 대형 공사나 작업 등은 없을 것으로 예상됨.