지도와 영토의 변화
Shifting Maps and Territories
본 레지던시 연구 프로젝트는 캐나다 동부지역의 해안 침식과 관련된 일을 진행하는 중에 시작되었다. 연안지역은 급격한 변화를 겪고 있는 복잡한 생태계와 환경으로 이루어져 있다. 나는 몇 년 전부터 이처럼 변화하는 지역 풍경을 항공사진측량(aerial photogrammetry)과 현장 녹음을 통해 기록해왔다. 육지와 바다 사이의 경계는 실재하는공간과 디지털 공간 사이를 탐구하는 데에 있어 매우 흥미로운 영역이다. 물이 해안가와 만나는 접점 공간의 3D 스캔을 해체하는 과정은 기후 위기와 관련된 문제들을 상기시킬 뿐만 아니라, 물리적 세계의 디지털화와 연관된 이슈들도 다시 생각해 보게 한다. 볼류메트릭 캡처(3D 공간 데이터 캡처) 중 나타나는 물의 움직임과 반사로 발생하는 이미지의 결함(glitch), 변형, 균열은 풍경이 점점 부서져 사라지는 듯한 느낌을 증폭 시킨다. 디지털화 과정은 변화하는 지형의 표면과 사라져가는 환경을 보존하는 역할을 하기도 한다.
초기 연구는 연안 지역의 지형학과 이와 관련된 황혼/노을(dusk), 난파/조난(shipwreck), 지도 제작, 인간이 아닌 것(non-human)의 지각과 지능과 관련된 변화 과정을 레지던시 프로젝트에 참여한 다른 아티스트들과 함께 상호작용하며 탐구하는 과정으로 진행되었다. 나는 다양한 계산사진술(computational photography techniques)과 생성형 인공지능(AI) 알고리즘을 통해 작품을 발전시키면서 복잡한 생태계와 자연-기술 사이의 관계를 깊이 있게 살펴보았다. 레지던시 기간 동안 대서양 공해의 수평선부터 숲으로 둘러싸인 개울까지 여러 공간을 탐험할 수 있었다.
2024년 여름 동안에는 캐나다 퀘벡 동부, 뉴브런즈윅, 프린스에드워드아일랜드, 노바스코샤의 해안 지역에서 촬영한 사진들을 응용하여 신경방사장(Neural Radiance Fields, NeRF)과 가우시안 공간 스플래팅(Gaussian splatting) 기법을 실험해봤다. VR 설치 작품인 〈침식〉(Érosions)을 더 발전시키기 위해 지난 5월 중 캐나다 가스페 반도(Gaspe Peninsula)와 대서양 연안지역에서 진행한 현장 조사는 해안 침식과 기후 변화의 영향을 받고 있는 다양한 풍경과 생태계를 연구할 수 있는 기회였다. 해당 지역 사회와 관계자들은 그곳의 해안 침식 과정을 방지하거나 늦추기 위해 다양한 방법들을 시도하고 있다. 지역의 토착 식물을 심고 보호하는 것은 식물의 뿌리와 잎으로 해안선을 고정시켜 침식 규모를 축소하는 흔한 방법이다. 토착 식물 개체 수를 늘리는 것은 야생동물의 먹이와 서식지를 제공하여 전체 생태계에 영향을 미친다. 나는 레지던시 연구 중 Ferme Lanthorn(레지던시 장소) 근처에 위치한 가티누 강(Gatineau River)이 침식의 영향을 받았다는 것과 이를 완화하기 위해 토착식물 재배를 응용한 방법이 사용되었다는 것을 알게 되었다.1 Ferme Lanthorn은 침식 방지를 위해 버드나무를 활용했고, 특히 올드 비버 댐 지역에 버드나무를 심어 지역 생태계 구조를 강화했다.
Ferme Lanthorn에서의 레지던시 시작 전, 케이프브레턴(Cape Breton) 북서쪽 가파른 절벽에 매달린 나무를 본 경험은 이번 연구와 실험에 지대한 영향을 주었다. 절벽 위 나무의 독특한 형태는 세인트로렌스 만(Gulf of St. Lawrence) 옆 언덕에서 자라나며 겪어야 하는 혹독한 환경 조건을 그대로 보여주었다. 나무의 뿌리가 상당 부분 드러나 있었는데 이 나무의 위태로운 상황은 레지던시 중 아티스트들과 함께 나누었던 생각들과 맞물려 있다고 생각한다. 나무의 상황과 장면은 자라나기 위해 토양을 필요로 하는 나무와 나무의 뿌리를 통해 안정화될 수 있는 절벽 사이의 상호 의존관계를 보여준다. 이는 보이는 것과 보이지 않는 것, 알려진 것과 알려지지 않은 것, 겉으로 나타나는 것과 깊이 숨겨진 것들 사이의 복잡한 관계를 나타낸다. 절벽 위 나무의 장면은 신경방사장 기술 실험 중 찾아낸 결과들을 구현해 보기 흥미로운 예시가 되리라 생각했다.
1
Friends of the Gatineau River, Shoreline Protection and Shoreline Regeneration. https://fog-arg.org/shoreline-protection and https://fog-arg.org/shoreline-regeneration
신경방사장은 딥 신경망 네트워크(deep neural network)를 활용하여 2차원 이미지의 장면을 사실적인 3차원 공간 표현으로 구현하고 렌더링 하는 기술이다.2 신경 네트워크는 부피 밀도와 각 시점에 따라 변화하는 반사광을 계산하고 예측한다. “클리프행어(Cliffhanger)” 실험들은 다양한 수준의 학습, 다채로운 시각화 방법, 그리고 정보 인코딩 과정을 통해 한 장면이 어떻게 재구성될 수 있는지 보여준다. 신경방사장은 빠르게 알아볼 수 있는 강렬한 미적 이미지를 갖고 있기 때문에 이를 제 작품에 활용해 볼 생각은 크게 없었다. 하지만 이번 연구에서는 신경방사장이 다양한 볼류메트릭 공간을 접근할 수 있게 해줄 뿐만 아니라 머신 비전(machine vision) 해체를 가능하게 한다는 점이 매력적으로 다가왔다. 이번 프로젝트에서 만든 이미지들은 매우 구체적이고 사실적인 세상 표현부터 추상적인 데이터 구조를 넘나든다. 장면의 전개는 인공지능의 보이는 것과 보이지 않는 구조 층을 지구의 구조 층과 유사하게 표현한다. 또한 인공지능 신경 네트워크는 식물과 나무뿌리들의 네트워크 구조를 연상시킨다.
2024년 7월 26일부터 8월 25일까지는 전 세계 예술가들이 특정 주제와 관련된 작품들을 생생하게 만들어내는 바이생폴 국제 현대 미술심포지엄(International Symposium of Contemporary Art of Baie-Saint-Paul)에 참여했다. 올해의 주제는 “세계를 살아간다는 것: 예술과 생태학(Inhabiting the World: Art and Ecology)”이었다. 여기서 선보인 작품은 구프르 계곡(Vallée du Gouffre)이라는 중요한 지역적 지형을 다뤘다. 이 계곡은 3억 5700만 년 전 일어난 운석 충돌과 지난 시간 속 일어난 자연적 현상들 (마지막 빙하기 말에 일어난 현상 등) 및 인간 활동들을 거쳐 형성되었다. 2023년 5월 초 발생한 파괴적인 홍수가 이 샤를부아(Charlevoix) 지역을 강타했다. 그 결과 구프르 강과 다른 강가의 경로가 바뀌었고, 치명적인 침식이 일어났으며 여러 주민들의 삶에 영향을 미쳤다. 심포지엄 중 이러한 문제들을 다루며 발전시킨 작품은 지난 9월 가티노 강(Gatineau River) 현장 연구를 향한 나의 관심에 영향을 주었다.
2
Wikipedia, Neural radiance field. https://en.wikipedia.org/wiki/Neural_radiance_field
가티노 강은 알곤킨인(Algonquin People)의 전통 영토인 아비티비(Abitibi) 지역에서 남쪽으로 흐르며 가티노에서 오타와 강으로 합쳐진다. 가티노 계곡은 1920년의 수력 발전 개발로 인해 변화했다. 댐과 저수지 등의 구조물 건설로 인해 강변 따라 지어져 있던 농장, 토지 및 주민들의 정착지가 침수되었다.3 오늘날 가티노 강은 퀘벡에서 가장 깨끗한 강 중 하나지만, 강변의 개발과 지역 레크리에이션 사용 증가 및 외래종 유입 등으로 위협을 받고 있다.4 나는 온라인에서 얻을 수 있는 정보를 통해 연구와 현장 조사를 했지만, 계곡까지의 거리가 멀고 우리의 연구 기간이 짧아서 강변에서 현장 작업을 수행하는 데 어려움을 겪었다. 또한, 연약하고 접근이 어려운 생태계에서 워크숍을 진행하는 것도 복잡한 일이었다.
Ferme Lanthorn에서의 경험은 레지던시를 함께 한 아티스트들과의 토론과 워크숍을 통해 서로의 작업을 깊이 있게 살필 수 있는 인상 깊고 유익한 시간이었다. 모든 참가자들은 우리가 함께 머물렀던 공간 환경과 연결된 활동들을 진행했다. 나는 특별히 Maurice, 선정과 함께 워크숍을 함께 했다. 우리의 연구는 현장 녹음, 관찰, 공간의 감각적 경험 수집에 집중했다. 내 분야에서는 가티노 강에서 계획했던 작업의 대안으로 Ferme Lanthorn 동쪽 산지에 이르는 초목, 토양, 지질 및 개울 사이의 관계를 분석했다. 주로 토양의 뿌리 체계에 집중했지만 계곡을 따라 일어나는 복잡한 환경과 자연 과정들 역시 흥미로웠다.
계곡을 따라 다양한 생태계를 관찰하고 그 자연에 스스로를 몰입시킴으로서 야생의 숲과 친밀감을 쌓을 수 있었다. 우리가 레지던시 기간 중 논의한 인간이 아닌 것의 지능(non-human intelligences)은 땅에 서식하는 모든 생명체, 동물, 곤충, 식물, 균, 미생물 등 모든 것들에 영향을 미치고 있었다. 이 환경 속 생명과 죽은 것 사이의 희미한 경계는 레지던시 프로젝트의 제목 곧 “황혼”의 애매모호한 경계를 떠올리게 한다. 숲속에서 일어나는 성장과 부패/소멸 현상은 새벽에 자신만의 세상을 창조하고 황혼에는 파괴하는 거미의 신화와 닮아 있다. 우연히 나 역시 아주 이른 아침에 산속 계곡을 따라 있는 공간을 담아내는 현장 조사를 시작했음을 기억한다. 이 경험은 극도의 정밀함과 모호함 사이를 넘나들며 이 환경을 알고리즘적으로 재구성하는 시청각 설치 작품의 탄생으로 이어졌다. 본 설치 작품은 복잡한 생태계를 향한 머신 비전의 다양한 해석을 스크린과 《땅거미 지는 시간》(When Spider Spin Dusk) 프로젝트의 아이디어를 떠올리게 하는 자연 단백질 섬유로 만들어진 실크 위에 나타낸다.
3
The William Fairbairn House, Hydroelectric development in the Gatineau Valley. https://www.communitystories.ca/v1/pm_v2.php?id=story_line&lg=English&fl=0&ex=00000369&sl=5531
4
Friends of the Gatineau River. https://fog-arg.org
This research residency began while I was pursuing my work related to coastal erosion in Eastern Canada. Littoral zones are complex ecosystems and environments undergoing rapid transformations. Since several years, I have been capturing these shifting landscapes using aerial photogrammetry and field recordings. The liminal space between the land and the sea is also an evocative area to explore the one between tangible and digital spaces. The deconstruction of 3D scans where the water meets the shore evokes issues related to the climate crisis as well as some that concern the digitalization of the world. The movements and reflections of the water during the volumetric capture of the scenes create glitches, deformations and fractures which amplify the impression that parts of the landscapes are wearing away. The digitization process also allows to preserve traces of changing land surfaces and disappearing environments.
My initial research consisted to explore the geomorphology of coastal landscapes and their transformation processes in relation with the notions of dusk, shipwreck, mapping, non-human perception and intelligence, through the interactions with people participating in the residency project. I investigated different computational photography techniques and generative AI algorithms to develop artworks while examining the features of these complex ecosystems and nature-technology relationships. Through the period that lasted this residency, the journey led me from the open sea horizon of the Atlantic to a stream enveloped by the forest.
During the summer of 2024, I experimented neural radiance fields and gaussian splatting techniques with the photographies I took on the coasts of Eastern Quebec, New Brunswick, Prince Edward Island and Nova Scotia. The field work I did in the Gaspé Peninsula and in the Atlantic provinces of Canada in May 2024 to continue the development of my VR installation entitled Érosions allowed me to examine a diversity of landscapes and ecosystems affected by erosion and climate change. The authorities and communities use different strategies to prevent or slow down the erosion processes in these areas. Planting and protecting native vegetation are common practices that reduces the erosion of the shoreline by holding it together with its roots and foliage. They also provide food and habitat for wildlife. During my research, I discovered that the Gatineau River, located near Ferme Lanthorn, was affected by erosion and that similar strategies were adopted to counter its effect.1 Ferme Lanthorn has also experimented with willow to prevent erosion and planted it in an old beaver dam on the property to make it stronger.
Before our stay at Ferme Lanthorn, an evocative scene of a tree hanging to a steep cliff in the north-west of Cape Bretton influenced my research and my experiments. The singular morphology of the tree is shaped by the harsh environmental conditions it grows in on top of a hill next to the Gulf of St. Lawrence. The tree also has an important portion of its roots exposed. Its precarious situation resonates with several ideas that occupied my thoughts and that we discussed during the residency. This scene illustrated an interdependence between the tree that needs the soil to grow and the cliff that is stabilized by the tree’s roots. It shows complex relations between the visible and the invisible, the known and the unknown, the apparent and the underground. It seemed like an interesting scene to incarnate some of the findings I made while experimenting with neural radiance fields (NeRFs).
1
Friends of the Gatineau River, Shoreline Protection and Shoreline Regeneration. https://fog-arg.org/shoreline-protection and https://fog-arg.org/shoreline-regeneration
NeRFs use deep neural networks to represent and render realistic three-dimensional representation of a scene from two-dimensional images.2 The network predicts a volume density and a view-dependent emitted radiance. The “Cliffhanger” experimentations I did show the reconstruction of the scene with diverse levels of training, various modes of visualization and how the information is encoded. Since NeRFs have a strong aesthetic that is quickly identifiable, I wasn’t inclined in the past to use this technique to make artworks. In this context, NeRFs interested me as they offer the possibility to access different modes of representation of the volumetric space and to deconstruct machine vision. The visuals I generated range from a very detailed photorealistic representation of the world to abstract data structures. The unfolding of the scene establishes parallels between the visible and hidden layers of AI and the layers of the earth. The structure of artificial neural network also recalls the networks of branches and roots.
2
Wikipedia, Neural radiance field. https://en.wikipedia.org/wiki/Neural_radiance_field
From July 26 to August 25, 2024, I participated to the International Symposium of Contemporary Art of Baie-Saint-Paul, a live creation experience in which artists from around the world develop works related to a theme. This year’s theme was “Inhabiting the World: Art and Ecology”. My work focused on the important local geographic feature that is Vallée du Gouffre. The valley was shaped by a meteorite impact that occurred approximately 357 million years ago, by natural processes (such as those that occurred at the end of the last glacial period) and by human activities. At the beginning of May 2023, a devastating flooding affected this area of the Charlevoix region. Parts of Rivière du Gouffre and other rivers changed their paths, suffered significant erosion and affected the lives of the population. The work that I developed surrounding these issues during the Symposium was related to my interest to explore the Gatineau River during our field trip in September.
The Gatineau River flows south from the Abitibi region into the Ottawa River in Gatineau on the traditional territory of the Algonquin people. During the 1920s, hydroelectric development transformed the Gatineau Valley. The construction of structures, dams and reservoirs flooded farms, lands and settlements along the river.3 Today, it is one of the cleanest rivers in Quebec, but it is threatened by increasing development along its shores, rise in recreational use and invasive species.4 I did research and site spotting using information available online, but the distance and short length of our stay made it difficult for me to do field work on the shores of the river. It was also complex to organize a workshop in ecosystems that are fragile and often difficult to access.
Our stay at Ferme Lanthorn was an inspiring and an informative journey that allowed us to dive into everyone’s work and processes though discussions and workshops. All the participants had activities connected to the environment we were in. Maurice, Sunjeong and I combined our workshop periods. Our proposals focussed on field recordings, open observation and gathering sensory experiences of the space. On my side, exploring the relations between vegetation, soil, geology and water led me up a creek on the mountain to the east of Ferme Lanthorn as an alternative to the work that I had planned on the Gatineau River. While I was focusing mainly on root systems on the land, the complex environment and natural processes occurring along the stream caught my attention.
The diversity of the ecosystem up the creek was stimulating to examine and immersion in the wilderness of the forest provided a feeling of intimacy. The non-human intelligences we discussed were omnipresent in the land, animals, insects, vegetation, fungi and microorganisms that inhibit it. The blurry boundaries between living and dead matter in this environment recalls the ambiguity that corresponds to the word dusk in the title of the residency project. The phenomena of growth and decay occurring in in the forest also echo the myth of the spider that weave the world into being at dawn and destroy it at dusk. Coincidentally, I began my field work to capture an area along the stream in the mountain very early in the morning. This experience oriented the development of an installation that will show an audiovisual interpretation of the environment that alternates between hyperprecision and vagueness while revealing its algorithmic reconstruction. The installation will show different interpretation of this intricate ecosystem by machine vision, both on screen and printed on silk, a natural protein fiber that recalls ideas behind the When Spiders Spin Dusk project.
3
The William Fairbairn House, Hydroelectric development in the Gatineau Valley. https://www.communitystories.ca/v1/pm_v2.php?id=story_line&lg=English&fl=0&ex=00000369&sl=5531
4
Friends of the Gatineau River. https://fog-arg.org