홍선하 인터뷰
Interview: Sunha Hong
1. 현재 진행중이신 연구와 함께 간단한 자기 소개를 부탁드립니다.
저는 살아가기 위해 책을 읽고 글을 씁니다. 그 중 대부분은 기술에 관한 질문과 관련이 있습니다. 구체적으로, 저는 기술이 세상을 정보나 데이터라고 부르는 것과 그 이면으로 나누는 방식을 묻습니다. 기계 학습과 빅 데이터 시스템은 자신의 측정과 예측 안에 있는 불확실성을 어떻게 숨기고 있을까요? 이 시스템들은 자신이 측정할 수 없는 것은 측정할 수 있는 것만큼 중요하지 않다고 우리를 어떻게 설득하려 할까요?
즉, 저는 기술을 본질적으로 비기술적인 현상으로 접근합니다. 저는 우리가 기술에 대한 가장 중요한 질문들의 답을 블랙박스를 깊이 파고들어 찾을 수 있다고 생각하지 않습니다. 저는 기술 뒤에 있는 가정과 믿음이 드러나는 지점을 보려고 합니다. 예를 들어, 데이터와 사회적 현실 사이에 화해할 수 없는 차이가 있을 때입니다.
제 첫 번째 책인 추측의 기술은 감시 시스템, 스마트 기계, 그리고 다른 데이터 기반 기술들이 알지 못하는 것과 그것들이 알지 못하는 것을 숨기고 부정하는 방법을 다루었습니다. 두 번째 책인 미래 없는 예측은 우리가 오늘날 ‘AI’에 대해 이야기할 때 그 내용이 매우 종교적인 특성을 가지고 있다는 생각에서 출발합니다. 특히, 그것은 상당히 종말론적인 성격을 띠고 있습니다. 세상의 끝에 대한 재미있는 점은 그것이 우리가 상상할 수 있는 가장 파괴적인 사건이지만, 역사적으로 종말에 대해 설교하는 것은 종종 현상 유지의 방법이었기 때문입니다. 오늘날 우리의 기술적 미래는 매우 오래되었고 매우 반복적이며, 때로는 50년 또는 100년 전의 아이디어를 그대로 반복하고 있습니다.
2. 빅데이터와 스마트 머신 시대에 지식으로 간주되는 것은 무엇인가요? 데이터화가 추측을 생성하는 과정에서 알고리즘적 확실성을 추구하는 것이 어떻게 지식의 새로운 표준을 형성하고 있는지 설명해 주실 수 있을까요? 스마트 머신 시대에 지식의 개념이 어떻게 바뀌었을까요?
우리는 인간 지식이 무엇인지 알고 있나요? 저는 그렇지 않다고 생각합니다. 저는 지식의 본질이 우리가 언젠가 ‘발견’하고 문제를 해결하는 것이 아니라고 생각합니다. 사랑이나 전쟁과 마찬가지로, 지식에도 해결할 수 있는 공식이 있는 것은 아닙니다. 지식에 관한 질문은 어떤 면에서는 철학에 관한 질문과 같습니다. 그래서 저는 우리가 지식이 무엇인지 먼저 알고, 그 후에 기계들이 그것을 어떻게 변형시키는지 살펴본다고 생각하지 않습니다. 기계들은 우리가 지식이라는 퍼즐을 풀려고 할 때 또 다른 도전입니다.
‘지식이란 무엇인가’보다는, ‘어떤 경험들, 어떤 실천과 고통, 좌절, 권태, 어떤 우정, 세상과의 작은 만남들이 우리가 무언가를 ‘알려고’ 할 때, 심지어 자신을 아는 데 도움이 되는가?’라고 묻는 것이 더 유용하다고 생각합니다. 그리고 그것이 오래된 기계와 새로운 기계들로 둘러싸인 상황에서 어떻게 변했는지? 라이프니츠는 ‘작은 지각(petites perceptions)’이라는 개념을 가졌습니다. 이는 매일 우리의 생각이나 감정이 많은 미세하고 순간적인 자극들에 의해 형성된다는 것입니다. 예를 들어, 밖에 비가 부드럽게 내리지 않았다면 우리는 그날 헤어지기로 결정을 내리지 않았을지도 모릅니다. 그 회의는 만약 방이 조금 더 시원하고, 모두가 자기 자신을 더 편안하게 느꼈다면, 반대의 결론에 이를 수도 있었을 것입니다. 우리의 지식의 패러다임은 순수히 추상적인 수준에서 변하지 않습니다. 하나의 통계적 방법을 다른 방법으로 바꾸는 것조차도 많은 문화적 변화를 동반합니다.
예를 들어, 오늘날 우리가 ‘데이터 기반 예측’이라고 부르는 것은 우리의 지식과 진리에 대한 태도가 (적어도) 두 가지 주요 전환을 거쳤기 때문입니다. 첫째, 행동과학이 대중화되면서 우리는 우리 자신의 의도나 이념으로 정의되지 않고, 우리의 행동이 작은 보이지 않는 데이터 패턴에 의해 제어된다는 생각에 익숙해졌습니다. 예를 들어, 사람들이 자기가 먹는 양을 모르고 큰 접시를 사용할 때 더 많이 먹는다는 사실을 알고 있나요? 이는 실제로 연구 결과를 조작한 과학자의 유명한 실험이었지만, 우리는 그 이야기를 좋아했습니다. 둘째, 우리의 많은 컴퓨팅 시스템은 약 100년 전에 일어난 매우 중대한 패러다임 전환에 기초하고 있습니다. 간단히 말하면, 범죄를 저지를 가능성이 있는 사람들을 알아내려는 실제 이론을 찾으려는 대신, 우리는 이렇게 말하기 시작했습니다: 사람들을 범죄에 취약하게 만드는 것이 무엇인지 아무도 모르고, 우리는 그다지 중요하게 여기지 않는다. 우리가 원하는 것은 범죄 활동과 수학적으로 연관되는 데이터를 찾는 것뿐입니다. 오늘날 얼굴 인식 시스템이 ‘성적 지향’을 ‘예측’한다고 주장할 때, 그것이 어떻게 누군가의 얼굴이 게이와 관련이 있는지를 설명할 필요는 없습니다. 그들은 단순히 숫자가 특정 얼굴 특징이 이성애자나 동성애자와 연관되어 있다고 보여준다고 주장할 뿐입니다. 그 관계의 본질을 설명할 수 없으면서도 말입니다.
우리는 이러한 전환들이 ‘더 나은 지식’으로 요약될 수 없다는 것을 알 수 있습니다. 그들은 지식이 무엇인지에 대해 매우 특정한 방향으로 나아갑니다. 근본적인 태도는 우리가 범죄나 성적 지향이 무엇인지 알 필요는 없다는 것입니다. 다만 범죄 활동과 성적 지향이 같은 비율로 오르내리는 숫자를 찾기만 하면 됩니다. 그리고 그것은 사람들이 자신이 어떤 사람인지, 무엇을 믿는지에 대한 생각이 이러한 숫자들과 비교할 때 열등한 지식이라는 태도입니다.
3. ‘허니문 객관성(honeymoon objectivity)’ 개념에 대해 더 설명해 주실 수 있나요? 새로운 기술이 인간이 지닌 문제와 불확실성을 보다 안정적으로 해결해줄 것이라는 일종의 기대 판타지는 우리가 새로운 기술을 인식하고 삶에 적용하는 데에 어떠한 영향을 미쳐왔을까요?
어렸을 때, 특별한 능력을 가진 친구가 있었습니다. 그는 매달, 때로는 매주 새로운 여자친구를 찾을 수 있었습니다. 매번, 그는 자신이 이번에 완벽한 사람을 찾았다고, 이번에는 진정한 사랑이 올 것이라고 말하곤 했습니다. 내가 깨달은 것은, 여자가 계속 바뀌었지만, 각 만남은 대체로 같은 방식으로 진행된다는 것이었습니다. 왜냐하면 그는 자신을 변화시킬 시간을 갖지 않았기 때문입니다.
허니문 기분이 우리를 반복의 루프에 빠지게 만듭니다. 우리는 이번에는 기술이 진짜 객관적인 진리를 제공할 것이라고, 이번에는 실수 없이 판단을 내릴 수 있을 것이라고, 이번에는 범죄를 진짜 예측할 수 있을 것이라고 순진한 기대를 반복하게 됩니다. 우리는 이미 많은 사람들이 ‘알겠어요, ChatGPT가 항상 틀리고, 그것이 사실이 맞는지 아닌지 알 수 없다는 것은 알지만, 아마 1~2년 안에 고쳐질 거예요?’라고 말하는 것을 보고 있습니다. 그래서 우리는 기술을 사랑하는 이 허니문 기분을 유지하려고 결심하며, 그것의 최상의 특성만을 보고, 그 특성이 존재하지 않더라도 계속해서 그것을 보려 합니다. 이 반복은 우리가 이전의 경험을 계속 잊게 만들고, 그래서 이 망각은 우리가 배우고 변화하는 것을 막습니다. 반복이 위험하다는 생각은 프로이트에게서도, 그리고 낭만주의에서나 다른 곳에서도 찾아볼 수 있습니다.
예를 들어, AI가 완전 자동화를 통해 인간의 일자리를 대체할 것이라는 현재의 생각을 고려해 봅시다. 이것은 불과 몇 년 전, 우리가 사용했던 또 다른 의미 없는 슬로건인 ‘4차 산업 혁명’을 잊어버린 것입니다. 2012년에는 빅 데이터였고, 1980년대와 1960년대, 심지어 1830년대에도 많은 직업들이 곧 기계에 의해 완전히 자동화될 것이라는 비슷한 주장이 있었습니다. 우리가 실제로 발견하는 것은 두 가지입니다. 첫째, 새로운 기계들은 고용주가 일부 일자리를 없애게 하지만, 동시에 그 기계와 그 기계들의 실패와 맹점을 관리할 새로운 일자리를 만듭니다. 이러한 일자리 중 일부는 더 존경받는 것으로 간주되지만, 다른 일부는 매우 열악한 일자리입니다. 예를 들어, 영국의 산업 시대에서 섬유 작업의 부분 자동화는 ‘뮬 청소부’라는 직업을 만들어냈습니다. ‘뮬’이라는 기계는 대량의 양모를 자동으로 실에 꿰었지만, 이 기계들은 더 오류가 많았고 소중한 실뭉치를 바닥에 떨어뜨리기도 했습니다. 그래서 고용주들은 '뮬 청소부'라는 인간을 고용해 10시간에서 12시간씩 기계 아래에서 떨어진 실뭉치를 주워야 했습니다. 공간이 매우 좁았기 때문에 아이들이 종종 고용되었습니다. 만약 손을 너무 높이 들면, 기계에 의해 손가락이 잘릴 수도 있었습니다.
[... 또 다른 중요한 예는 ‘스마트 기술’이 어떻게 오래된 환상을 반복하는지, 특히 가정 내 여성 노동과 관련된 환상들에 대한 것입니다... 이 부분에서 제 글에서 일부를 발췌할 수 있을지도 모릅니다.]
둘째, 고용주들은 새로운 자동화 기술을 예상하고, 예를 들어 직원을 해고하는 등의 변화를 줍니다. 하지만 새로운 기술이 약속한 만큼 효율적이거나 보편적이지 않더라도, 이러한 예상 변화는 계속해서 남아있습니다. 많은 기업들이 ChatGPT가 등장했을 때 콜센터 직원들과 다른 직책들을 축소하기 시작했습니다. 그들 중 일부는 실제로 그 직원들에게 돌아와서 6개월 정도만 일해달라고 부탁했습니다. 왜냐하면 이제는 아무도 그 일을 할 수 없기 때문입니다. 그러나 그들 중 몇몇은 ‘우리는 예전처럼 사람들을 다시 고용하고, 예전처럼 급여를 지급하겠습니다’라고 말한 적은 없습니다. 허니문 기분은 우리를 그대로 유지하게 만들뿐만 아니라, 우리가 사회 문제에 대한 다른 종류의 해결책을 시도하기 점점 더 어렵게 만드는 일종의 늪을 만듭니다. 왜냐하면 우리는 기술이 우리를 도와줄 때까지 그냥 기다리면 된다고 생각하기 때문입니다.
4. 저는 불확실성, 우연성, 예측불가능한 것이 자연이나 인간이 지닌 위대함을 만들어 내는 요소라고 생각합니다. 이러한 요소들은 우리 삶을 때로는 위험에 빠트리기도 하지만, 때로는 더 흥미로운 방향으로 이끌어 갑니다. 예측 기술이 계속해서 발전한다면, 우리의 삶에서 이러한 불확실한 요소들이 제거되고 줄어들까요? 혹은 오류를 지닌 인간의 한 측면도 기술이 닮아갈까요?
ChatGPT의 가장 효과적인 속임수는 이미 100년 전에 앨런 튜링에 의해 예측되었습니다. 그는 사람들이 기계가 지능적이라고 믿게 만들려면, 기계가 답하기 전에 몇 초간 잠시 멈추도록 지시해야 한다고 말했습니다. 비록 그 시간이 필요하지 않더라도 말이죠. 우리는 기계가 실수를 하거나 불확실성을 보일 때 큰 놀라움과 기쁨을 느낍니다. 그럴 때 우리는 그것을 훨씬 더 신뢰하게 되죠. 예를 들어, ChatGPT가 “나는 당신의 질문에 답하고 싶지 않아요” 또는 “지루해요, 재미있는 이야기 하나 해줘요”라고 말하도록 코딩된 버전을 상상해 보세요. 그것이 OpenAI의 주가를 그 어떤 계산적 돌파구보다 훨씬 더 도울 수 있을지도 모릅니다.
하지만 사람들로 돌아가서, 우리를 불확실하거나 예측 불가능하게 만드는 것은 무엇일까요? 제 생각에 하나의 답은 우리가 과잉으로 정의된 존재라는 것입니다. 우리는 종종 꼭 필요한 것 이상으로 많은 에너지를 쏟습니다. 예술의 한 정의는 그것이 바로 인간의 과잉이라고 할 수 있습니다. 이것은 조르주 바타유의 주장과 관련이 있는데, 사회는 과잉 에너지를 위한 의식을 발전시키면서 정의된다고 말입니다. 제가 항상 좋아했던 오래된 한국의 신조어가 있습니다. ‘쓸데없이 고퀄리티’. 영화에서 단 몇 초 간의 장면이지만, 거의 아무도 보지 못할 디테일로 정교하게 채워진 장면이 바로 그것입니다. 작은 담배 제조업체가 광고에 알폰스 무카를 고용하는 경우가 그렇습니다. 혼자 공원에 가기 위해 가장 좋아하는 옷과 메이크업을 하고 나서는 경우가 그것입니다. 우리를 예측 불가능하게 만드는 것은 종종 이러한 과잉에 대한 우리의 경향과 관련이 있습니다.
그리고 저는 이 과잉이 중요하다고 생각합니다. 왜냐하면 그것이 우리가 삶에서 해야 할 의미 없는 일들에 의미를 부여하려고 하는 방식이기 때문입니다. 또한 그것이 우리가 자신을 발견하려고 시도하는 방식입니다. 우리가 진정으로 생각하는 것, 우리가 진정으로 사랑하는 것. 따라서 인간이 되는 것은 단지 조금은 무작위적이고 과도한 것이 아니라, 바로 그 과잉이 우리가 인간이 되기 위해 하는 일들임을 의미합니다. 기계가 이러한 행동을 모방하도록 설계하는 것은 그리 어렵지 않지만, 그것이 왜 중요한지 잘 모르겠습니다. 저는 챗봇이 농담을 하거나 시를 쓰는 것이 획기적인 일이 아니라고 생각합니다. 왜냐하면 진짜 질문은 ‘왜 내가 챗봇이 쓴 농담을 읽으며 시간을 낭비해야 하는가?’이기 때문입니다. 인류는 시를 단순히 시를 만들기 위해 발명하지 않았습니다. 우리는 시를 발명한 이유는 바로 그것이 우리가 우리의 감정과 자신을 이해하려는 방법 중 하나이기 때문입니다.
5. 인공지능이 미래를 예측할 수 있는 능력을 갖췄다는 사실이 ‘지능’의 척도가 될 수 있다고 보시나요? “예측”이라는 행위가 기술의 높은 지능을 증명하는 것으로 평가될 수 있는지, 아니면 단지 도구적 성과에 불과한지에 대한 견해를 듣고 싶습니다.
기계 학습이나 유사한 기술에 관한 기술 매뉴얼을 보면, ‘예측’이라는 단어는 실제로 미래 사건을 예고하는 것과는 아무런 관계가 없습니다. 예측은 단순히 분류를 의미합니다. 데이터를 받아 하나의 상자에 넣거나 다른 상자에 넣는 것일 뿐입니다. 과거 데이터를 사용하여 ‘범죄’를 예측하는 시스템을 배포한다고 해도, 그것은 단지 지난 20년간 LA 경찰이 기록한 범죄자들의 패턴을 식별하는 것에 불과합니다. 문제는, 과거의 범죄에 대한 완전하거나 완전히 객관적인 분석을 할 수 없다는 점입니다. 예를 들어, 결코 잡히지 않은 범죄자들의 기록이 없기 때문입니다. 그리고 과거의 패턴이 언제 미래에 재현될지, 혹은 미래가 언제 과거와 달라질지 알 방법이 없습니다.
‘예측’이 AI와 빅 데이터의 언어에서 이렇게 중요한 동사가 된 이유는 그것이 기술 산업이 모든 종류의 사회적 상황에 유용하게 적용될 수 있게 만들어 주기 때문입니다. 미국의 학교들은 아이가 폭력적인 총기 난사범이 될 ‘위험’이 있는지 알고 싶어하고, 고용주는 어떤 후보자가 ‘좋은 근로자’가 될지를 알고 싶어합니다. 예측의 언어는 기술이 이 모든 문제들의 해결책으로 자신을 자리매김할 수 있게 해줍니다. 그래서 예측은 분명히 지능의 지표일 수 있지만, 우리 기계 학습 시스템들이 실제로 그런 방식으로 미래의 사건을 예측하려고 하고 있는지 명확하지 않습니다.
데이터 분석을 ‘예측’이라고 부르는 것의 진정으로 중요한 측면은 그것이 지식의 진정한 중요성이 어디에 있는지를 드러낸다는 점입니다. 우리가 어떤 것에 대해 지식을 생산할 때, 그것은 항상 우리와 객체를 변화시킵니다. IQ 테스트로 아이들을 측정하는 것은 우리가 인간의 지능과 그것의 발전에 대해 생각하는 방식과, ‘앞서 있다’거나 ‘뒤처져 있다’는 의미를 바꾸었습니다. 그럼에도 불구하고 IQ의 발명자는 이 숫자가 지능을 측정한다고 명시적으로 말한 적이 없고, 사실 그가 무엇을 측정하는지 확신하지 못했다고 말했습니다. 그는 단지 그것이 새로 표준화된 프랑스 학교 시스템에 어려움을 겪는 프랑스 아이들과 상관관계가 있다는 것을 알고 있었을 뿐입니다. 요점은 지식이 항상 행동, 변형, 그리고 통제와 관련이 있다는 것입니다. 오늘날 우리가 스스로 생각하고 알 수 있는 기계를 만들고자 하는 이유는 우리가 인간이 아니라 기계가 세상을 변형시키기를 원한다고 말하는 것과 같습니다. 이는 계몽주의의 가장 근본적인 원칙을 뒤집는 것입니다. 즉, 인간은 자신의 아이디어와 미래를 결정해야 하며, 자신의 불확실성과 질문에 맞서야 한다는 원칙입니다. 현재의 AI 미래는 이에 대한 답변으로 이렇게 말합니다: 우리는 그것에 대해 신경 쓰지 않겠습니다 - 고야의 말처럼, 우리는 이성의 잠에 빠져들기를 선호합니다, 비록 그것이 괴물을 만들어내더라도.
6. 이번 프로젝트에서 언메이크 랩은 이미지 생성 인공지능을 통해 박제술이 지닌 식민주의, 비인간종(동물)에 대한 편향성을 드러냄과 동시에, AI에 반복적으로 입력되어 어느새 불균형적으로 비대해져 있는 일종의 ‘근육 데이터’를 보여줍니다. AI가 인간이 지닌 선입견과 차별, 불균형을 그대로 복제하거나 확대한다고 생각하시나요? 그리고 이것이 AI의 ‘지능’을 평가하는 데 어떤 함의를 가질까요?
우리는 이제 지능에 대해 이야기하기 시작했습니다. 이 단어에 대해 더 조심해야 하는 이유는, 사실 우리는 지능이 정확히 무엇인지 모른다는 점입니다. 인공지능 분야는 지능에 대한 확고한 정의를 가지고 있지 않습니다. 유명하게도, 인공지능의 아버지로 널리 알려진 마빈 민스키는 그것이 자금을 유치하고 대중의 관심을 끌 수 있는 매력적인 이름이라고 생각했습니다. 그리고 그는 그 점에서 틀리지 않았습니다. 최근, 몇몇 마이크로소프트 연구자들이 지능을 정의하려는 논문을 썼고, 그 논문에서 대형 언어 모델들이 지능의 징후를 보인다고 주장하려 했습니다. 그러나 그들의 해결책은 흑인과 다른 인종이 백인보다 지능이 낮다는 주장을 뒷받침하는 과학자들이 쓴 오래된 신문 기사를 인용하는 것이었습니다. 우리는 지능이 무엇인지, 혹은 그것이 단일하고 뚜렷한 특성인지에 대해 매우 낮은 이해를 가지고 있습니다.
우스꽝스럽게도, 나는 지능이 기계 학습과 생성적 AI의 가장 인상적이고 유용한 점을 이해하는 데 가장 적합한 개념이 아닐 수 있다고 생각합니다. 나에게 이 도구들의 가장 유망한 측면은 그것들이 인간과는 완전히 다른 방식으로 데이터를 처리한다는 점입니다. 즉, 그것들은 우리가 하는 것과 동일한 일을 하려는 것이 아니라, 전혀 새로운 형태의 정보 처리 방식을 개발할 수 있다는 것입니다. 내 진공 청소기는 내가 손으로 바닥과 상호작용하는 방식과 똑같아서 놀라운 것이 아니라, 전혀 다른 접근 방식을 가지고 있기 때문에 놀라운 것입니다. 내 사진 앨범이나 오디오 녹음기는 내가 기억하는 방식과는 다른 방식으로 정보를 저장하고 제공하기 때문에 유용합니다.
카메라가 지능적이라고 말할 사람은 없겠지만, 카메라는 기술로서 특정한 경향을 가지고 있다는 것은 사실입니다. 우리는 카메라가 세상을 ‘객관적으로’ 포착하지 않으며, 또한 내가 눈으로 보는 것을 실시간으로 포착하지 않는다는 것을 알고 있습니다. 그것은 자체적인 경향을 가지고 있습니다. 지금 우리는 다양한 AI 도구들이 고의적으로 다른 경향을 가지도록 설계되는 과정이 없습니다. 대신, 우리는 우연히 발생한 경향들이 보편적인 표준이 되어버립니다. 수십억 명의 사람들이 세 개나 네 개의 챗봇 프로그램을 사용하고 있는데, 이 프로그램들은 대부분 영어로 Reddit이나 Youtube에 글을 올린 아주 일부 인류를 대상으로 훈련되었습니다. 그리고 이 산업은 종종 이를 장려합니다. 왜냐하면 새로운 유형의 훈련 데이터를 준비하거나 다양한 맥락에 맞는 다른 모델을 개발하는 것은 더 비싸고 덜 매력적이기 때문입니다. 오히려 모든 일을 할 수 있다고 주장하는 단일 도구를 출시하는 것이 더 매력적입니다.
7. 기술철학자 육 후이(Yuk Hui)의 재귀성과 우연성(Recursivity and Contingency, 2019)에서는 스마트화된 환경이 인간과 기술의 관계에 있어 주요한 계산 방식이 될 것이라고 언급하고 있습니다. 육 후이가 언급한 재귀성, 즉 자기 참조적인 기술 발전은 인간의 사고와 행동을 기술의 틀 안에 맞춰가게 만든다고 했습니다. 이는 선하님의 글에서 이야기하는 오늘날 예측기술이 우리의 사고를 표준화하고 제약한다는 주장과도 맞닿아있다고 생각합니다. 이러한 구조가 인간의 창의성과 자율성에 미치는 영향에 대해 설명해주시면 좋겠습니다. 기술의 자기 참조성(self-referentiality)이 “인간 존재의 본질을 재정의”한다는 주장을 어떻게 생각하시나요?
[#7에 대한 대답이 별로 좋지 않다고 생각해서 다시 생각해 보겠습니다.]
예술가이자 연구자인 트레버 페이글렌은 곧 세상에 존재하는 대부분의 이미지가 단지 기계에 의해 생성될 뿐만 아니라 기계에 의해 소비될 것이라고 주장했습니다. 예를 들어, 공항 보안을 위한 사람들의 이미지를 촬영하는 스캐너가 있다고 합시다. 그런 다음 이 이미지는 이상 징후를 감지하기 위해 컴퓨터 비전 시스템에 의해 자동으로 처리되고, 그 후 인간 근무자는 결국 그 이미지를 직접 보지 않거나, 본다 하더라도 인간에게는 읽을 수 없는 상태가 됩니다. 그래서 내가 생각하는 중요한 질문 중 하나는, 기계들이 점점 더 인간과 소통하기 위해 만들어지고 있는지, 아니면 우리가 이해할 수 없는 방식으로 다른 기계들과 소통하기 위해 만들어지고 있는지입니다.
기계의 자기 참조성이나 반복성의 증가는 새로운 시간적 불일치를 만들어냅니다. 항상 같은 일을 반복하는 기계는 어떤 면에서 인간 사용자에게 꽤 신뢰할 수 있습니다. 우리는 그것을 완전히 이해하지 못할 수도 있지만, 적어도 그것이 세상의 한 구석을 확실히 지켜준다는 믿음이 있기 때문입니다. 그래서 많은 사람들이 오랜 시간 동안 사용해온 기계에 대해 일종의 애정을 느끼게 됩니다. 그러나 항상 업데이트되고 계속해서 자신을 변화시키는 기계는 우리의 시간 감각을 방해하고, 세상에 대해 어떻게 지능적으로 이해할 수 있는지에 대한 능력을 저하시킵니다.
내 작업 중 일부에서, 나는 새로운 예측 및 자동 시스템이 등장하면서 나타나는 ‘역설계의 고역’에 대해 이야기합니다. 왜냐하면 어떤 기계도 그 주변의 물질적 현실에 대해 완벽하게 객관적인 이해를 가지고 있지 않기 때문에, 모든 기계는 새로운 형태의 오류를 생성하기 때문입니다. 예를 들어, 배달 로봇은 같은 교차로에서 끊임없이 막히고, 컴퓨터 비전 소프트웨어는 특정 유형의 몸을 지속적으로 인식하지 못할 수 있습니다. 여기에서 인간은 기술을 역으로 분석해야만 하고, 그 오류가 발생한 정보를 어떻게 처리했는지 추측하려고 노력해야 합니다. 잉크젯 프린터나 무선 라우터를 고쳐본 사람이라면 이 느낌을 알 것입니다. 하지만 컴퓨터 비전 시스템을 훈련하는 데 도움을 주기 위해 개별 픽셀을 수동으로 태깅하는 ‘픽셀 헌터’처럼, 이 역설계가 그들의 전적인 일이 될 때도 있습니다. 그리고 보통 그것은 미래가 보장되지 않는, 낮은 임금의 일입니다.
또 다른 차원에서, 기계가 ‘생각’하도록 훈련시키면, 즉 정보를 처리하도록 훈련시키면, 우리는 더 이상 우리 자신의 사고를 이해할 필요가 없다고 말할 수 있습니다. 건축가들이 건축 설계를 수작업으로 그리던 것에서 3D 소프트웨어인 오토캐드로 전환하기 시작했을 때, 그들이 만든 설계가 미묘하게 변화하기 시작했다고 말한 적이 있습니다. 물론 모든 붓놀림이나 모든 단어를 수동적이고 목적적으로 하는 것이 항상 더 나은 것은 아닙니다. 오늘날 많은 직장 내 이메일은 매우 형식적이고 의미 없는 경우가 많아서, 그것을 자동화한다고 해서 정말로 무엇을 잃게 될지 알기 어렵습니다. 하지만 그럼 자동으로 모든 글쓰기를 하게 되어 그 수고에서 벗어날 수 있다는 것일까요? 나는 문제는, 수 세기 동안 우리는 글쓰기를 인간이 되는 방법으로 의존해 왔다는 것입니다. 글쓰기는 우리가 어떻게 생각하고 느끼며, 무엇을 알고 무엇을 모르는지 발견하는 도구였습니다.
8. 새로운 기술이 유토피아를 가져다 줄거라는 인류의 믿음은 희망-두려움-실망의 패턴을 반복해왔습니다. 인공지능에 대해서는 어떠한 전망을 하시는지 궁금합니다.
AI의 미래에 대한 현재의 예측은 모두 높은 확신을 동반하고 있습니다. 우리는 의식 있는 로봇이나 살인 로봇, 또는 둘 다가 확실하게 등장할 것이라는 이야기를 계속 듣고 있습니다. 저는 이 확신이 내용 자체보다 훨씬 더 위험하다고 생각합니다. 왜냐하면 그것이 미래가 매우 좁다는 생각을 만들어내기 때문입니다. 최근에 저는 한 미국의 주요 대학에서 ‘AI 학급 친구’를 도입한 것을 보았습니다. 이는 거의 모든 면에서 완전히 쓸모없는 놀라운 발명입니다. 그러나 그 대학의 지도부는 ‘AI는 불가피하다’고 주장하며, 대학들이 어떤 식으로든 교실에서 AI를 사용할 방법을 찾아야 한다고 주장했습니다. 그래서 기술에 대해 이야기할 때, ‘불가피성’이라는 강력한 문법이 존재하게 되었고, 이는 예를 들어 부모들에게 자녀가 기계 학습을 배워야만 뒤처지지 않는다고 말하는 모든 조언에 스며들고 있습니다. 매년, 요구되는 것은 더 많아집니다: 영어를 배워야 하고, 코딩을 배워야 하며, 중국어와 아랍어를 배워야 하고, 이제는 기계 학습까지 배워야 합니다.
우리가 AI의 미래에 대해 내릴 가장 중요한 결정은 로봇이 우리를 모두 죽이지 않도록 규칙을 제대로 코드화하는 것과는 관계가 없습니다. 오히려 우리가 내려야 할 결정은 우리가 샘 올트만의 유토피아에서 살고 있다고 받아들이고 그것을 최대한 따라잡을 것인가, 아니면 이 좁은 관점을 거부하고 여러 가지 유토피아적 비전을 추구할 것인가입니다. 이 노력 중 일부는 민족주의적인 문법을 띠게 될 것입니다. 저는 ‘사회주의적 특성을 가진 AI’와 같은 이야기를 듣게 될 것이라고 확신합니다. 미국에서는 아프로퓨처리즘이 미래를 이론화하는 매우 상상력 있는 방식이 발달하고 보호된 곳으로 다시 주목받고 있습니다. 우리는 이 다양한 미래의 가능성에 대해 우리가 생각하는 것보다 더 준비가 되어 있습니다: 우리 주위의 많은 사람들은 샘 올트만과 ChatGPT, 또는 엘론 머스크의 로봇처럼 변장한 인간들이 만들어갈 미래가 깊이 어리석고 위험하다고 느끼고 있습니다. 정치적 체제가 깊이 불인기일 때, 여전히 권력을 유지하는 이유는 대중이 여전히 모든 사람들이 충성하고 있다고 믿기 때문입니다. 그러나 우리가 이것이 사실이 아니라는 것을 깨닫는 순간, 역사적으로 변화는 매우 빠르게 일어난다고 합니다.
[...유토피아에 대한 아이디어에 대해 조금 더 말하겠습니다...]
1. Could you please introduce yourself briefly along with your current research?
I read things and write things to live. Most of them have to do with the question of technology. Specifically, I ask how technology divides the world between what it calls information, or data, and its underside. How do machine learning and big data systems conceal the uncertainties within their own measurements and predictions? How do these systems try to convince us that whatever it cannot measure, must not be as important as the things it can?
That means I approach technology as a fundamentally non-technological phenomenon. I don’t think we can get at the answers to our most important questions about technology by looking deeper and deeper into the black box. I try to look at the places where the assumptions and beliefs behind the technology become visible - for example, when there is an irreconcilable difference between the data and the social reality.
My first book, Technologies of Speculation, looked at what surveillance systems, smart machines, and other data-driven technologies cannot know - and how those unknowns become hidden and disavowed to maintain the legitimacy of technological paradigms. My next book, Predictions Without Futures, starts from the thought that a lot what we talk about when we talk about ‘AI’ today has a very religious quality to it, and specifically, it is quite eschatological. The funny thing about the end of the world is that it is the most disruptive event we can imagine, but historically, preaching about the end has often been a way to maintain the status quo. A lot of our technological futures today is very old, and very repetitive, sometimes rehashing exactly ideas from 50 or 100 years ago.
2. What counts as knowledge in the age of big data and smart machines? Could you explain how the pursuit of algorithmic certainty in the process of datafication, which also generates speculation, is shaping a new standard of knowledge? How has the concept of knowledge evolved in the era of smart machines?
Well, do we know what human knowledge is? I don’t think we do. I don’t think the nature of knowledge is something we ‘discover’ one day and solve the problem, just like love, or war, is not a formula to be solved. The question of knowledge is, in some ways, the same as the question of philosophy. So I don’t think we start from knowing what knowledge is, and then seeing how that is transformed by machines. The machines are another provocation to us as we try to figure out the puzzle of knowledge.
Instead of ‘what is knowledge’, I think it is often more useful to ask, what kinds of experiences, what kinds of practice and suffering, frustration, ennui, what friendships, what small encounters with the world, helps us when we try to ‘know’ something - including knowing ourselves? And how has that changed with the machines around us, old and new? Leibniz had this idea of petites perceptions, which is that every day, our thinking or feeling is shaped by many fleeting, small stimuli. We may not have decided to break up that day, if it wasn’t raining softly outside. That meeting may have reached the opposite conclusion, if the room was a little bit cooler, and everyone was a little more comfortable in their own skin. Our paradigms of knowledge don’t change at a purely abstract level - even swapping one statistical method for another tends to be accompanied by a lot of cultural changes.
For example, what we call data-driven predictions today is the result of (at least) two major shifts in our attitude towards knowledge and truth - shifts that took place over several decades. First, with the popularisation of the behavioural sciences, we have all gotten used to the idea that we are not defined by our own intentions and ideologies, but that our actions are controlled by small, invisible patterns of data. Did you know, for example, that people will eat more if their plate is bigger, without realising? This was a famous experiment by a scientist who turned out to have doctored his results, actually. But we all loved the story. Second, much of our computational systems are based on a very fateful paradigm shift about a hundred years ago. The simple version is that rather than try to discover the actual theory behind, say, who is likely to commit a crime, we began to say: nobody knows what might make people prone to crime, and we don’t really care. All we want to do is find data that mathematically correlates with criminal activity. When a facial recognition system today claims to ‘predict’ sexual orientation, this does not require them to explain how they think somebody’s face has anything to do with being gay. They simply argue that the numbers show certain facial features are straight, or gay, even though they cannot explain the nature of that relationship.
We can see that these shifts cannot be summarised as ‘better knowledge’, but that they take a very specific direction as to what they count as knowledge. The underlying attitude is that we don’t need to know what crime or sexuality is, as long as we found the numbers that go up or down at the same rate. And it is the attitude that people’s own ideas about what kind of people they are, what they believe in, is an inferior kind of knowledge compared to these numbers.
3. Could you elaborate on the concept of “honeymoon objectivity”? How has the sort of hopeful fantasy that new technologies can solve human problems and uncertainties in a more stable manner affected the way we perceive and integrate new technologies into our lives?
When I was young, I had a friend who had a special power: he could find himself a new girlfriend every month, and sometimes every week. Each time without fail, he would tell me - this time, he has found the perfect person, and it will be real love. What I realised is that the women kept changing, but each encounter played out in roughly the same way, because he never got the time to change himself.
Honeymoon objectivity get us stuck in a loop, where we repeat this naive expectation that this time, technology will really provide objective truth - that it can really make judgments without error, that it will be able to really predict crime, and so on. We already see this in many people who say, ‘OK, I understand that ChatGPT gets things wrong all the time, and that it has no capability to know if anything is true or not. But surely this will be fixed in a year or two?’ So we are very determined to maintain this honeymoon, where we love technology and we insist on only seeing its best qualities, even if they don’t exist. This repetition requires us to constantly forget our previous experiences, and so this amnesia keeps us from learning and changing. This idea that repetition is dangerous we can find in Freud, but also in Romanticism and elsewhere.
For example, consider the current idea that AI will replace human jobs through total automation. This has already forgotten that, just a couple of years ago, we used a different and equally meaningless slogan - the fourth industrial revolution. In 2012, it was big data. In the 1980s, and in the 1960s, and even the 1830s, you can find similar arguments that in the near future, many jobs will become totally automated through machines. What we actually find is two things. First, new machines allow employers to get rid of some jobs, but also creates new jobs to manage the machines and their own failures and blindspots. Some of these jobs are considered more respectable; others are very shit jobs. The partial automation of textile work in industrial England, for example, created jobs called ‘mule scavengers’. The machines, called ‘mules’, automatically threaded huge quantities of wool, but they were also more error-prone and kept dropping valuable clumps onto the ground. So, the employers would hire ‘mule scavenger’ humans to crawl underneath the machines for 10 or 12 hours a day picking up the debris. Because the space was very small, kids were often used. If you made the mistake of putting up your hand too high, your fingers might get cut off by the machine.
[...Another key example here is how ‘smart technologies’ keep repeating old fantasies, especially ones around domestic feminine labour… maybe something can be excerpted from my piece here.]
Second, employers make changes anticipating new automation technologies, such as firing workers. But even though the new technology is not as efficient or universal as promised, many of these anticipatory changes stick around. Many companies began to downsize call centre workers and other roles when ChatGPT first arrived. Some of them have actually called those people back to say, please come back and work for us, just for 6 months or so, because nobody knows how to do the work anymore. But few of them have said, we will rehire the same number of people and pay them as we used to. Honeymoon objectivity doesn’t just keep us the same, but it creates a kind of swamp where it becomes more and more difficult for us to try other kinds of solutions to social problems, because we keep thinking we can just wait for technology to help us.
4. Personally, I believe that uncertainty, contingency, and unpredictability are elements that contribute to the greatness of nature and humanity. While these elements sometimes put our lives at risk, they also lead us in more intriguing directions. If predictive technology continues to advance, do you think these uncertain elements in our lives will be reduced or even eliminated? Alternatively, do you believe that technology might also begin to emulate the flawed, uncertain aspects of humanity?
The most effective trick in ChatGPT was already anticipated by Alan Turing a hundred years ago. He said that to fool people into thinking machines are intelligent, you needed to simply instruct the machine to pause a few seconds before answering - even though it does not need that time. We get a lot of wonder and delight from seeing machines make mistakes or show uncertainty. It often gets us to trust it a lot more. Imagine a version of ChatGPT that is coded to sometimes say, “I don’t want to answer your question”, or “I’m bored, tell me something funny.” That might help OpenAI’s share prices a lot more than any computational breakthrough.
But to come back to people: what makes us uncertain or unpredictable? I think one answer is that we are defined by excess. We often put in far more energy into something than is strictly necessary, one definition of art could be that it is human excess: this is part of Georges Bataille’s argument, that society is defined by the rituals it develops for excess energy. There is an old Korean neologism that I have always liked - ‘쓸데없이 고퀄리티’. It is the single shot in a movie that lasts a fraction of a second, but is painstakingly filled with detail almost nobody will ever see. It is when a small-time cigarette manufacturer hires Alphonse Mucha for their adverts. It is when you put on your best makeup and your favourite outfit to take a walk in the park alone. What makes us unpredictable, even to ourselves, is often to do with our tendency to excess.
And I think this excess is important because it is how we try to imbue meaning into the meaningless things we have to do in our lives. It is also how we try to discover ourselves - what we really think, what we really love. So it is not simply that to be human is to be a little bit random or excessive, but that those things are what we do to become human ourselves. It is not very difficult to design machines that mimic this kind of behaviour, but I’m not sure why it would be very significant in any way. I don’t think chatbots telling jokes or writing poetry is a breakthrough, because the real question is, why would I waste my life reading jokes written by a chatbot? Humanity did not invent poetry in order to have poetry: we invented poetry as one of the things we do to try to figure out our feelings and ourselves.
5. Do you believe that an AI’s ability to predict the future can be considered a measure of “intelligence”? I’d like to hear your perspective on whether the act of “prediction” demonstrates high intelligence in technology or if it merely constitutes a functional outcome.
If you look at a technical manual on machine learning or similar technologies, the word ‘prediction’ actually has nothing to do with foretelling future events. Prediction simply means classification - you take data and put it into one bucket or another bucket. And even when you deploy a system that uses past data to ‘predict’ crime, it is simply identifying patterns that exist in, say, the LAPD’s records of convicted criminals in the last 20 years. The problem is that you can never have a complete or fully objective analysis of past crime, because you do not have records of criminals who were never caught, for example. And there is no real way to know when those past patterns will be reproduced in the future, or when the future will deviate from the past.
The reason that prediction has become such an important verb in the language of AI and big data is that it allows the tech industry to make itself useful to every kind of social situation. American schools want to know if a kid is ‘at risk’ of becoming a violent shooter; employers want to know which candidates will become ‘good workers’. The language of prediction allows technology to position itself as the solution to all these different problems. So prediction could certainly be a marker of intelligence, but it’s unclear that our machine learning systems are actually even trying to predict future events in that way.
The really important aspect of calling data analysis ‘prediction’ is that it reveals where the real significance of knowledge lies. When we produce knowledge about something, it always transforms both ourselves and our object. Measuring children with IQ tests changed how we thought about human intelligence and its development, and what it meant to think about a five-year-old as being ‘ahead’ or ‘behind’ - even though the inventor of the IQ explicitly stated that this number does not measure intelligence, and in fact, he is not sure what it is measuring - he only knew that it correlated with French children that struggled with the newly standardised French school system. The point is that knowing is always about doing, about transformation and control. If we are so interested today in making machines that can think and know for themselves, what we are saying is that we want machines to transform the world, rather than humans. This reverses the most fundamental principle of the Enlightenment - that humans must determine their own ideas and futures, grappling with their own uncertainties and questions. The current AI future replies to this call by saying: we would rather not bother with that - in Goya’s words, that we would prefer the Sleep of Reason, even if it produces Monsters.
6. In this project, Unmake Lab reveals the colonialism embedded in taxidermy and its biases toward non-human species (animals) through image-generation AI, while also showing what can be considered “muscle data”—an overgrown dataset that has been continually fed into AI, resulting in an unbalanced dataset. Do you believe AI replicates and amplifies human biases, discrimination, and inequalities? And what implications does this have when evaluating the “intelligence” of AI?
We have begun to talk about intelligence, and we have to be even more careful with this word, because none of us know what it is exactly. The field of artificial intelligence has never had a robust definition of intelligence. Famously, Marvin Minsky, widely considered the father of AI, thought that it was a sexy name that would attract funding and public attention - and he was certainly right about that. Recently, some Microsoft researchers wrote a well known paper that tried to define intelligence, so that they could prove large language models show signs of it. But their solution was to cite an old newspaper column, written by some scientists to support the argument that Black and other races are less intelligent than White people. We have a very low understanding of what intelligence is, or whether it is even a single, distinct quality.
Funnily enough, I suspect that intelligence may not be the best concept to use for us to appreciate the most impressive and useful things about machine learning and generative AI. To me, the most promising aspect of these tools is that they process data in ways that are completely different from human beings - which means they could be developed to do entirely novel forms of information processing, rather than try to do the same stuff that we do. My vacuum cleaner is amazing not because it interacts with the floor the same way that my hands do, but because it has a completely different approach. My photo album or audio recorder is useful because it stores and presents information differently from my own brain.
I don’t think anyone would say that a camera is intelligent, but it is true that a camera, as a technology, has certain tendencies. We know the camera does not capture the world ‘objectively’, and it also does not capture what I see with my eyes in real time. It has its own tendency. Right now, we do not have a process where a large variety of AI tools are designed with different tendencies in a deliberate way. Instead, we have accidental tendencies that become universal standards: billions of people using three or four chatbot programs, all of which are trained on a very small slice of humanity, mostly the ones posting on Reddit or Youtube in English. And the industry often incentivises this, because preparing new kinds of training data, or developing different models for different contexts, is more expensive and less glamorous than releasing a single tool that you claim can do absolutely everything.
7. In philosopher Yuk Hui’s work Recursivity and Contingency (2019), he mentions that the increasingly smart environment will become a significant factor in human-technology relations. Hui’s concept of recursivity, or self-referential technological development, suggests that our thoughts and actions are increasingly framed within technological paradigms. I see this as aligning with your point that today’s predictive technologies standardize and limit our thinking. Could you elaborate on how such structures impact human creativity and autonomy? What are your thoughts on Hui’s assertion that the self-referentiality of technology is “redefining the essence of human existence”?
[I’ll try to revisit my answer to #7 again, as I don’t think this is any good.]
The artist and researcher Trevor Paglen argued that soon, most images in the world will not only be produced by machines, but be consumed by machines. Let’s say you have scanners that take certain images of people for airport security, and then the images are automatically processed by a computer vision system to detect anomalies, then the human workers never end up looking at those images themselves - or if they do, it is unreadable to them. So one of the major questions, I think, is whether machines are increasingly being made to communicate with humans, or being made to communicate with other machines in ways that are illegible to us.
Because the increasing self-referentiality or recursivity of machines creates a new temporal mismatch. A machine that always does the same thing again and again is, in some ways, quite reliable to the human user: we may not really understand it, but we can trust it to hold its own corner of the world steady for us. Hence many of us develop a certain affection for long-serving machines. But a machine that is always updating, and always changing itself in some way, is debilitating to our own sense of time, and our own ability to develop intelligence as to how the world around us works.
In some of my work, I talk about the ‘reverse-engineering drudgery’ that emerges in the wake of new predictive and automatic systems. Because no machine has a perfectly objective understanding of the material reality around it, every machine produces new and unique forms of error. A delivery robot might constantly get stuck in the same traffic crossing; a computer vision software may constantly fail to recognise a particular kind of body. This is where humans are forced to reverse-engineer the technology, to try and guess how it must have processed information to produce the error. Anyone who has tried to troubleshoot an inkjet printer or wireless router knows this feeling. But for others, such as the ‘pixel hunters’ who manually tag individual pixels to help train computer vision systems, the reverse-engineering is their entire job - and usually a badly paid job devoid of a future.
At another level, you could say that the more we train machines to ‘think’, that is, to process information, the less we need to understand our own thinking. When architects began switching from manually drawing building blueprints to 3D software like AutoCAD, they noticed that the kinds of designs the architects produced began to shift in subtle ways. Of course, it is not always better to be completely manual and purposeful about every brushstroke or every word. Most emails sent in workplaces today are so formulaic and pointless, it is hard to see what would really be lost by automating the process. But does that mean we should automate all writing and be freed from its labours? I think the problem is that for centuries, we have relied on writing as a way to become human - to discover how we think and feel, what we know and what we don’t know.
8. Humanity has repeatedly experienced a pattern of hope, fear, and disappointment regarding new technologies, with a lingering belief that they could bring about utopia. I am curious about your outlook on artificial intelligence—do you see any potential for it to break from this pattern?
The current predictions about the future of AI all involve a high level of confidence. We keep hearing that we will get sentient robots, or killer robots, or both, as a matter of certainty. I think it is this certainty that is extremely dangerous, even more than the content, because it creates an idea that the future is very narrow. I recently saw a major American university introduce ‘AI classmates’ - a remarkable invention that is almost completely useless in every way. But the leadership insisted that ‘since AI is inevitable’, universities had to figure out a way to use AI in the classroom one way or another. So there is a very powerful grammar of inevitability in how we talk about technology, which filters through to, say, all the advice telling parents that their children must learn how to do machine learning or be left behind. Every year, there is more: you have to learn English, you have to learn to code, you have to learn Chinese and Arabic, and now you have to learn machine learning.
The most important decision we will make about the future of AI has nothing to do with coding the right rules to stop the robots from killing us all. Rather, the decision we have to make is whether we accept that we live in Sam Altman’s Utopia, and rush to catch up with it the best we can - or we refuse this narrowness and pursue multiple utopian visions. Some of this effort will take a nationalistic grammar; I am sure we will hear of ‘AI with socialist characteristics’, and so on. In the US, afrofuturism is receiving renewed attention as a place where a much more imaginative way to theorise the future has been nurtured and protected. We are more ready for this plurality of futures than we think: so many people around us feel that the future of Sam Altman and ChatGPT, or Elon Musk’s humans dressed up as robots, is deeply stupid and dangerous. When a political regime becomes deeply unpopular, it still retains power as long as the public believe that everyone else is still loyal; the moment we realise this is not true, history tells us, the change comes very quickly.
[…I’ll say a little more about the idea of utopia soon…]