수학의 쓸모, 넷플릭스의 알고리즘과 베이즈 규칙 등 줄거리 요약 정리

수학의 쓸모 - 출처: Yes24

넷플릭스의 알고리즘

넷플릭스의 흥행 비결은 수학입니다. 코로나 때문에 유튜브나 넷플릭스 같은 동영상 스트리밍 서비스를 이용하는 시간이 늘어나고 있습니다. 모두가 넷플릭스를 보는 시간이 늘어나는 이유는 유튜브와 넷플릭스의 주요 기능 중에 하나인 바로 추천입니다. 개인에게 맞는 추천 동영상을 띄워줍니다. 이것은 조건부 확률이라는 수학 개념으로 작동하고 있습니다. 조건부 확률이란 어떤 사건이 이미 일어났을 때 다른 사건이 일어날 확률입니다. 예를 들어서 오늘 아침에 구름 낀 날씨라고 가정합시다. 후에 비가 올 것 같은데 이런 판단을 조건부 확률로 표현한다면 오늘 아침에 구름이 끼었다면 오후에 비가 올 확률은 60%이다라고 표현합니다. 유튜브와 넷플릭스의 추천 기능이 조건부 확률을 바탕으로 하고 있는 이유는 추천 과정이 같기 때문입니다. 넷플릭스의 어떤 가입자가 밴드 오브 브라더스라는 영화를 좋아한다고 할 때 영화 라이언 일병 구하기를 좋아할 가능성은 얼마일지 생각해봅시다. 둘 다 비슷한 영화이긴 합니다. 70명이 밴드 오브 브라더스를 좋아하고 그중 56명이 라이언 이병 구하기를 좋아한다고 가정합시다. 그렇다면 이제 밴드 오브 브라더스를 좋아하는 어떤 사람이 라이언 일병 구하기를 좋아할 조건부 확률을 계산할 수 있습니다. 넷플릭스는 이런 식의 추천을 자동으로 이루어지게 했습니다. 인터넷 쇼핑을 할 때도 이전에 구매한 물건과 비슷한 제품을 추천하는 광고가 뜹니다. 이것 또한 a라는 제품을 구입했을 때 다른 b라는 상품을 구입할 확률이 높다는 연관을 바탕으로 작동하는 추천 시스템입니다. 그리고 넷플릭스 외에도 스포티파이나 페이스북 같은 수많은 기업들이 똑같이 수학을 이용해서 영화나 음악 뉴스 등을 개인별로 맞춤 서비스하고 있습니다. 미래에는 검색보다도 추천 알고리즘이 더 영향력을 발휘할 것 같다는 생각이 듭니다.

수식 한 줄로 미래 계산하기

2017년 중국의 베이징 관리들은 도심 한복판에서 중대한 범죄가 일어나고 있다는 걸 알게 됩니다. 다행히도 범죄자들의 비행을 분석해보니 한 가지 패턴이 있었습니다. 범죄자들의 주요 목표물은 첨단 공원이었고 이들은 공원에 공중 화장실에 들어가서 의심을 받지 않도록 2분 정도 얼쩡거리다가 비치된 화장실에 두루마리 휴지를 모조리 빼서 가방에 쑤셔 넣은 채로 버젓이 걸어 나왔습니다. 갈수록 이 도둑들이 능수능란해지고 대담해져서 결국 베이징 정부는 이 골칫덩어리들을 잡으러 나섰습니다. 첫 번째로 천당 공원 근처의 모든 공중 화장실에 자동화된 화장지 뽑기 기계를 설치했어요. 한 사람마다 화장지를 6칸씩만 뽑아 쓸 수 있도록 했습니다. 하지만 도둑들은 기꺼이 6칸씩 계속 뽑아서 썼습니다. 결국 당국은 AI 방식을 도입하기로 했습니다. 카메라와 안면 인식 소프트웨어를 공원의 모든 화장실에 설치한 것입니다. 이른바 심층 학습 알고리즘을 탑재한 것입니다. 현재 여러분이 첨단 공원 근처 화장실을 이용하고 싶다면 반드시 모자 안경 마스크를 벗고 화장실 바깥에 설치된 카메라를 쳐다봐야 합니다. 이때 소프트웨어가 여러분의 얼굴을 지난 9분 이내 근처 다른 화장실에 있었다고 감지하면 6칸의 화장지조차 제공되지 않는다고 합니다. AI 기반 패턴 인식이 오늘날 모든 곳에 심지어 화장실에도 작동하고 있습니다.

베이즈 규칙

1986년 핵잠수함인 스콜피온은 바다 위에서 실종되었습니다. 핵이 장착된 잠수함이어서 미군은 공황 상태에 빠졌습니다. 여러 달 바다를 뒤졌지만 스콜피언을 찾을 수 없었습니다. 그때 존 크레이빈이라는 해군 소속 과학자가 베이즈, 규칙을 이용해서 잠수함을 찾아냈습니다. 베이즈 규칙은 제가 앞에서 말씀드린 조건부 확률입니다. 베이즈 규칙의 베이지 1 검색은 4가지 핵심 단계로 이루어집니다. 첫 번째, 검색창에 사전 확률 지도를 작성하고, 두 번째, 사전 확률이 가장 높은 장소를 찾고, 세 번째, 이 과정에서 못 찾으면 내용을 수정하고 다른 지역의 확률을 높입니다. 이 과정을 반복합니다. 다행히 1960년대 초반 미국은 170억 달러를 쏟아부어서 북대서양 일대에 수중 마이크 네트워크를 설치했었습니다. 이 마이크들을 감시한 결과 18건의 특이한 수중 음향을 녹음했다는 사실을 알아냅니다. 이 소리가 대서양의 매우 깊은 한 지점에서 방출됐음을 계산해냈습니다. 이로 인해서 수색 지역 범위가 극적으로 좁혀졌습니다. 모든 정보를 합쳐서 각각의 구역에 대한 수색 성공 확률을 계산해 냈고 수치는 어떤 구역을 향해 좁혀졌고 마침내 잠수함을 찾을 수 있었습니다. 4200km 거리의 공해상 어디엔가 사라진 잠수함을 240m 이내의 정확도로 찾아낸 건 베이즈 규칙의 위대한 성과라고 말할 수 있습니다.

행운과 스캔들 사이 이상을 탐지

1696년 뉴턴은 친구가 제안한 왕립 조폐국 감사 직책을 수락합니다. 그리고 결정적인 실수를 합니다. 중요한 통계 원리 하나를 오해한 것입니다. 1662년에는 은 덩어리를 두들겨서 동전을 만들었습니다. 무게의 변동성 때문에 약간 더 무거운 동전도 있고 이를 깎아서 은을 모으는 사람들도 있었습니다. 영국 정부는 이런 상황을 타개하기 위해서 동전 테두리 부분에 오두노토라 패턴을 새기고 문구도 새기고 견본 화폐 검사 제도를 시행했습니다. 그런데 모두 소용이 없었습니다. 화폐 검사를 실시하는 사람들은 동전에 주어지는 허용 범위가 플러스 마이너스 1g이면 많은 동전의 평균 무게에 주어지는 허용 범위도 플러스 마이너스 1g이어야 한다고 믿었습니다. 그런데 그건 착각이었습니다. 표본이 적을 때 단 한 개의 가벼운 동전이 평균을 많이 끌어내릴 수 있습니다. 하지만 표본이 크면 가벼운 동전 하나는 무거운 동전 하나에 의해서 균형이 맞춰질 가능성이 큽니다. 평균은 목표치에 가까워지기 마련입니다. 무아브르의 정리라고 불리는 제곱근의 규칙에 따르면 한 표변의 평균 변동성은 표변 크기의 제곱근이 커짐에 따라 더 작아집니다. 지폐국이 동전 목표 무게를 100g이 아니라 99.5g이라고 했다면 2500개의 동전 표본 무게를 잴 때 제곱근 규칙을 적용하면 2500개의 동전의 평균 무게는 99.48g 그래서 99.52g 사이일 것입니다. 이는 통계적으로 올바른 범위인 100g에서 플러스 0.02g에 벗어나는 것이지만 견본 화폐 검사는 경고를 올리지 못했을 것입니다. 판정단들은 99g에서 100g 사이의 평균치라면 통과시켰을 것이기 때문입니다. 다행히 지금은 뉴턴과 같은 똑같은 실수를 저지르지 않고 이 재고 끈의 규칙을 통해서 부정 거래를 적발하고 스포츠 경기에도 적용하고 있다고 합니다.

수학의 쓸모 AIQ

수학의 쓸모의 원제는 AIQ입니다. 우리가 아는 AI 인공지능의 지수를 뜻합니다. 인공지능의 작동 원리와 더 나은 세상을 위해 그 힘을 활용하는 방법 이렇게 해석할 수 있을 것 같습니다. 미국의 두 수학 교수가 쓴 책으로 역사적인 인물들이 수학을 이용함으로 어떻게 문제를 해결하고 역사를 바꿨는지 얘기하고 있습니다. 이 책은 두꺼워 보이지만 그리 어렵지 않고 재밌는 책이었습니다. 지금 핫한 OTT 서비스 넷플릭스나 알고리즘, 빅데이터 등에서 수학이 어떻게 쓰이는지 알기 쉽게 설명해주는 책입니다. 이 책의 두 저자는 40년 동안 수학이 싫어지는 바이러스에 걸린 학생들을 가르쳐 왔다고 합니다. 하지만 그런 학생들도 AI, 알고리즘 이런 말에 눈빛이 반짝반짝해졌다고 합니다. 빅데이터나 확률과 통계를 통해 멋진 기술들이 구현된다는 걸 알고 수학에 관심을 보이게 되었다고도 합니다. 그리고 수학을 잘 활용하면 더 똑똑하게 의사결정을 할 수 있다는 것도 깨달았다고 합니다. 이 책을 읽고 데이터 과학자나 빅데이터 전문가가 되고 싶다고 생각하는 학생들이 많이 나올 것 같습니다. 본인 또는 주변인이 빅데이터나 최근 AI 트렌드에 관심이 있는 사람이라면 꼭 읽어보면 좋을 책인 것 같습니다.