이 포스팅은 패스트캠퍼스의 강의 'The RED : 데이터 사이언티스트 하용호'를 수강하며, 공부를 위해 정리한 것과 개인적인 생각을 덧붙인 내용입니다. 자세한 내용이 궁금하신 분들은 강의를 수강하시기 바랍니다 : )
요즘들어 데이터 사이언스 영역이 많이 알려지고 각광을 받고 있다. 많은 회사에서 데이터 사이언티스트를 채용하기도 하고, 이에 따라 대학교에서도 데이터 사이언스 영역에 대한 수업이 확대되고 있다. 그런데 처음부터 데이터 사이언스 영역만을 보고 발을 들인 사람들은 오히려 자신의 정체성에 대해서 혼란스러워 할수도 있을 것 같다. 이번 강의는 그런 혼란을 줄여주고, 데이터 사이언티스트로서 어떤 역할을 해야하는가에 대한 방향성을 알려주는 강의이다.
나의 경우 데이터 사이언스 영역으로 바로 발을 들인 것은 아니다. S/W 엔지니어로 일을 하면서 현업 사용자들이 어떻게 시스템을 활용하는지 관찰하게 되었고, 어떻게 하면 사용자들이 업무를 하기에 더 좋은 시스템을 만들 수 있을까 고민하게 되었다.
그 결과 비즈니스에 대한 지식도 쌓이게 되고, 업무와 IT를 융합해서 시스템을 설계하고 관리하는 능력을 기를 수 있었다. 그런데 최근들어 사용자들도 데이터에 대한 접근을 원하거나, 데이터를 활용한 분석 결과를 알고 싶어 하는 니즈를 파악했다. 자연스럽게 데이터 사이언스 영역에 발을 들이게 된 것이다.
Ch 02.데이터 사이언스는 도대체 왜 존재하는가?
-기업이 가지는 구조적 문제와 그 치료제로서 데이터
데이터 사이언스를 새롭게 이해하기
데이터 사이언티스트는 프로그래머이자, 통계학자이자, 컨설턴트이다. 소프트웨어(IT), 업무 도메인(비즈니스), 수학과 통계(데이터)를 모두 아우를 수 있는 영역이 바로 데이터 사이언스다.
왜 이런 데이터 사이언스라는 영역이 생겨났을까? 바로 기업의 구조적인 문제를 해결하기 위해서다. 그럼 기업의 구조적인 문제가 무엇인지 먼저 살펴보자.
대기업이라 하더라도, 일하는 방식을 살펴보면 그렇게 스마트하지 못한 경우가 많다. 생각보다 주먹구구식으로 일을 진행하는 경우도 많다. 처음 회사에 들어갔을 때 나 또한 이와 비슷하게 느꼈다. 밖에서 보기에는 데이터에 기반해서 면밀히 검토 후 의사결정을 할 것 같았지만, 그렇지 않을 경우가 더 많았다. 아마 다른 대기업들 또한 크게 상황이 크게 다르지 않을 것이다. 이는 모든 회사들이 가지고 있는 비효율의 문제이다. 특히 큰 회사일수록 이런 문제가 더 발생한다.
흔히들 스타트업은 상당히 잘 굴러간다고 알고 있고, 실제로 그런 경우가 많다. 그렇다면 스타트업은 왜 잘할까? 더 기발한 아이디어를 가지고 시작해서 그럴까? 더 훌륭한 사람들이 많이 소속되어 있어서 그럴까?
스타트업이 잘하는 이유는 '작아서'이다. 자리에서 돌아서면 바로 이야기할 수 있어서이다. 의자를 돌리면 마케팅팀, 개발팀, 디자인팀, 예산관리팀과 이야기할 수 있다. 정보를 회의나, 중간 단계를 거치지 않고 바로 교환할 수 있어서 더 잘한다. 즉 작기 때문에 빠르고, 빠르기 때문에 잘한다.
큰 기업들도 자신들이 느리다는 것을 안다. 대기업도 처음에는 작고 기민한 스타트업이었다. 그러나 점차 성장하며 사이즈가 커진다. 최초 회사를 일으켰던 사업이 안정되고, 회사는 새로운 수익을 위해 신사업에 도전한다. 신사업을 위한 부서가 추가된다. 조직이 피라미드가 되고, 유휴 인력이 생긴다.
문제는 잘되는 부서와, 잘되지 않는 부서가 나타나면서 발생한다. 목적 별로 모였던 조직을 기능 별로 재조직화 하며 정리하게 된다.(ex. DBA들만 모여있는 팀, 인터페이스만 전문적으로 관리하는 팀 등) 이로 인해 발생하는 장/단점이 있다.
장점 : 인력 운용의 유동성이 좋다. 한 팀의 인원들이 비슷한 업무를 진행하고 있기 때문에 바로바로 교체도 가능하고, 인력 활용 측면에서 유용하다.
단점 : 커뮤니케이션이 느려지고, 불투명해진다. 한 팀의 인원들로만 처리할 수 있는 업무는 제한적이다. 한 시스템을 만들기 위해서는 기획/개발/운영이 모두 필요한데, 각 담당자들이 다른 팀으로 흩어져 있는 것이다.
고개만 돌리면 되던 일이 며칠 짜리 부서 간 협의가 된다. 담당자들은 전체적으로 어떻게 돌아가고 있는지를 알기가 어렵다. 고개만 돌리면 파악되던 일이 보고를 받고서, 몇 주 전의 정보를 알게 된다.
기능 조직으로 느려진 기업은 이따금 빠른 속도를 위해 개별 목적 TF를 만든다. 특수한 목적을 이루기 위해 스타트업처럼 일한다. 그 중 '성장'에 목적을 맞춘 TF가 그로스 조직이다.
데이터 사이언티스트가 필요했던 이유?
사람이 많아질수록 커뮤니케이션이 느려지고, 일 처리가 느려지고 있다는 것을 알기 때문에, 이 문제를 해결하려고 하는 것이다. 속도를 위해, 커뮤니케이션 경로를 극단적으로 줄여, 한 팀 안에, 심지어는 한 사람 안에 기능을 모두 포함시킨다. 다시 작은 회사로! 돌아가는 것이다. 커뮤니케이션 비용의 극단적 감소로, 그것으로 얻어낸 빠른 속도로 일하기 위함이다.
나/우리 팀이 잘하고 있는가?
그래서 나는, 우리팀은 잘 하고 있는가를 되돌아보자. 내가 하나의 분석 사이클과 실험 사이클을 도는데, 반복되는 병목 포인트가 있는가? 그게 무엇이든 반복되는 병목이 있다면, 데이터 팀의 본질에서 멀어지고 있는 것이다.
누군가 데이터 주니어인데 무엇을 해야 하나요?라고 물어본다면,
지금 작업하는데 있어서 가장 시간이 오래 걸리는 마디를 찾으세요. 그리고 그걸 제거(영입, 직접학습, 협업)하세요. 만약 주니어라면 학습을 통해서 해결하기를 가장 추천드립니다!
댓글