모두를 위한 온라인 IT CLASS
안녕하세요~ 이지업클래스 입니다.

2023년이 시작되고도 2월의 절반이 지나갔습니다 ㅠㅠ 한게 없다고 느껴지는건 저뿐이려나요?
하지만 따뜻해지는 날씨가 한걸음 가까워진 봄의 기분을 들게끔 만들어줘서 나쁘지 않은 것 같습니다.
상큼해지는 날씨 만큼, 부지런히 한걸음 움직여 보시는 것은 어떨까요??

더욱 가까워진 봄의 기운처럼 오늘도 잡이지를 시작해보겠습니다~~!! 

네번째 잡이지 :// 데이터 엔지니어

오늘날 우리가 익숙하게 받아들이고 있는 단어인 '빅데이터' 사실 기존에도 데이터의 생성은 꾸준히 이루어져왔습니다. 그러나 이를 활용하는 것은 극히 제한적인 것이었습니다. 이로 인해 다른 데이터들은 양만 늘어날 뿐 전혀 필요없는 신세가 되었죠. 따라서 필요한 데이터의 활용을 제외하고는 모두 폐기되는 것이 일반적이었는데요. 하지만 어느순간 버려지는 데이터 속에서 새로운 비즈니스 모델을 찾게 되었고, 이를 통한 수익을 얻기 시작했습니다. 데이터에 대한 활용에 또 다른 장이 열리게 된 셈이죠. 다양한 사례들이 생겨나고, 이를 통해 많은 기업들은 앞다투어 자신들이 만들어 낸 데이터를 들여다보기 시작했습니다. 이제는 버릴 것이 하나도 없이 방대한 양의 데이터를 체계적으로 사용하고 정리하는 것이 필요해지게 되었습니다.

그렇기에 이 데이터들을 효율적으로 활용하고 검증할 수 있는 분야의 필요성이 대두되기 시작했죠. 우리가 오늘 알아볼 직업인 데이터 엔지니어의 기원은 바로 빅데이터입니다. 기존의 관계형 데이터베이스 (RDB)로도 감당이 안되는 엄청난 양의 데이터. 빅데이터는 이처럼 수 많은 데이터의 집합체 입니다. 원초적인 형태로 집결된 수많은 데이터들을 데이터 엔지니어의 손을 거쳐 본격적으로 분석하고 활용하게 되는데요. 데이터 분석가나 데이터사이언티스트가 데이터를 활용해서 분석, 머신러닝 모델의 구현등을 최적화된 상태에서 업무를 진행할 수 있도록 이를 설계해주고 만들어주는 포지션이 바로 데이터 엔지니어의 역활입니다. 이론적으로만 살펴봐도 상당히 복잡하죠? 직업의 특징을 간략하게 정리해보면 '데이터를 잘 가지고 와서, 잘 사용할 수 있게 정리하고 관리하는 업무'라고 할 수 있겠네요. 건축으로 말하자면, 기초 공사를 담당하는 것이라고 볼 수 있겠습니다. 또한 데이터를 어떤 식으로 수집할 것이고 관리할 것인지부터, 과정에서 발생할 수 있는 문제들을 사전에 방지하고 보안하는 작업도 데이터 엔지니어의 업무입니다. 마치 완공된 건물의 하자가 있는지에 대한 여부를 체크하는 것과 같이 말이죠. 건물을 완성시켰어도 그 건물에 하자가 많다면? 사람들이 꺼리게 될 것이니까요.

(아무리 훌륭한 도면과 기술이 있어도, 기초가 부실하다면?)

데이터분야 직종에서 엔지니어의 차이는 뭔가요?

데이터의 활용 범위가 점차 늘어나고, 이를 통해 다양한 데이터의 활용을 위한 직종이 생겨나는 현재. 아직까지 데이터 엔지니어에 대한 업무의 영역이 데이터 사이언티스트와 겹쳐지는 인상을 주기도 하는데요. 일정 부분은 맞는 말입니다. 프로그래밍과 빅데이터 부분에서는 상호적인 역활이 있기 때문이죠. 간단하게 생각해보면 엔지니어는 개발자의 성향이 강하고, 사이언티스트는 분석가의 성향이 강하기 때문에 이에 맞는 방식으로 데이터를 활용하면서 협업을 이루어 나가는 것이 가장 이상적이자 좋은 그림이 아닐까 싶어요~ 그래서 분석적인 면이 맞다면 데이터 사이언티스트를. 프로그래머의 관심이 많으면 데이터 엔지니어가 적성에 맞지 않을까 싶습니다!

(엄청난 양의 데이터를 차곡차곡, 효과적으로 활용하는 가이드를 제시하는 것이 데이터 엔지니어의 역활이죠)

데이터 엔지니어의 업무는 어떻게 구성되었나요?

위에서도 언급되었지만, 데이터 엔지니어의 역활은 데이터를 제공하고, 그것을 잘 활용할 수 있는 환경을 만드는 것입니다. 나아가서는 새롭게 발생하는 데이터의 저장과 관리에 대한 조율도 함께 진행해주는 것인데요. 매순간 만들어지는 수 많은 데이터가 쏟아지는 환경에 보다 체계적으로 대응할 수 있도록 지원하는 것이죠. 데이터 엔지니어가 맡고 있는 업무를 나열해보자면 다음과 같이 분류할 수 있어요.

1. 데이터 수집 및 저장 : 다양한 데이터 소스에서 데이터를 수집하고, 데이터베이스나 데이터 웨어하우스 등의 시스템에 저장합니다. 
   이를 위해 데이터 수집기와 데이터 저장 및 관리 시스템을 개발하거나 활용합니다.

2. 데이터 처리 : 대규모 데이터를 처리하고, 정제하고, 변환하는 데이터 처리 파이프라인을 구축합니다. 
   이를 위해 데이터 흐름을 디자인하고, 데이터 ETL(Extract-Transform-Load) 작업을 수행하며, 데이터베이스와 저장소에 대한 접근 권한을 관리합니다.

3. 데이터 분석 지원 : 데이터 과학자, 분석가 및 비즈니스 사용자들이 데이터를 쉽게 분석하고,
   사용할 수 있도록 데이터 검색, 추출, 변환, 로드(ETL) 작업을 지원하며, 대시보드나 리포트를 작성합니다.

4. 시스템 유지보수 : 데이터 시스템의 안정성, 확장성 및 보안을 유지하고 개선하며, 장애 대응 및 문제 해결에 대한 지원을 제공합니다. 
   이를 위해 모니터링 및 로깅 시스템을 구축하고, 백업 및 복구 계획을 수립하고, 보안 정책을 시행합니다.

5. 기술 연구 : 새로운 기술 및 도구를 평가하고, 데이터 파이프라인의 성능 향상을 위한 기술적 개선을 추진합니다. 
   데이터 엔지니어는 대규모 데이터 처리를 위한 기술에 대한 지식을 가지고 있어야 하며, 데이터베이스, 클라우드 컴퓨팅,
   데이터 저장 및 처리 시스템, 그리고 대규모 데이터 처리 플랫폼 등에 대한 이해가 필요합니다.

(용도와 방법에 맞는 방식으로. 데이터 엔지니어의 업무는 광범위한 편에 속합니다)

데이터 엔지니어가 되는 방법은?

일반적으로 가장 많이 추천하는 단계는 해당 분야 전공이 되겠습니다.  무엇이든 기초적인 지식은 갖추어야 그 일을 이해하는데 도움이 되는 밑걸음이 되기 때문이죠. 그러나 전공 이외에도 데이터 엔지니어를 위한 준비는 다양한 방법으로 진행 할 수 있어요. 바로 아래와 같이 말이죠~!

1. 기본적인 컴퓨터 과학 지식 습득 : 데이터 엔지니어링은 컴퓨터 과학 분야와 밀접한 관련이 있기 때문에, 기본적인 컴퓨터 과학 지식을 습득하는 것이 중요합니다.

    알고리즘, 자료 구조, 운영 체제, 네트워크 및 데이터베이스 등의 기초적인 지식을 익히는 것이 좋습니다.

2. 프로그래밍 언어 학습 : 데이터 엔지니어링에서는 다양한 프로그래밍 언어를 사용합니다. 관련 프로그래밍으로는 Python, Java, Scala, SQL 등의 언어를 숙달하는 것이 중요합니다.

3. 데이터베이스 이해 : 대규모 데이터를 다루기 때문에, DB와 관련된 지식이 필수적입니다. 관련 기술로는 MySQL, PostgreSQL, MongoDB 등의 DB를 이해하고 사용하는 것이 좋습니다.

4. 빅데이터 기술 이해 : 대규모 데이터를 처리하기 위해 빅데이터 기술에 대한 이해가 필요합니다. Hadoop, Spark, Kafka 등의 기술을 이해하고 사용하는 것이 좋습니다.

5. 클라우드 컴퓨팅 이해 : 데이터 엔지니어링에서는 클라우드 컴퓨팅을 활용하는 경우가 많습니다. AWS, Azure, Google Cloud 등의 클라우드 서비스를 이해하고 사용하는 것이 좋습니다.

6. 프로젝트 경험 쌓기 : 기술적인 이해를 충분히 학습했다면 개인 프로젝트나 학교 프로젝트 등을 통해 실제 데이터 엔지니어링 경험을 쌓는 것이 좋습니다.

  데이터 수집, 데이터 처리, 데이터베이스 설계 및 구축, 클라우드 환경에서의 데이터 처리 등의 프로젝트를 진행하는 것이 좋습니다.

7. 커뮤니티 활동 : 6항이 어렵거나 개인적인 활동이 편한 취향이라면 데이터 엔지니어링 커뮤니티나 오픈소스 프로젝트에 참여하여 공유하고, 다른 사람들의 코드나 기술을 학습하는 것도 좋습니다.

8. 학위 과정 이수 : 가장 처음 언급된 내용이죠? 컴퓨터 과학, 통계학, 수학 등과 같은 전공을 이수하거나, 데이터 엔지니어링 관련 학위 과정을 이수하는 방법입니다.

   대학원에서 데이터 엔지니어링 관련 프로그램을 제공하는 경우가 많습니다.

이렇게 다양한 방법으로 데이터 엔지니어의 길이 열려있습니다. 남은것은 이를 이루고자 하는 의지라 생각드네요 :)

다양한 직업의 세계를 탐구해보는 이지업클래스의 잡이지 타임~! 다음 시간에도 더욱 유익한 직업을 찾아 여러분들께 전달해드리도록 하겠습니다! 언제나 행복한 하루 보내세요~~

<쿠키 있음>

:: 이지업클래스에서 제공되고 있는 데이터 엔지니어의 적격 강의! 게다가 국비과정도 있대요~~!! (클릭시 해당 과정으로 뿅~)