[잡이지 : JOB EASY] 4편 // 데이터 엔지니어

모두를 위한 온라인 IT CLASS안녕하세요~ 이지업클래스 입니다. 2023년이 시작되고도 2월의 절반이 지나갔습니다 ㅠㅠ 한게 없다고 느껴지는건 저뿐이려나요?하지만 따뜻해지는 날씨가 한걸음 가까워진 봄의 기분을 들게끔 만들어줘서 나쁘지 않은 것 같습니다.상큼해지는 날씨 만큼, 부지런히 한걸음 움직여 보시는 것은 어떨까요??더욱 가까워진 봄의 기운처럼 오늘도 잡이지를 시작해보겠습니다~~!!  네번째 잡이지 :// 데이터 엔지니어  오늘날 우리가 익숙하게 받아들이고 있는 단어인 '빅데이터' 사실 기존에도 데이터의 생성은 꾸준히 이루어져왔습니다. 그러나 이를 활용하는 것은 극히 제한적인 것이었습니다. 이로 인해 다른 데이터들은 양만 늘어날 뿐 전혀 필요없는 신세가 되었죠. 따라서 필요한 데이터의 활용을 제외하고는 모두 폐기되는 것이 일반적이었는데요. 하지만 어느순간 버려지는 데이터 속에서 새로운 비즈니스 모델을 찾게 되었고, 이를 통한 수익을 얻기 시작했습니다. 데이터에 대한 활용에 또 다른 장이 열리게 된 셈이죠. 다양한 사례들이 생겨나고, 이를 통해 많은 기업들은 앞다투어 자신들이 만들어 낸 데이터를 들여다보기 시작했습니다. 이제는 버릴 것이 하나도 없이 방대한 양의 데이터를 체계적으로 사용하고 정리하는 것이 필요해지게 되었습니다. 그렇기에 이 데이터들을 효율적으로 활용하고 검증할 수 있는 분야의 필요성이 대두되기 시작했죠. 우리가 오늘 알아볼 직업인 데이터 엔지니어의 기원은 바로 빅데이터입니다. 기존의 관계형 데이터베이스 (RDB)로도 감당이 안되는 엄청난 양의 데이터. 빅데이터는 이처럼 수 많은 데이터의 집합체 입니다. 원초적인 형태로 집결된 수많은 데이터들을 데이터 엔지니어의 손을 거쳐 본격적으로 분석하고 활용하게 되는데요. 데이터 분석가나 데이터사이언티스트가 데이터를 활용해서 분석, 머신러닝 모델의 구현등을 최적화된 상태에서 업무를 진행할 수 있도록 이를 설계해주고 만들어주는 포지션이 바로 데이터 엔지니어의 역활입니다. 이론적으로만 살펴봐도 상당히 복잡하죠? 직업의 특징을 간략하게 정리해보면 '데이터를 잘 가지고 와서, 잘 사용할 수 있게 정리하고 관리하는 업무'라고 할 수 있겠네요. 건축으로 말하자면, 기초 공사를 담당하는 것이라고 볼 수 있겠습니다. 또한 데이터를 어떤 식으로 수집할 것이고 관리할 것인지부터, 과정에서 발생할 수 있는 문제들을 사전에 방지하고 보안하는 작업도 데이터 엔지니어의 업무입니다. 마치 완공된 건물의 하자가 있는지에 대한 여부를 체크하는 것과 같이 말이죠. 건물을 완성시켰어도 그 건물에 하자가 많다면? 사람들이 꺼리게 될 것이니까요.  (아무리 훌륭한 도면과 기술이 있어도, 기초가 부실하다면?) 데이터분야 직종에서 엔지니어의 차이는 뭔가요? 데이터의 활용 범위가 점차 늘어나고, 이를 통해 다양한 데이터의 활용을 위한 직종이 생겨나는 현재. 아직까지 데이터 엔지니어에 대한 업무의 영역이 데이터 사이언티스트와 겹쳐지는 인상을 주기도 하는데요. 일정 부분은 맞는 말입니다. 프로그래밍과 빅데이터 부분에서는 상호적인 역활이 있기 때문이죠. 간단하게 생각해보면 엔지니어는 개발자의 성향이 강하고, 사이언티스트는 분석가의 성향이 강하기 때문에 이에 맞는 방식으로 데이터를 활용하면서 협업을 이루어 나가는 것이 가장 이상적이자 좋은 그림이 아닐까 싶어요~ 그래서 분석적인 면이 맞다면 데이터 사이언티스트를. 프로그래머의 관심이 많으면 데이터 엔지니어가 적성에 맞지 않을까 싶습니다!  (엄청난 양의 데이터를 차곡차곡, 효과적으로 활용하는 가이드를 제시하는 것이 데이터 엔지니어의 역활이죠) 데이터 엔지니어의 업무는 어떻게 구성되었나요?  위에서도 언급되었지만, 데이터 엔지니어의 역활은 데이터를 제공하고, 그것을 잘 활용할 수 있는 환경을 만드는 것입니다. 나아가서는 새롭게 발생하는 데이터의 저장과 관리에 대한 조율도 함께 진행해주는 것인데요. 매순간 만들어지는 수 많은 데이터가 쏟아지는 환경에 보다 체계적으로 대응할 수 있도록 지원하는 것이죠. 데이터 엔지니어가 맡고 있는 업무를 나열해보자면 다음과 같이 분류할 수 있어요. 1. 데이터 수집 및 저장 : 다양한 데이터 소스에서 데이터를 수집하고, 데이터베이스나 데이터 웨어하우스 등의 시스템에 저장합니다.    이를 위해 데이터 수집기와 데이터 저장 및 관리 시스템을 개발하거나 활용합니다. 2. 데이터 처리 : 대규모 데이터를 처리하고, 정제하고, 변환하는 데이터 처리 파이프라인을 구축합니다.    이를 위해 데이터 흐름을 디자인하고, 데이터 ETL(Extract-Transform-Load) 작업을 수행하며, 데이터베이스와 저장소에 대한 접근 권한을 관리합니다. 3. 데이터 분석 지원 : 데이터 과학자, 분석가 및 비즈니스 사용자들이 데이터를 쉽게 분석하고,   사용할 수 있도록 데이터 검색, 추출, 변환, 로드(ETL) 작업을 지원하며, 대시보드나 리포트를 작성합니다. 4. 시스템 유지보수 : 데이터 시스템의 안정성, 확장성 및 보안을 유지하고 개선하며, 장애 대응 및 문제 해결에 대한 지원을 제공합니다.    이를 위해 모니터링 및 로깅 시스템을 구축하고, 백업 및 복구 계획을 수립하고, 보안 정책을 시행합니다. 5. 기술 연구 : 새로운 기술 및 도구를 평가하고, 데이터 파이프라인의 성능 향상을 위한 기술적 개선을 추진합니다.    데이터 엔지니어는 대규모 데이터 처리를 위한 기술에 대한 지식을 가지고 있어야 하며, 데이터베이스, 클라우드 컴퓨팅,   데이터 저장 및 처리 시스템, 그리고 대규모 데이터 처리 플랫폼 등에 대한 이해가 필요합니다.  (용도와 방법에 맞는 방식으로. 데이터 엔지니어의 업무는 광범위한 편에 속합니다) 데이터 엔지니어가 되는 방법은?  일반적으로 가장 많이 추천하는 단계는 해당 분야 전공이 되겠습니다.  무엇이든 기초적인 지식은 갖추어야 그 일을 이해하는데 도움이 되는 밑걸음이 되기 때문이죠. 그러나 전공 이외에도 데이터 엔지니어를 위한 준비는 다양한 방법으로 진행 할 수 있어요. 바로 아래와 같이 말이죠~!1. 기본적인 컴퓨터 과학 지식 습득 : 데이터 엔지니어링은 컴퓨터 과학 분야와 밀접한 관련이 있기 때문에, 기본적인 컴퓨터 과학 지식을 습득하는 것이 중요합니다.    알고리즘, 자료 구조, 운영 체제, 네트워크 및 데이터베이스 등의 기초적인 지식을 익히는 것이 좋습니다. 2. 프로그래밍 언어 학습 : 데이터 엔지니어링에서는 다양한 프로그래밍 언어를 사용합니다. 관련 프로그래밍으로는 Python, Java, Scala, SQL 등의 언어를 숙달하는 것이 중요합니다. 3. 데이터베이스 이해 : 대규모 데이터를 다루기 때문에, DB와 관련된 지식이 필수적입니다. 관련 기술로는 MySQL, PostgreSQL, MongoDB 등의 DB를 이해하고 사용하는 것이 좋습니다. 4. 빅데이터 기술 이해 : 대규모 데이터를 처리하기 위해 빅데이터 기술에 대한 이해가 필요합니다. Hadoop, Spark, Kafka 등의 기술을 이해하고 사용하는 것이 좋습니다. 5. 클라우드 컴퓨팅 이해 : 데이터 엔지니어링에서는 클라우드 컴퓨팅을 활용하는 경우가 많습니다. AWS, Azure, Google Cloud 등의 클라우드 서비스를 이해하고 사용하는 것이 좋습니다. 6. 프로젝트 경험 쌓기 : 기술적인 이해를 충분히 학습했다면 개인 프로젝트나 학교 프로젝트 등을 통해 실제 데이터 엔지니어링 경험을 쌓는 것이 좋습니다.  데이터 수집, 데이터 처리, 데이터베이스 설계 및 구축, 클라우드 환경에서의 데이터 처리 등의 프로젝트를 진행하는 것이 좋습니다. 7. 커뮤니티 활동 : 6항이 어렵거나 개인적인 활동이 편한 취향이라면 데이터 엔지니어링 커뮤니티나 오픈소스 프로젝트에 참여하여 공유하고, 다른 사람들의 코드나 기술을 학습하는 것도 좋습니다. 8. 학위 과정 이수 : 가장 처음 언급된 내용이죠? 컴퓨터 과학, 통계학, 수학 등과 같은 전공을 이수하거나, 데이터 엔지니어링 관련 학위 과정을 이수하는 방법입니다.   대학원에서 데이터 엔지니어링 관련 프로그램을 제공하는 경우가 많습니다. 이렇게 다양한 방법으로 데이터 엔지니어의 길이 열려있습니다. 남은것은 이를 이루고자 하는 의지라 생각드네요 :)다양한 직업의 세계를 탐구해보는 이지업클래스의 잡이지 타임~! 다음 시간에도 더욱 유익한 직업을 찾아 여러분들께 전달해드리도록 하겠습니다! 언제나 행복한 하루 보내세요~~   <쿠키 있음> :: 이지업클래스에서 제공되고 있는 데이터 엔지니어의 적격 강의! 게다가 국비과정도 있대요~~!! (클릭시 해당 과정으로 뿅~)                                     

[이지채널] chatGPT는 정말로 게임챌린저가 될까?

  모두를 위한 온라인 IT CLASS안녕하세요 이지업클래스 입니다 :)2023년의 1월이 벌써 마무리 되가고 있어요~ 새해 계획들은 순조롭게 진행중이신가요?늦었다고 생각할 때가 가장 빠르다는 말처럼, 지금부터라도 미루었던 계획들을 시작해보시길 바래요!~오늘 이지채널에서 알아볼 소식은 최근 it업계를 뒤흔들고 있는 기술이죠? 바로 OpenAI에서 개발한 chatGPT 입니다~!   ChatGPT : 인공지능 언어 모델의 부상 => chatGPT가 직접 작성한 제목 ㄷㄷㄷ;;;  평소 여러분이 원하시는 자료를 찾는 경우, 어떠한 경로를 활용하고 계신가요? 구글, 네이버, 다음, bing 등등.. 이런 회사들이 자연스럽게 떠오르지 않나요? 이렇듯 검색엔진을 쉽게 떠올리실 것 같은데요. 지금도 우리 모두가 당연한 것으로 여기고 있구요. 인터넷이 발달하고 수 많은 정보가 웹상에 선보여지면서, 보다 효과적인 방법으로 원하는 정보. 보다 정확한 정보를 얻고자 하는 노력은 끊임없이 이루어졌습니다. 양적인 면과 질적인 면을 기반으로 속도와 효율, 정확성도 꾸준히 강화되어 왔죠. 현재는 사용자가 원하는 정보를 검색 엔진을 통해 대량으로 수집하고 목적에 맞는 가공 방식도 심심찮게 볼 수 있을 뿐 아니라, 누구나 쉽고 편리하게 활용 가능한 시대가 왔으니까요. 하지만 2010년대부터 급속도로 발전하고 있는 모바일과 매체들로 인해 더이상 검색엔진 의존도가 줄어들기 시작했고, 더욱 세밀한 기술을 바탕으로 소비자들의 시선을 유지시키기 위해 분발하고 있는 것이 현재입니다. 그리고 이 시점에서 등장한 chatGPT. 바둑을 정복한 알파고에 이어 인공지능 분야의 '게임챌린저'라는 평가가 들릴만큼 혁신적인 이 단어가 떠오를 만큼의 위력을 발휘하는 기술이 입니다. 그 만큼 기술력이 가진 잠재성이 엄청나다는 것인데요. 사용자가 원하는 결과물을 바라보던 시대에서 벗어나, 상호작용을 통한 결과에 입각한 소득이 가능한 시대. 이것이 chatGPT가 가진 힘이자, 모두를 열광시키게 만든 근원이 아닐까 해요! 서비스가 공개된지 5일만에 무려 100만이 가입하여 사용될 만큼 엄청난 인기를 구사하고 있는 것은 물론이구요~ 빅테크 기반의 비즈니스 분야에서 선두를 달리는 기업들도 앞다투어 이 기술에 대한 언급을 하고 있습니다. 구글의 모회사인 알파벳 CEO인 순다르 피차이는 'chatGPT의 등장으로 인해 우리는 비상경계령을 내린 상태'라고 언급했으며, 마이크로소프트는 2019년 10억 달러를 투자하고 올해 1월에는 기존 투자금액의 10배인 100억 달러를 투자했다는 파트너쉽이 공식 발표되었죠.   어떤 문으로 가는 것이 최적의 방법이라 알려주던 기존의 검색과는 다르게 어떤 문으로 나가면 된다라고 알려주는 것이 chatGPT의 포인트라 볼 수 있죠  chatGPT의 탄생은 모태가 되는 GPT라는 기술을 살펴볼 필요가 있는데요~ 우리가 GPT를 알기 위해서는 먼저 3가지 기술에 대한 이해가 필요합니다. 생성적모델 (Generative Model), 프리트레이닝(Pre-training), 트랜스포머(Transformer). 앞자리만 보면 이해가 빠르죠!? 이것이 GPT를 구성하는 요소로 작용합니다. 그럼 앞에 붙은 chat는 무슨의미인가? 말 그대로 채팅을 의미합니다. (저도 대단한 무언가가 있는 줄 알았다가...;;) 종합해보면 'GPT기술을 활용하여 제공되는 채팅 서비스'라는 것이 chatGPT가 되겠습니다! ChatGPT는 2019년에 OpenAI의 GPT(Generative Pretrained Transformer) 시리즈의 일부로 처음 소개되었습니다. GPT 시리즈는 대량의 데이터를 처리하고 일관되고 다양한 응답을 생성할 수 있는 언어 모델에 대한 필요성에 따라 만들어지게 되었어요. 첫 출시 이후, ChatGPT는 여러 차례 업그레이드와 개선을 거치면서 2020년 OpenAI는 방대한 양의 데이터로 학습되어 다양한 언어 관련 작업을 놀라운 정확도로 수행할 수 있는 세 번째 반복 모델인 GPT-3를 출시했습니다. 현재는 3.5를 기반으로 서비스 되고 있어요. ChatGPT의 성공과 광범위한 채택은 다른 언어 모델 개발의 급증으로 이어져 경쟁이 치열하고 빠르게 발전하는 AI 연구 분야로 이어지고 있습니다. 방금의 문단을 보시면서 어색함이 느껴지셨나요? 해당 문장의 소개를 질문하여 받은 결과물입니다. 매듭짓는 구간의 일부만 수정한 것을 제외하고는 모두 chatGPT가 작성한 답변이었습니다. 덕분에 이번 포스트를 준비하면서 놀랍고 신기한 경험을 많이 하게 되었죠~ 하지만 놀랄 일은 아직도 충분합니다.   한글로 질문해도 척척 알아듣는 똑똑한 녀석. 크~~ (하지만 번역의 압박은 상당했습니다 ㅠㅠ)  ChatGPT는 변환기 아키텍처를 기반으로 하며 비지도 학습이라는 딥 러닝 기술을 사용합니다. 인터넷의 방대한 양의 텍스트 데이터를 통한 학습과정을 거쳐, 주어진 프롬프트에 대해 일관되고 다양한 응답을 생성할 수 있게 되어 있어요.  최근 뉴스에서 심심치 않게 들리는 레포트, 논문, 번역 등을 포함한 다양한 분야에서 활용되고 있고 그 퀄리티 또한 월등합니다. 그렇기에 많은 분들이 열광하는 이유라고 생각드는데요~ 이처럼 ChatGPT의 잠재력은 엄청난 동시에, 인공 지능의 발전으로 챗봇, 언어 번역 및 콘텐츠 생성과 같은 다양한 응용 프로그램에 통합될 수 있다는 분석이 나오고 있죠. 특히 쓰기, 언어 번역 및 콘텐츠 생성이 필요한 분야에서는 인간을 대체할 수 있다는 위협적인 면도 제시되고 있어요. 물론, 이를 사전에 방지하려면 이러한 산업 분야의 인력 재교육 및 숙련도 향상에 집중하여 기술 발전에 뒤처지지 않는 것이 필수적인 상황으로 보여집니다. 밑줄친 부분과 밑줄이 없는 부분을 떼놓고 봐도 전혀 어색함이 느껴지지 않는 chatGPT의 장점과 전망. 이런 결과를 보고 있는 우리는 정말로 발전된 시대에 살고 있다는 생각이 자연스럽게 그려지네요. ㄷㄷㄷ 반복적인 업무를 경험하고 있는 인간의 업무 시스템에서는 추상적인 명령만 하는 즉시 자동으로 이 모든 업무를 처리해주기 때문에 기술의 가치는 더욱 높아지고 있는 셈이죠. 앞서 구글의 모회사인 알파벳 CEO도 이를 지적했지만, 많은 분들이 chatGPT의 성장으로 인한 기존 검색엔진 기업들의 실적 악화와 점유율 하락을 말하는데요~ 특히 가장 강력한 경쟁상대인 구글의 입장에서는 민감할 수 있겠죠? 그러나 앞서 말한 GPT의 구조에 한 축인 트랜스포머의 원천 기술과 특허를 구글이 갖고 있다는 것을 알고 계셨나요? 아직은 무료인 이 기술이 수익화를 내기 시작한다면?? 당연히 로열티를 내야 하는 상황인 것이고, 구글의 입장에서는 말 그대로 앉아서 떼돈을 벌 수 있게 되는 셈이죠. (부럽다...내 주머니도 무거워지면 좋겠다....ㅠ) 하지만 모든 기술이 완벽하지 않듯, chatGPT 또한 아직은 부족한 면이 많은 상황이에요. 가장 큰 이슈는 바로 정확도 입니다. 방금전까지 그렇게 칭찬하던게 정확도 아니었나? 라고 싶겠지만, 반은 맞고 반은 틀린 상황입니다. 우선 영어로 출력을 받을 때의 정보는 일정 부분 보장되는 편이지만, 한국어를 기준으로 하여 한국어로 출력을 요청하게 되는 경우라면 정확도가 현저하게 낮아집니다. 게다가 2021년 까지의 데이터를 바탕으로 하고 있기 때문에 이후의 학습은 전혀 진행되지 않은 상태입니다. (사실 이것은 의도적이라는 의견도 있다고 해요~) 또한 기계학습 인공지능으로 출시되거나 제작되왔던 모델들이 가진 공통적인 문제이기도 한 점이 바로 편향성이라는 점인데요. 우리가 생각할 때는 기계가 답변을 주는 만큼, 편향성과는 다소 거리가 멀 것으로 예상되었지만, 의외로 편향성이 적지 않은 경우도 존재한다고 합니다. 그러나 곰곰히 생각해보면 이러한 기술을 만들어 내고, 이를 공부하게 되는 기본적인 데이터의 정보와 제작은 인간이 이루어 나간 결과물이기에 어찌보면 당연한 결과일지도 모르겠다는 생각이 드네요~  게다가 해외 이야기긴 하지만 교육분야에서의 오남용이 상당히 많은 상황이라고 해요! 레포트도 잘써주고, 정답도 풀어주는 이 친구로 인해 선생님들은 초비상이라고 하네요! 심지어 어떤 학교의 시험에서는 아예 사이트를 차단 시키거나 전면 금지를 하고 진행한다고 합니다. 창의력 저하와 비판적 사고를 키우는 주범이 되고 있다는 의견인데요~ 물론 반대의 시각에서는 chatGPT의 기술을 활용한 학업능률의 성취를 끌어올리는 방법론을 연구하거나 이를 커리큘럼에 도입하여 다양한 창의력을 역으로 끌어올리는 방식을 연구해나가야 한다는 의견도 팽팽합니다.   분명히 2018 러시아월드컵에 출전했던 대한민국 대표팀에 대한 리뷰를 요청한 결과인데... 어째 경기 결과가 이상하다는 생각이 드는건....  이렇듯 뜨거운 감자로 부상하여 ai분야의 게임챌린저로 올라서고 있는 ChatGPT. 우리가 컴퓨터 및 기계와 상호 작용하는 방식을 혁신할 수 있는 놀라운 기술입니다. 기술이 계속 발전함에 따라 기술이 고용 시장에 미치는 영향을 인식하고 원활한 전환을 보장하기 위한 사전 조치를 취하는 것이 중요한 상황이라고 생각해요. ai 분야를 제외하고도 다양한 분야에서 이 기술에 대한 시선이 높아지고 있는 요즘, 급변하는 환경속에 파도를 타고 우리에게 주어진 것을 효과적으로 활용하며 나아가는 지혜가 중요한 것 같아요~ 결국에는 이를 활용하는 것은 온전히 우리들 자신일테니까요!~ 2023년을 시작하는 이지채널! 다음시간에도 알찬 정보로 여러분들을 찾아뵙겠습니다~!다시한번 모두 새해 복 많이 받으세요~~~🎉🎉  ** 본문에서 밑줄이 그어진 모든 문맥은 최소의 수정을 제외하고 모두 chatGPT가 작성한 내용입니다      <cookie>  - 이지업클래스에서 준비한 클래스를 통해서 빅데이터에 한걸음 더욱 가까워지는건 어떨까요? 엄선된 강의와 가격으로 여러분을 기다리고 있습니다!! :) - 이미지를 클릭하면 해당 과정으로 바로 이동합니다! (슝~~)                            

[이지채널] 2022 카타르월드컵 특집 -스포츠로 만나는 빅데이터 2탄!-

  모두를 위한 온라인 IT CLASS 안녕하세요~ 이지업클래스 입니다 :) 4년마다 돌아오는 전 세계 축구팬들의 축제! 이번에는 중동에서 개최되었는데요. 2022 카타르월드컵 그 대장정의 막이 올랐습니다! 우리나라 대표팀의 멋진 선전을 기대하고 응원하면서~ 기술이 고도화되고, 다양한 첨단 기술이 발달될 수록 스포츠 분야의 융합도 다양하게 시도되고 있어요! 인간의 영역으로 미처 감지하지 못한 시비를 AI의 도움을 받아 공정하게 치루어 가고 있죠. 다양한 스포츠 분야 경기에서 도입되고 활용중이지만, 오늘은 월드컵이 주제인 만큼 축구로 한정해서 말해볼께요~     첫번째로 알아볼 기술은 이번 카타르월드컵에서 도입된 신 기술인 SAOT. 일명 '반자동 오프사이드' 판독이에요. 요즘 가장 핫한 기술이기도 하고, 많은 분들께서도 관심이 높아지기도 했죠! 근데 반자동? 그게 뭐지? 싶은 생각이 들지만 알고보면 간단한 기술이에요~! 축구에 존재하는 다양한 규칙중에 오프사이드는 가장 까다로운 규칙으로 통용됩니다. 과거에는 골문 근처에서 선수들이 롱패스만을 기다리면서 몰려있는 상황이 잦았는데, 이 때문에 몸싸움도 휘말리고, 여러 문제가 발생하여 이를 봉쇄하고자 만들어진 규칙이에요! 1863년 런던에서 창설된 축구협회(FA)때 부터 만들어진 조항이지만 오늘날에 룰로 명확해진 것은 1925년으로 보고 있어요.   <라떼는 말야! 그냥 골문앞에서 슛!하면 그만이었다구~ (이미지출처 : 온라인 커뮤니티)>   오프사이드 규칙은 같은 편에서 멀리 덜어져 공격하는 것을 막기 위함으로 판정을 확인하고 적용하는데도 많은 시간이 걸리는 항목이기도 하죠. 기존의 오프사이드 규칙에서는 오로지 인간의 판단 영역이었기 때문에, 그렇기에 축구 경기의 판정 중에서도 오심이 많기로 유명했던 규정이었는데요. 이번 월드컵에서 도입된 SAOT (Semi-Automated Offside Technology. 반자동 오프사이드 기술)는 기계가 정밀하게 라인과 선수의 움직임을 트랙킹하여 이를 AI가 분석한 결과를 토대로 판정하는 방식입니다. 이 기술의 바탕에는 다양한 판독기술을 뒷받침 해줄 장치들이 있는데, 먼저 경기장 지붕 아래 장착된 약 12개의 추적 전용 카메라를 통해 선수의 신체부위와 공을 초당 50회씩 최대 29개까지 계산하여 정확한 위치를 판단하고, 이번 카타르 월드컵의 공인구인 알 리흘라 안에도 IMU(관성측정장치)가 탑제되어 초당 500회의 속도로 데이터를 현장의 비디오판독실로 전송해줍니다. 이를 통해 공의 위치와 추적 전용 카메라를 통해 잡힌 선수의 데이터를 AI가 종합적으로 계산하여 오프사이드 여부를 판단하는 것이죠. 이를 통해 오프사이드가 판정된 경우, 해당 상황에 대한 3D 애니메이션으로 생성되어 경기장 전광판과 현장 중계로 즉시 송출됩니다. AI를 기반으로 하는 신 기술의 도입을 통해 기존 70초 수준의 판독 상황을 고려했던 오프사이드 판정이 최대 25초가량으로 줄어들어 절반 이상의 효율성을 입증함은 물론, 고도의 정밀성을 바탕으로 보다 공정한 규칙을 내세울 수 있게 된 셈이죠! 지난 월드컵에서 부터 많은 분들이 익숙해지셨을 VAR 판독에 이어 각 국가별 선수들과 감독들 또한 더욱 정밀한 전략 설정이 불가피하게 되었겠지만, 반대로 더욱 역동적이고 환상적인 경기를 바탕으로 공정한 룰까지 적용되는 것이니 보다 치열한 수싸움이 예상되네요~!  <보다 정밀하고, 보다 과학적인 판정의 시대를 보여주는 SAOT (출처 : FIFA.com)>  SAOT의 사례로도 볼 수 있듯이 스포츠의 정확한 판정에 대한 연구는 이미 오래전부터 비롯되어 왔는데요. 2014년 브라질 월드컵에서 최초로 도입한 GLT (Goal-line Technology (또는 GDS). 골라인 판독 기술).  4년뒤인 2018 러시아 월드컵에서는 VAR (Video Assistant Referee. 비디오 보조 판독 심판)기술을 적용해왔습니다.  가장 먼저 도입된 GLT. 골라인 판독기술은 기존 테니스, 탁구등의 라켓을 활용한 구기종목에서 쓰이고 있는 오심 방지 기술로 공의 위치와 궤도를 추적하고 통계하는 시스템인 호크아이를 활용한 기술이에요~ 경기장 내 다양한 각도 (축구에서는 골문 라인 중앙 뒤편 위치를 베이스로 삼음)를 초고속 카메라로 촬영. 여기에서 축적된 데이터를 삼각 측량의 원리로 궤도를 추적하는 개념이 기술의 핵심이죠! 각 영상의 프레임을 분석하여 공에 당하는 픽셀들의 집합을 식별하고, 2대 이상의 카메라에서 각 프레임을 3차원 공간상의 구도로 환산하고 이를 위치 계산하여 프레임별로 계산된 공의 위치 정보들을 종합하여 공이 이동하는 궤적을 분석하고 재구성하여 이를 판단하는 방식입니다. 어찌보면 SAOT로 가기위한 전초전과 같은 느낌의 기술이랄까요? 그럼에도 불구하고 이 기술이 도입된 브라질 월드컵에서 부터는 오심을 방지하고자 심판을 6인까지 늘렸음에도 여전히 논란이 지속되었던 오심의 영역이 처음으로 줄어드는 효과를 보여준 사례로 꼽힌답니다~!  <주심이 사각형을 그리면서 판정을 내리는 모습. 지금은 아주 흔하게 볼 수 있는 풍경이죠? (출처 : 한국일보/K리그)>  4년 뒤에 선보여진 VAR. 이제는 많은 분들이 축구 경기에서 자주 보게 되는 풍경이죠?  VAR (Video Assistant Referee. 비디오 보조 판독 심판)의 출발은 야구 종목에서 활용된 기술로, 여러 오심논란에서 부터 이를 극복하고자 도입된 기술로 경기장 내 별도의 영상 분석실에서 대기중인 판독심이 (경기 규모에 따라 판독심 1명을 필두로 판독부심의 인원은 달라질 수 있음) 전체의 경기를 영상으로 체크하며 경기 내에서 발생한 오류에 대해 주심에게 검토 요청을 내리는 방식으로 처리됩니다. 판독심은 다음과 같은 판정에 개입할 수 있어요! * 골과 오프사이드나 파울 등의 공격 단계에서 위반이 있었는지 여부* 패널티킥의 결정 상황 (아래를 제외하고는 다른 반칙 규정은 검토할 수 없음)* 직접적인 레드카드 결정 * 레드 카드 또는 옐로우 카드를 부과하는 과정에서의 판정 오류 위와 같은 상황이 닥치게 되었을 때, 판독센터에 대기중인 판독심이 주심에게 이를 전달하고 이를 통해 주심은 판정 유지 또는 번복을 결정하게 됩니다. 만약 판독센터에서도 애매한 상황이라 판단되면 주심에게 이를 확인해보라는 권고를 하며, 심판이 이를 수용시 해당 수신호를 내리고 OFR 지역으로 이동하여 상황을 판단하는데 이를 온 필드 리뷰라고 합니다.비디오 리뷰를 마친 주심이 최종적으로 해당 결정에 대한 번복 또는 문제 없음의 관한 수신호를 내리면서 경기가 진행되는 방식이죠. 앞서 소개한 골라인 판독기술과 반자동 오프사이드에 비해 VAR의 영역은 인간이 이를 감지하는 것이 큰 영역이라 데이터 분석적인 요소는 적은 편인것이 분명하고, 이 때문에 오심의 논란은 여전히 존재하고 있어요. 하지만 두 기술이 조화를 이루어 가는 형태에서 놓고 보았을때, VAR과의 결합과 필요성은 충분히 납득 가능하다는 점이겠네요.  보다 정밀하고 보다 과학적인 발전은 스포츠의 다양한 영역에서 이루어지고 있는 오늘이에요!어쩌면 기존에 비해 인간의 영역이 축소되어, 논란의 여지가 있던 순간이 그리워질 상황도 생길테지만, 경기의 기반은 언제나 공정함을 우선시 해야 한다는 것을 생각해보면, 기술의 발전과 함께 더욱 정교해지는 현재의 모습이 기대되는 이유이기도 합니다.  그럼 다음 시간에 더 유익한 정보로 찾아올께요! 안뇽~~!! >.<            

[보도자료] ITWILL (with easyup) 'K-디지털 기초역량훈련' 하반기 신규 과정 오픈!!

           모두를 위한 온라인 IT CLASS  안녕하세요~ 이지업클래스 입니다 :)   2022년부터 신규기관으로 참여 중인 아이티윌과 함께 운영하는 K-디지털 기초역량훈련 과정!  하반기에는 더욱 새로워지고 알찬 구성의 신규 과정이 추가되었습니다!! (야호!!~)  이에 관한 언론 보도자료도 나왔는데, 잠시 살펴보실까요?~                      여러분들께 더욱 좋은 교육을 전달해드리기 위해 언제나 최선을 다하고 있는 이지업클래스~!     상반기 과정에 이어 이번 K-디지털 기초역량훈련 과정도 오랜 시간 동안 정말 열심히 준비했습니다!!~     20년 이상의 IT명가와 만들어간 최고의 온라인 국비교육과정을 지금 만나실 수 있어요~! (바로가기)                          

[보도자료] 이지업클래스 신규 과정 오픈!!

       모두를 위한 온라인 IT CLASS 안녕하세요~ 이지업클래스 입니다!!!  오늘 소개해드릴 이지채널은 다름아닌 이지업클래스가 뉴스에 떳다는 소식~! 이지업클래스에서 공개되고 있는 다양한 신규 과정에 관한 내용이 담겨있는 기사인데요! 여기저기 알려지면 좋은 법이죠? 어떤 소식인지 바로 살펴볼께용!!~      여러분들께 더욱 좋은 교육을 전달해드리기 위해 언제나 최선을 다하고 있는 이지업클래스~!    언제나 최선을 다하는 알찬 클래스가 되도록 더욱 노력하겠습니다 :)                     

[이지채널] 혁신일까? 거품일까? 뜨거운 감자 [NFT]

    안녕하세요~ 이지업클래스 입니다! 이지채널 로는 엄청 오랜만에 찾아뵙게 되었는데요! 지난 달 ITWILL과 함께 준비한 K-디지털 기초역량훈련 과정 오픈 소식 이후 니깐 어느새 한 달이 지나버렸네요 ㅠㅠ 그간 사이트 안정화 작업에도 충실히 준비했고, 더 많은 분들이 찾아주시길 바라는 마음을 담아 새로운 프로모션도 진행하고, 그 밖에 다양한 일들이 가득했던 시간들 이었던 것 같아요~! 오랜만에 찾아온 이지채널인 만큼, 유익한 정보를 전달 드리도록 열심히 준비했습니다. 그럼 이번 이지채널의 주인공부터 알아봐야겠죠? 오늘 이지채널에서 알아볼 주인공은 바로 'NFT' 입니다!    NFT... 메타버스와 더불어 한번 쯤은 들어 보셨을 텐데요~ 최근 IT업계를 뜨겁게 달구는 이슈의 대표 주자라 불러도 손색 없을 주인공이죠!? 먼저 NFT에 대해 간략히 설명해보면, 블록체인 기술을 이용하여 디지털 자산의 소유주를 증명하는 가상의 토큰을 NFT라고 불러요.과거에는 무단 복제나 사용을 방지하기 위해서 DRM이라는 복제 방지 기술을 활용했었는데요. 1차적으로 문제는 쉽게 크랙이 된다는 것이었죠. 기존의 파일 구조는 단순 데이터로만 이루어져 있고 연결되어 있지 않기 때문에 가능했던 이유였는데요. 더욱이 유통하는 중앙 관리 서버가 존재했고 이를 통해 배포가 되는 형태였기 때문에 완전히 독립적인 구조라고 보기에도 어려웠죠. 이에 반해 NFT는 블록체인 기술을 이용하기 때문에 고유성과 희소성을 동시에 인정 받을 수 있기 때문에 보다 안전하다는 차이가 존재해요. 게다가 독립적인 형태로 구조되어 있기에 복제가 불가능하다는 독립성이 생겼어요. 이 때문에 누군가 해당 NFT를 접근하여 임의로 조작하려 해도 무척 까다롭고 상당히 어려운 형태이면서, 설령 복제를 하더라도 결론은 처음 발행된 NFT의 복제품이기 때문에 진품을 증명할 수가 없겠죠? 개인이나 기업들이 선보이는 특수성을 지닌 한정판 제품들을 선보이는데 있어서도 좋은 대안이 될 수 있어요!  (출처 : 불가리)  NFT의 범위는 다양하게 선보여지고 있는데요. 가장 활발한 그림, 영상 등의 디지털 파일부터 P2E라는 화두로 이어지는 게임에 이르기까지 점차 광범위하게 활용이 늘어나는 추세에요. 최근에는 유명 패션 브랜드들도 앞다투어 NFT시장에 진출하고 있고 이를 통해 자신들의 브랜드 제품을 선보이고 있어 많은 분들의 눈길을 사로잡고 있어요 (참고 : 잇슈타임 바로보기 (3번째 기사)) NFT는 다양한 형태로 개발이 진행되고 있는데, 의외로 표준 NFT를 만드는 작업은 쉬운 편으로 알려져 있습니다.  개발자는 Java, JavaScript(node.js 및 브라우저) Go, Python SDK 등 선호하는 프로그래밍 언어와 REST API, 명령줄 유틸리티 또는 공개적으로 사용 가능한 NFT 생성 앱을 통해 ASA 기반 NFT를 생성할 수 있죠. 개발자는 변경 불가능한 파라미터와 변경 가능한 파라미터만 적절하게 설정하면 되며, 특히 NFT를 정의할 때는 "Total(총합)"을 1로 설정하고 "Decimal(십진수)"는 0으로 설정해야 해요. (*1)  [NFT는 과연 만능일까?]  이처럼 전세계 IT업계를 넘어 다양한 사업분야를 달구고 있는 이슈.  NFT 라는 기술에도 깊히 생각해볼 관점이 다양하게 생겨나고 있어요.가장 먼저 판단해봐야 할 것은 NFT의 거래 후 구매자는 소유가 아닌 권리만 인정 받는다는 점인데요. 우리가 일반적으로 재화와 물건을 교환하게 되면, 상호가 교환한 것을 소유한다는 약속이 이루어지죠. 물건을 판 사람은 돈을 소유하고, 물건을 산 사람은 물건을 소유하는 것. 이것이 거래라는 범위를 뜻하는데,  언듯 보면 NFT의 구조는 이와 비슷하지만 결과적으로 보면 물건을 소유했다고 판단하기가 다소 어렵다는 형태입니다. 정확 하게는 물건을 샀다는 일종의 영수증을 발행 받은 것 처럼, 온전한 소유라고 판단하기에는 다소 애매한 범위에 있다는 것. 만약 어떠한 NFT를 그에 따른 재화나 물건으로 교환을 성립했다면 그 물건을 샀다는 것에 대한 확인만 받은 셈이라 구매자의 입장에서는 소유를 했다고 보기 어려워지는 것이죠. 해당 물건의 소유주가 따로 있는 것은 물론 이구요.   (만질수도 없고, 가질수도 없다. 단지, 소유만 확인된다.)  여기에 NFT라는 것 자체의 보증이 명확하지 않은 점 이라는 것도 문제에요. 이론 상으로는 언제든 소유권을 주장할 수 있는 것인데, 이를 발행 (거래)한 사람이 이를 보증할 수 있느냐 라는 물음에는 다시 한번 고민하게 되는 상황이 벌어지거든요. 이러한 일이 발생되는 원인은 이를 기록하고 집행하는 프로그램이나 제도. 기관 등이 전무하기 때문인데요. 그렇다면 이를 구매하는 과정에서의 안전장치가 없기에 오로지 판매자의 신뢰 만으로 거래해야 하는 것이 발생하게 되는 셈이죠. 일부에서는 기술적인 측면이 너무 과장되었고, 이를 의도적으로 끌어 올리려는 전략이 숨어 있다는 의견도 있어요. 한 예로, 2014년 무렵. '퀸텀' 이라는 이름에 NFT가 세계 최초로 등장하였고, 이후로는 나아가 네임코인에 유사한 개념이 구연 되어  이를 보편적으로 발행할 수 있도록 지원한 것이 다름 아닌 이더리움이기 때문인데요. 이더리움의 토큰 형태를 보면 더욱 명확해집니다.크게 두 가지로 나뉘는 이더리움 토큰*은 ERC-20와 ERC-721로 나뉘는데, 우리가 NFT로 불리우는 것이 바로 ERC-721이며 해당 기술은 6년 전인 2016년 1월에 이미 구연 되어 있었던 기술이라는 점입니다.  그간 다양한 디지털 예술품에 도입되어 일부 작품이 고가에 판매된 경위도 본질적으로는 전략이며, 그간의 행보와 유사한 것이 2021년 3월. 크리스티 (*2) 경매에서 판매된 NFT라 주장하는 코인이 6900만 달러 (약  878억)에 낙찰된 사례가 존재 하는데, 이를 거래한 사람이 싱가포르의 NFT 투자 회사에 재직중인 고위 임원이라는 보도가 있었고, 이를 통해 의도적인 가격 상승을 부축인 것이 아니냐는 의견이 쏟아지기도 했어요. 해당 작품을 판매한 아티스트 또한 폭스 뉴스와의 인터뷰에서 일부 적이나마 NFT 시장에 거품이 끼어있다는 측면을 인정하기도 했습니다.  아직은 먼 이야기지만 훗날 양자컴퓨터가 보편화 된다면 NFT 또한 복제 내지는 변조하는 식으로 진품 인증을 무력화 할 수 있다는 단점도 있어요. 블록체인의 주체가 데이터 암호화와 복로화 라는 점을 생각해보면 이를 풀어낼 수 있는 기술이 뒷 받침 되는 순간. 안전성에서 자격을 상실하게 되는 것을 뜻하게 되니까요.  (시기상조이지만 양자컴퓨터의 발달은 더 높은 보안을 요구한다. (출처 : IBM))  그럼에도 불구하고, NFT에 대한 관심은 날이 갈수록 높아지고 있습니다.얼마 전 이지업 ITsue 타임에서도 소개해 드렸던 NFT 사기 사건도 이러한 인기에 편승하는 행위였기 때문이겠죠? 불확실한 시대속에 떠오른 새로운 매체 (라고 보여지는) NFT. 과연 비트코인처럼 투자 수단으로써의 가치로 상승곡선을 그려갈 것인지. 아니면 지나가는 소나기에 불과한 이야기가 될지는 좀 더 지켜봐야 할 것 같네요.  다양한 IT이야기에 관해 한 발짝 더 살펴보는 이지채널!다음 주제도 알찬 내용으로 준비해서 찾아뵙겠습니다~~ 모두 즐거운 하루 보내세요~~                [주석] (*1) 출처 : 알고랜드 (*2) 이더리움 토큰 :  발행 기준에 따라 2가지로 나뉘며, 액면의 개념을 가지고 발행하는 토큰 ERC-20.  액면이 없이 식별자만 넣어 발행하는 개념을 가지고 발행하는 토큰 ERC-721로 나뉨.(*3) 크리스티 : 1766년 영국 런던에서 설립되어 소더비와 함께 세계 2대 경매 기업으로 널리 알려져 있음.  전세계에서 가장 유명한 미술품, 부동산, 명품 등의 경매를 진행하는 기업으로 현재도 영국식 전통 경매 방식을 고수함.     

[보도자료] ITWILL (with easyup) 'K-디지털 기초역량훈련' 신규 과정 오픈 소식!!

안녕하세요~! 이지업클래스입니다!오랜만에 이지채널로 인사 드리는데요! 그간 이지업에 다양한 일들이 있었고, 현재도 진행 중인 상황이거든요! 그 이유는 다들 확인하고 계시다시피~~~ 이지업클래스의 새로운 보금자리가 만들어졌기 때문이죠!!오늘 이지채널에서는 ITWILL과이지업클래스가 함께 준비하여 2022년도 교육 기관에 선정된 K-디지털기초역량훈련 과정에 관한 언론 기사를 소개해드릴까 합니다. 바로 오늘 나온 소식이었는데요~!! 지금부터 바로 살펴 보실까요??아이티윌, 'K-디지털 기초역량훈련' 신규 과정 오픈기사입력 2022-03-28 10:18© 뉴스1(서울=뉴스1) 임해중 기자 = IT전문 교육기관인 아이티윌이 고용노동부가 주관하는 2022 'K-디지털 기초역량훈련' 과정을 신규 오픈한다.K-디지털 기초역량훈련은 2021년부터 다양한 디지털 · 신기술에 관련된 직업능력훈련을 국가에서 지원해주는 프로그램의 일환으로, 국민내일배움카드를 발급받아 수강을 하는 방식이다. 청년 구직자 및 재직자, 중 장년 구직자 등 성별에 상관없이 요건에 해당된다면 누구나 참여 가능하다.2022년도 신규 수행 기관으로 선정된 아이티윌은 이번 K-디지털 기초역량훈련 과정에 총 2개 부분 Δ데이터베이스 빅데이터 플렛폼 구축 과정 (SQL, Linux, Hadoop)과 Δ빅데이터 분석 및 머신러닝 기초 & 응용 과정 (Python)으로 나누어 본격적인 기초역량 훈련에 들어간다. 아이티윌은 각 과정 별 훈련 참여 교육생들을 위한 다양한 실무 지원 및 자사 온라인 IT 교육 플랫폼인 이지업클래스의 수강 혜택 제공 등을 준비하고 있어 과정을 이수하는 훈련생들에게 최적의 환경을 제공한다는 방침이다.© 뉴스1아이티윌 박승곤 원장는 “그간 심혈을 기울이며 준비해 왔던 K-디지털 기초역량훈련 과정에 선정되어 감사하면서도 동시에 강한 책임감을 느낀다”며 “오랜 역사를 지닌 ITWILL의 폭넓은 커리큘럼을 바탕으로 새롭게 쌓아온 온라인 IT교육의 다양한 노하우를 접목하여 훈련생들이 거듭 성장하는 환경을 제공하도록 최선을 다할 것” 이라 말했다.아이티윌(ITWILL)은 20년 이상의 운영을 통한 다양한 오프라인 국비지원교육과 집체교육 운영 및 노하우를 필두로, 새롭게 진행 중인 오픈 e러닝 플랫폼 사업, B2B 특화된 기업고객 및 대학을 위한 전문 콘텐츠로 민간과 정부지원교육 분야에 다양한 비즈니스 네트워크를 구축하고 있다.신규 과정으로 진행되는 첫 과정은 4월 5일부터 매월 실시할 예정이며 자세한 내용은 아이티윌 K-디지털 기초역량훈련 전용 사이트에서 확인 가능하다.임해중 기자(haezung2212@news1.kr)Copyright ⓒ 뉴스1. All rights reserved. 무단 전재 및 재배포 금지.여러분들께 더욱 좋은 교육을 전달해드리기 위해 언제나 최선을 다하고 있는 이지업클래스~!이번 K-디지털 기초역량훈련 과정도 오랜 시간 동안 정말 열심히 준비했거든요 ㅠㅠ여러분들의 많관부 드리며!~ 자세한 내용은 <여기>를 통해 확인해보시길 바래요~~     

파이썬 URL 단축 패키지. 'PyShorteners'

요즘 한글 URL이 많다보니 보고서나 이메일에 URL을 공유하려면 무조건 URL을 짧게 만들어 문서를 만들어야 하죠.그래서 URL 단축 서비스가 나오긴 했지만, 여러개의 URL을 해야할 땐 매번 귀찮을 때가 있습니다. 이런 문제를 해결하기 딱 좋은 URL 단축용 파이썬 패키지를 소개해 드리고자 합니다. [파이썬 URL 단축 패키지 PyShorteners]pyshorteners는 사용 가능한 가장 유명한 URL Shortener를 사용하여 URL을 단축하고 확장하는 데 도움이되는 Python lib입니다. pyshorteners의 공식 문서는 아래 링크를 참조해주세요.[PyShorteners 설치 및 적용 방법] pyshorteners 파이썬 라이브러리를 아래와 같이 설치했다면.. pip install PyShorteners 다음과 같이 import 하여 사용해주시면 됩니다.import pyshorteners as pslink = "https://scv-life.tistory.com/31"sh = ps.Shortener()short_url = (sh.tinyurl.short(linke))print(short_url) 위 예제는 tinyurl 서비스의 API를 이용하여 URL 단축을 만들어낸 예제입니다. 만약 tyniurl과 다른 단축URL 서비스를 이용하고자 한다면.. [‘adfly’, ‘bitly’, ‘chilpit’, ‘clckru’, ‘cuttly’, ‘dagd’, ‘gitio’, ‘isgd’, ‘nullpointer’, ‘osdb’, ‘owly’, ‘post’, ‘qpsru’, ‘shortcm’, ‘tinycc’, ‘tinyurl’] [응용] 크롬 브라우저 기준, 특정 북마크 폴더에 있는 링크들을 단축URL로 구현해봅시다.import chrome_bookmarksimport pyshortenersimport timefor folder in chrome_bookmarks.folders:        if folder.name == "폴더명":            for url in folder.urls:                short_url = (pyshorteners.Shortener().chilpit.short(url.url))                print(short_url)                time.sleep(3)        else:            continue 참고로 각 API 서비스에 따라 특성이 조금씩 달라질 수 있습니다. 

[언론보도] 조선대와 콘텐츠 공급 계약 체결소식!

모두를 위한 IT 클래스안녕하세요~ 이지업입니다 ​:)드디어, 이지업클래스가 뉴스에 나왔습니다~(당연히 기분 좋은 소식이겠죠? ㅎㅎ)바로바로~ 오랜 준비 끝에, 조선대학교 AI융합대학사업단과콘텐츠 공급 계약 체결을 하였습니다 (박수!~)  이번 계약에 관한 자세한 내용은아래 기사로 지금 확인해 보시죠~! 이지업클래스, 조선대와 빅데이터 분야 콘텐츠 공급 계약 체결기사입력 2021.12.21. 오후 2:02 [이데일리 이윤정 기자] 온라인 IT 교육 전문 플랫폼 기업 이지업클래스는 조선대학교 AI융합대학사업단과 빅데이터 분석기사, 파이썬, 통계분석(R), 머신러닝 분야 콘텐츠 공급 계약을 체결했다고 21일 밝혔다.이번 계약은 디지털 전환 시대의 대학 경쟁력을 강화하고 급변하는 교육 환경에 적극 대응하며, 양질의 컨텐츠를 재학생들에게 제공함으로써 빠르게 요구되는 강의 수요에 대응하고자 진행되었다.조선대학교는 이지업클래스 특화 콘텐츠인 빅데이터와 AI, 인공지능 과정의 공급을 통해 안정적인 커리큘럼 구성을 운용하며, 자체 제공 중인 온라인 교육과정을 상호 협력하여 기획하기로 하였다.이종열 이지업클래스 이사는 “이번 콘텐츠 공급 계약을 통해 양질의 컨텐츠를 제공함으로써, 디지털 전환의 흐름에 대학 온라인 교육 경쟁력 강화와 안정적인 운영에 다양한 기여를 할 것”이라며 “자체 제작 및 운영 중인 콘텐츠와 IT 분야에서 다방면으로 축적된 교육 노하우를 바탕으로 앞으로 다양한 고객들을 만나고자 한다”고 밝혔다.한편, 이지업클래스는 2020년 5월에 출범한 온라인 IT 교육 전문 플랫폼 기업으로, 강사가 자유롭게 콘텐츠를 등록할 수 있는 오픈 e러닝 서비스와 B2B 기업고객, 대학을 위한 특화 콘텐츠로 민간과 정부지원교육 분야에 다양한 비즈니스 네트워크를 구축하고 있다. 이윤정(yunj725@edaily.co.kr)  캬~ 바로 이맛 아닙니까!! (얼쑤~)이지업에서 제작된 빅데이터 전문 컨텐츠를조선대학교 재학생 분들이라면 누구나 이용하실 수 있다고 해요!!많이 많이 들어주시고 스킬UP / 레벨UP에 도움되시길 바래봅니다 ^^​보다 다양한 채널을 통해 이지업의 컨텐츠를 전달해드리기 위해,오늘도 부지런히 움직이는 이지업클래스!​앞으로도 더 좋은 소식으로 인사드릴 수 있도록열심히 달리겠습니다~~      

[이지채널] 하둡(Hadoop)을 알아보자!

[모두를 위한 IT클래스]이지업 클래스 입니다!~다양한 It 지식을 알아보는 시간인 클래스 타임!이지업 타임즈에서 준비한 오늘의 주제는 바로바로~'하둡 (Hadoop)' 입니다!  " 하둡이 태어나기까지 " 기술의 발달로 인해 우리는 흔한 이미지, 영상, 음성 등의 데이터를언제 어디서든 쉽게 접할 수 있게 되었어요~데이터를 구분하는 영역에서는 이런 이미지나 영상 데이터는비정형 데이터로 분류하고, 이전에는 쉽게 취급할 수 없는 데이터로 분류했었는데요!하지만, 한없이 쏟아지는 데이터의 홍수 속에서정형화 된 데이터만을 취급하는 것에는 분명한 한계가 있고,나아가 비정형 데이터를 저장하여 가공할 수 있는 데이터베이스 구축에 대한문제가 점차 대두되기 시작했죠. 이제 데이터는 우리의 일상에 자연스럽게 존재하고 있어요 비정형 데이터들은 기본적으로 용량이 크고, 대단위의 처리가 어렵다보니단일 컴퓨터로는 그 한계가 명확했던 셈이었어요.아무리 좋은 성능의 컴퓨터라 해도, 혼자만의 힘으로는 힘들다는 것을 깨닫게 되고,이를 해결하기 위한 방법으로 성능이 뛰어나진 않아도적당한 힘을 갖고 있는 컴퓨터에게 나눠주는 방법이 개발되기 시작했습니다.그렇게 해서 오늘의 주인공인 하둡(Hadoop)이 탄생하게 된 것이죠!하둡의 시작은 2006년에서 출발하는데요~당시 야후에 기술 담당으로 재직중이던 [더그 커팅]이대학원생이었던 마이크 카파렐라와 함께오픈소스 검색엔진의 하부 프로젝트의 개념으로 개발되었는데,하둡은 구글의 분산 파일 시스템(GFS) 논문을 기조로이 구조에 대응하는 체계로 개발되었어요.이후 아파치 재단으로 넘어가서 독자적인 개발이 시작되어,현재는 아파치 소프트웨어 재단에서 공개중인 오픈 소스에요.많은 이들이 오픈소스 프로젝트의 최대 성공작을 꼽아보라고 이야기 하면,하둡을 언급할 만큼 최고로 손꼽히는 소스랍니다. 개발 언어는 java로 개발되었구요~!  " 하둡에도 여러 종류가 있어요 "  귀여운 노란색 코끼리가 마스코트로써 자리잡고 있는 하둡!이러한 영향으로 인해, 이후에 추가되는 하둡 생태계의모든 명칭은 동물과 관련된 이름으로 지어지게 되었다고 해요.대표적으로는 스크립팅 언어인 피그 (PIG - 돼지),SQL 쿼리를 가능하게 하는 하이브 (HIVE - 벌떼),log를 수집하는 척와 (CHUKWA - 거북이),이들 생태계를 조율하는 주키퍼 (ZOOKEEPER - 사육사)등이 있죠~본격적으로 하둡의 기본 구조에 대해 조금 깊이 있게 들어가본다면,다음과 같은 주요 모듈로 구성되어 있어요.Hadoop HDFSHadoop CommonHadoop YARNHadoop Map-reduce여기서 일반적으로 흔히 하둡이라고 지칭되는 것이 Hadoop HDFS에요.[Hadoop Distributed File System]이라 하며,분산 처리 시스템이라는 표현에서 자주 접해보셨을 건데요!HDFS는 우리가 생각하는 것 보다 훨씬 대용량의 데이터를 전송하고 빠르게 처리해주는데,기본적으로 수십 테라 혹은 페타(10의 15제곱, 1000경)이상의 대용량 데이터를분산된 서버에 저장하고 특정 크기의 블록 단위로 분리하여 분산된 서버에 저장하는데,비유해보면, 우리나라에서 가장 높은 롯데월드타워(123층)를1평 단위의 블록으로 잘게 쪼개서, 대한민국 전역에 뿌려놓고 있다가필요에 따라 조립하고 가공하게끔 해놓는거라 볼 수 있겠네요~ 저 높은 건물을 쪼갠 단위라... (어렵다;;) HDFS의 역할이 이러하다면, 나머지 주요 모듈에 대해서도 살펴봐야겠죠?먼저, Hadoop Common은 다른 모듈을 지원하기 위한공통 컴포넌트 모듈 (같이 쓰는 부품 집합소) 이며,Hadoop YARN은 병렬처리를 위해 효율적으로 자원을 관리하고 스케쥴링 하는 역할 (=교통정리)Hadoop Map-reduce는 분산되어 저장된 데이터를 병렬 처리할 수 있게 해주는분산 처리 모듈로써, 데이터를 각각 병렬적으로 연산 처리해주는 과정이 중요한 만큼HDFS와 함께 하둡의 핵심적인 모듈이라 할 수 있어요!  " 하둡의 장,단점 " 이렇게 데이터 가공과 데이터베이스 구축에 효과적인 하둡 시스템!하지만, 모든 기술에는 동전의 양면이 존재하듯,하둡 시스템 또한 장/단점의 요소가 있어요.  이러한 요소들을 토대로 하둡을 접근하기 전에 생각해봐야 하는 것!주요 모듈에 대한 깊이 있는 이해가 필요해요~이는 실습을 통해 이해하는 과정을 다져가도 좋고,이론적인 접근을 통한 학습에서 쌓아가는 것도 좋아요!무엇보다 하둡 시스템에 대한 이론적 내용은 실제로빅데이터분석기사 필기 시험 에서도 주요한 내용으로 등장 했고,실무적으로도 많이 구축하려고 하는 편이기에,DB에 관심있는 분들이라면 한번쯤 살펴보실 만하다고 생각합니다!~누구나 쉽게 배우고 알차게 쓰는 IT클래스하둡에 대해 더 궁금하시거나,평소 관심있으셨던 분들이라면!?이지업클래스에서 준비한 하둡 클래스도 한번 살펴봐주세요!~  누구나 따라할 수 있는 하둡 강의가 절찬리 공개중!! (두둥~)