Buzzvil is hiring a

Junior Data Engineer KR (전문연구요원 가능)

Muju, South Korea

버즈빌에서는 일 250만명 이상의 유저를 대상으로 리워드 광고와 컨텐츠를 서비스하고 있습니다. 어떤 광고와 컨텐츠가 유저에게 노출 되고 클릭이 되는지, 리워드에 유저가 어떤 반응을 보이고 행동 하는지 등에 대한 데이터가 하루에만 약 5억건에 달합니다. 버즈빌에서의 데이터 엔지니어는 이러한 방대한 데이터를 효율적으로 수집, 변환, 적재 및 시각화할 수 있는 스케일러블한 데이터파이프라인을 설계하고 구축하는 역할을 수행하게 됩니다. #데이터엔지니어 #전문연구요원 #전문연


빠르게 변하는 비지니스 환경에서 데이터에 기반한 의사결정을 하기 위해서는 데이터를 신속하고 유연하게 처리하는 데이터 엔지니어의 역할이 매우 중요합니다. 또한 이러한 데이터를 기반으로 광고 효율 최적화, 컨텐츠 개인화, 리워드 지급 로직 최적화 로직에 활용하여 버즈빌의 비지니스에 큰 영향을 끼칠 수 있는 기회가 열려있습니다.


  • AWS 기반의 자동화된 데이터 파이프라인을 구축합니다.
  • 비지니스 및 엔지니어링 팀에서 필요로 하는 주요 메트릭을 시각화하여 인사이트를 도출해냅니다.
  • 백엔드 엔지니어와 가깝게 일하면서 어떤 데이터가 수집 가능한지, 어떤 데이터를 수집해야 하는지 정의하고 수집합니다.
  • 머신러닝 엔지니어들과 협업하며 필요로 하는 데이터를 제공합니다.
  • 회사에서 활용하고 있는 데이터를 정의하는 데이터 카탈로그를 작성하고 관리합니다.
  • 버즈빌의 서비스들이 올바른 방향으로 발전할 수 있도록 다양한 관점에서 데이터를 분석하고 프로덕트에 기여합니다.

Requirements

  • SQL 쿼리를 능숙하게 작성 할 수 있습니다.
  • 사용하고 있는 데이터베이스의 내부구조를 이해하고 최적화하는 것을 좋아합니다.
  • 동료들과의 커뮤니케이션을 중요하게 생각하고 스스로 데이터 분석을 원하는 사람들이 있다면 그들을 도와주고 교육하는 것을 즐깁니다.
  • 모든것을 자동화하는 것을 추구합니다.
  • 모호하게 정의된 문제가 있더라도 이를 정확하게 이해하고 실행가능한 인사이트를 도출해낼 수 있습니다.
  • 숫자가 의미하는 바를 명확하게 이해하고 논리적으로 판단합니다.
  • Python 또는 한 가지 이상의 프로그래밍 언어를 능숙하게 다룰 수 있습니다.
  • Cloud Native Infrastructure상에서의 데이터파이프라인 구축 경험이 있습니다.
  • Airflow, Luigi 와 같은 데이터 워크플로우 관리 툴을 사용해본 경험이 있습니다.
  • 데이터 시각화 툴 사용 경험이 있습니다.
  • Redshift/Athena 운영 경험이 있습니다.
  • 일 1억건 이상의 데이터파이프라인 관리 경험이 있습니다.
  • 회귀 분석, 유의성 검정 등 통계적 지식을 실무에 적용할 수 있는 능력을 갖추고 있습니다.
  • 마이크로서비스 아키텍처를 지향하고 있고 실제로 누구나 쉽게 서비스를 만들 수 있도록 Kubernetes 기반의 시스템이 구축되어 있습니다.
  • 주어진 요구사항을 그대로 구현하기 보다는 요구사항이 필요한 이유를 이해하고 더 좋은 방향으로 구현될 수 있도록 기획, 디자인, 개발의 모든 단계에서 능동적으로 의견을 제시하기 위해 노력합니다.
  • 모든 코드는 최소 한 명 이상의 리뷰를 거칩니다. 리뷰는 github의 pull request를 통해 이루어지고 있습니다. 리뷰를 위한 자격은 따로 없으며 프로젝트에 관련이 없는 사람도 언제나 pull request에 대해서 자신의 의견을 제시할 수 있습니다. 팀 리더의 코드를 신입 개발자가 리뷰하는 것도 항상 일어나는 일입니다.
  • Jira를 이용해 태스크 관리를 하고 있고 각 팀이 자율적으로 업무프로세스를 정의합니다.
  • 비용 보다는 개발 생산성을 중요시합니다. 개발자들이 창의적이고 생산적인 일에 집중할 수 있도록 비용을 들여 해결할 수 있는 일들은 기꺼이 비용을 지불합니다. 예를 들어 누구나 AWS에 원하는 것들을 비용 걱정없이 설치하고 사용해볼 수 있습니다.
  • 읽기 쉽고 테스트하기 쉽고 유연한 코드를 짜기위해 노력하며 성급한 최적화를 하지 않습니다.
  • 배포 주기를 짧게 가져갑니다. 하루에 몇 번씩 배포하기도 합니다.
  • 새로운 기술에 열려있고 누구나 제안할 수 있습니다. Docker, Jenkins, Elasticsearch, Vue.js 등을 사용하게 된 것도 누군가의 제안으로부터 시작하게 되었고 성공적으로 사용하고 있습니다.
  • 다음 세가지 원칙을 지키기 위해 노력합니다. "간단하게 유지하라." "바퀴를 재발명하지 마라" "가능한 한 증명되고 안정된 기술을 사용하라"

#AWS #Redshift #Athena #S3 #Firehose #Fluentd #Airflow #Kafka #Metabase #Kubernetes #CloudNative #Python #MySQL

Benefits

Similar jobs

Other jobs at Buzzvil