Data Platform Engineer / 데이터 플랫폼 엔지니어

데이터 플랫폼 엔지니어는 대체 데이터부터 자연어 및 비정형 데이터까지 모든 서비스에 걸친 다양한 데이터들의 안정적인 수급, 정제, 가공 및 전송 시스템의 개발과 운영을 담당합니다. 신속하고 안정적인 데이터 처리에 중추적인 역할을 하는 한경에이셀의 데이터 플랫폼 엔지니어로 합류하시면 다음과 같은 업무를 함께하게 됩니다.

• 확장에 용이하고 안정적인 데이터 수급, 정제, 가공 시스템을 구현하고 운영합니다.
• 데이터 라이프사이클을 고려한 스트리밍 혹은 배치 파이프라인을 설계합니다.
• 서비스 혹은 데이터 특성에 맞는 컨테이너 기반의 CI/CD 전략을 수립하고 실행합니다.
• 모니터링 부담을 최소화할 수 있도록 효율적인 운영 시스템을 고민하고 개선합니다.
• 문제 발생 시 원인을 분석하고 해결 방안을 도출하여 지속적으로 개선합니다.
• 지속 가능한 인프라를 설계하고 구축하여, 장기적으로 안정적이고 효율적인 서비스 환경을 만들어 갑니다.

‍

<기술 스택>

• Python, uv/pip/poetry, asyncio
• PostgreSQL, MySQL, Redis, MongoDB, OpenSearch
• Kafka (streams/ksql/flink)
• AWS, Kubernetes (EKS), ECS/Fargate, Docker
• Airflow, ArgoCD, Datadog

• 복잡한 문제를 분석하고 효과적인 해결책을 제시할 수 있는 문제 해결 능력
• 데이터 라이프사이클 전반의 파이프라인 개발 경험
• 확장성 있고 유연한 데이터 모델링 및 스키마 설계 역량
• SQL 혹은 NoSQL 데이터베이스 설계 및 최적화 경험
• 클라우드 환경과 컨테이너 기반 플랫폼(Docker, Kubernetes)에서의 배포 및 운영 경험

• Airflow 등을 통한 ETL 및 워크플로우 작업 경험
• Kafka 등을 통한 데이터 스트리밍 파이프라인 구축 경험
• 데이터 레이크 혹은 데이터 웨어하우스 구축 역량
• 분산 환경에서의 시스템 모니터링 및 트러블슈팅 경험
• 지식 그래프 구축 혹은 운영 경험