Kỹ Sư Nền Tảng Xử Lý Dữ Liệu Lớn - Khối Công Nghệ Thông Tin

Ngân hàng TMCP Tiên Phong (TPBank)

Hà Nội · Experienced (non-manager)

Thoả thuậnĐăng ngày: 3 ngày trước

AirflowApache SparkKafkaMonitoring

Mô tả công việc

Mục tiêu vị trí: Xây dựng, vận hành và tối ưu nền tảng xử lý dữ liệu lớn cho batch processing, streaming/near real-time và workflow orchestration; đảm bảo các pipeline dữ liệu chạy ổn định, đúng lịch, có monitoring, retry, alert và đáp ứng nhu cầu ETL/ELT, BI, AI/ML và các hệ thống downstream.

Nhiệm vụ chính:

• Xây dựng, vận hành và tối ưu các nền tảng xử lý dữ liệu lớn.

• Phát triển/chuẩn hóa, tối ưu các job và pipeline dữ liệu lớn.

• Giám sát, xử lý sự cố nền tảng xử lý dữ liệu lớn và các jobs trên môi trường production.

• Lập kế hoạch mở rộng, tối ưu tài nguyên nền tảng dữ liệu lớn.

Công nghệ sử dụng: Apache Spark, PySpark, Spark SQL, Kafka, Flink, Kafka Streams, Kafka Connect, Oracle GoldenGate, IBM CDC, Debezium, Apache Airflow, GitLab, Jenkins, Azure DevOps, Prometheus, Grafana, Kafka UI, Splunk/ELK. Kubernetes/OpenShift, YARN, HDFS, S3/MinIO, Iceberg, Parquet, Scala/Java là lợi thế.