2024년 7월 3일
#직무
2024년도 2차 신입 공채는 SW개발 부문에서 무려 8개 포지션을 채용하고 있어요!
직무들을 자세히 들여다 보고, 그 중 가장 내가 관심 있는 분야, 또는 내가 잘 할 수 있는 분야를 선택해서 지원하면 더 좋겠죠?
알쏭달쏭 알듯말듯 개발 직무에 대한 궁금증! 하나 하나 해결해 드립니다.
빅데이터 (백엔드) 개발 vs 데이터 엔지니어 (플랫폼) : 같은 점 다른점
많은 지원자들에게 “백엔드 개발”이라는 직무는 어떤 기술을 사용하고 어떤 일을 하게 될지 상대적으로 익숙한데,
“빅데이터 (백엔드) 개발”과 “데이터 엔지니어 (플랫폼)” 직무는 무엇을 하게 될지 쉽게 감이 잡히지 않을 거에요.
요약하자면,
[빅데이터 (백엔드) 개발] 직무의 업무는 고객사의 데이터 분석에 사용하는 툴(제품)을 개발하는 것입니다.
따라서 해당 툴(제품)의 사용자는 고객사의 데이터 분석 담당자입니다. (즉, 데이터를 직접 분석하는 직무가 아닙니다! X)
[데이터 엔지니어 (플랫폼)] 직무의 업무는 스패로우 제품의 동작을 위해 필요한 데이터를 수집,가공하는 툴을 개발하고, 해당 툴을 활용하여 제품에 필요한 데이터를 수집하는 것입니다.
해당 툴의 사용자는 데이터 엔지니어 본인이며, 툴을 사용하여 수집한 데이터는 스패로우의 다른 개발자들이 함께 이용합니다. (마찬가지로, 데이터를 분석하는 직무가 아닙니다! X)
아래에서 한 직무씩 어떤 일을 하게 될지, 또 신입 공채 지원자에게는 어떤 역량이 기대되는지, 자세한 내용을 살펴보겠습니다!
빅데이터 (백엔드) 개발
“빅데이터 (백엔드) 개발” 직무가 하는 일은 크게 보아 “백엔드 개발”로 분류할 수 있습니다.
그 중에서도 “백엔드 개발” 직무와 조금 차별화 되는 포인트를 꼽자면, 다양한 데이터, 대량의 데이터를 효율적으로 처리하는 솔루션을 개발하는 목적에 좀 더 집중하고 있다는 점이에요.
파수의 제품 중 대용량 데이터를 다루는 제품에는 대용량 비식별화 솔루션인 AnalyticDID, AI 기술을 사용하여 다양한 문서의 개인 정보를 마스킹하는 AI-R Privacy, 대규모의 훈련 데이터를 필요로 하는 LLM 솔루션인 Enterprise LLM (=ELLM=엘름) 이 있습니다.
어떤 제품/솔루션이든지 최종 사용자가 어떤 목적으로, 어떤 방식으로 우리 제품을 사용하는지 이해해야 사용자의 필요에 맞는 좋은 제품을 만들 수 있습니다.
대용량의 데이터를 분석하는 방법에는 어떤 것들이 있는지, 각 방법에 따라 결과값이 어떤 의미를 가지고 어떤 차이가 있는지 이해할 수 있는 관련 지식이 있으면 도움이 되겠죠.
또한 다양한 데이터를 다루거나 대용량의 데이터를 다루는 제품을 개발하려면 여러 가지 데이터를 처리할 수 있는 능력이 필요합니다.
To. 해당 직무의 지원자에게…✉️
대량의 데이터를 빠르게 처리하려면 시스템 요소를 잘 분석하고, 이에 기반하여 아키텍처 설계를 할 수 있어야 합니다.
“빅데이터 (백엔드) 개발” 직무에서 커리어를 시작한다면, 이런 과정을 원리부터 익힐 수 있습니다.
실무에서는 데이터의 성격에 따라 python, Java, Rust 등의 언어를 사용하고 있으며 리눅스 환경을 주로 사용하고 있는데요,
신입 지원자에게 기대하는 것은 딱 두 가지 입니다.
첫 번째는 “위 프로그래밍 언어 중 하나를 구사할 수 있을 것” 이고,
두 번째는 “대용량 빅데이터의 분산 처리, 대규모 AI 학습 데이터 처리, LLM 개발에 함께 도전하고 싶은 관심과 의지”입니다.
그 외에도, 운영 체제와 네트워크, 데이터베이스에 대한 지식이 있으면 도움이 됩니다.
데이터 엔지니어 (플랫폼)
데이터 엔지니어가 하는 일을 이해하기 위해, 스패로우 SCA 제품이 무엇인지 먼저 간단히 알아보겠습니다.
스패로우 SCA는 고객사의 개발자들이 개발한 애플리케이션에 어떤 오픈소스 컴포넌트가 포함되어 있는지 식별하고,
해당 오픈소스 컴포넌트(버전)에는 어떤 보안 취약점이 있는지 진단해주는 제품입니다.
이렇게 동작하기 위해서는 다양한 오픈소스를 구분할 수 있는 방법도 알고 있어야 하고,각 버전별로 어떤 취약점이 있는지도 파악하고 있어야겠죠?
그래서 스패로우에는 세상의 무수히 많은 오픈소스들에 대한 정보를 미리 모아놓은 데이터베이스(데이터레이크)가 준비되어 있어야 합니다.
데이터 엔지니어의 역할은, 바로 이 데이터 레이크를 구축하고 관리하는 것입니다.
인터넷 상의 다양한 외부 사이트에서 데이터를 수집할 수 있는 방법을 찾고,
스패로우 내부의 데이터레이크로 연결되는 데이터 파이프라인을 구축하여, 데이터가 최신화 되면서 관리될 수 있도록 처리,관리하는 역할을 수행합니다.
To.해당 직무의 지원자에게..✉️
이 역할을 수행하기 위해 Java나 Python 등의 개발 언어를 잘 사용하면 좋고,
데이터베이스에 대한 이해가 있어야 합니다.
데이터 파이프라인에 대한 이해는 있어야 하지만,
신입 입장에서 대규모 데이터를 다루는 경험을 쌓기는 쉽지 않죠.
그래서 데이터 파이프라인이란 무엇인지, 관련 기술이 어떤 것이 있는지를 먼저 학습하시면 좋습니다.
그리고 PostgreSQL, Kubernetes, Docker에 대한 이해가 있다면 더 좋겠죠?
신입 지원자 여러분이 관련 기술을 직접 써보고 활용하기는 어렵다는 점은 잘 알고 있습니다.
해당 기술을 사용해 본 경험이 없다고 두려워 하지 마시고
관련 기술에 대한 내용을 잘 숙지하고 지원하시면 좋은 평가를 기대할 수 있을 거에요 🙂
이번 채용에서 백엔드 개발 vs 빅데이터 (백엔드) 개발 vs 데이터 엔지니어 (플랫폼) 의 직무간 차이점을 다시 한번 정리해보겠습니다.
빅데이터 (백엔드) 개발 직무는 백엔드 개발의 하위 분류로서, 빅데이터 처리와 관련된 제품들의 개발에 주로 참여하게 됩니다.
데이터 엔지니어 (플랫폼) 직무는 데이터 엔지니어 (플랫폼) 직무는 데이터를 수집하고 처리, 관리하는 개발 및 운영을 수행합니다.
+보너스 Q&A
Q. 데이터 사이언스 또는 데이터 애널리틱스 전공생도 지원 가능한가요? 합격 후 소정의 역할을 할 수 있을까요?
A: 위 내용에서 확인할 수 있듯이 “빅데이터 (백엔드) 개발” 직무와 “데이터 엔지니어 (플랫폼)” 직무 모두
데이터 분석 역량이 아닌, 소프트웨어 개발 역량을 필요로 합니다.
데이터 사이언스 또는 데이터 애널리틱스 전공이면서 개발 역량까지 갖추고 있다면,
사용자의 필요를 이해할 수 있는, 적합도가 매우 높은 지원자예요!
하지만 데이터 분석 전문가로서의 장래를 그리는 분이라면, 이번 채용 직무와는 fit이 맞지 않을 것 같아요 😢
마무리하며..
지금 2차 신입공개채용에서 모집중인 직무를 확인해보세요!
👉2차 신입 채용 바로가기(클릭!)
👉개발자 선배들의 직무 인터뷰 바로가기(클릭!)