бизнеса. Стек технологий: Hadoop (Hive, Spark, Scala). Обязанности участвовать в разработке и тестировании крутого...-разработчиком/дата-инженером от 3 лет знание SQL: понимание планов запроса, внутренней работы SQL-запросов опыт работы с Hadoop...
с Kafka. Как плюс: Опыт работы со стеком Hadoop (YARN, HDFS, Hive); Опыт использования Apache Iceberg; Опыт написания... CI/CD пайплайнов (GitLab CI); Опыт работы с MPP СУБД (ClickHouse); Опыт внедрения каталогов данных и data governance...
для обработки диалоговых данных LLM и AI агентов. Технологический стек: Обработка данных: Apache Spark, Hadoop (HDFS, YARN... настраивать и поддерживать CI пайплайны для Big Data-сервисы Требования не менее 3 лет опыта коммерческой разработки ETL...
Задачи Разработка и сопровождение ETL-пайплайнов и типовых интеграционных решений в data platform Проектирование... проектирования пайплайнов обработки данных и проверки качества данных Опыт работы с PostgreSQL, ClickHouse, S3/Hadoop Навыки...
: PostgreSQL, ClickHouse — от трёх лет S3/Hadoop Построение дата-архитектуры (DWH,OLAP,ELT/ETL/Data Lake/LakeHouse) Знание SQL...Наш продукт, VK Data Platform, — универсальная платформа для end‑to‑end работы с большими объёмами данных и машинным...
на соответствие документации; Работа с различными источниками данных -SQL/NoSQL, DWH, Hadoop, API и пр. в рамках подготовки их... Big Data (Hive, Spark), есть понимание MapReduce; Базовые знания Linux; Опыт работы с банковскими системами; Опыт...
Hadoop, у DS есть несколько мощных машин, GPU делают бр-бр Команда DE и сильная экспертиза 80% кода мы пишем на Scala..., массажным креслом, приставкой и караоке Пицца-пати и корпоративные праздники за счет компании Наш стек: Hadoop, Spark...
с Airflow, Spark, Hadoop, Clickhouse. Понимание принципов построения data pipelines и витрин данных. Способность работать... рекламодателей. Разработка и поддержка процессов обработки данных, создание витрин данных и data pipelines. Проектировать...
, и продукт нашей команды - Data WareHouse (хранилище данных), которое мы строим для нужд бизнес-подразделений. Нашими... DWH: слои, модели хранения данных, процессы ETL Хорошо понимаете принципы работы распроданных систем Hadoop или YTSaurus...
, желающего развиваться в направлении Data Engineering. Чем предстоит заниматься Ведение актуальное документации по витринам... источников данных: владельцы, методы расчета, помощь DS-ам в подготовке данных; Внедрение DQC (Data Quality Checks). Ожидания...
(желательно наличие опыта работы с Hadoop-кластерами) Владение инструментами экосистемы BigData, такими как Hadoop, Spark SQL...
внешними данными. Коллеги разрабатывают дата-продукт внешнего профиля клиента. Используются как традиционные решения под Hadoop... работы с Scala, Spark ver.2, 3, Hadoop Опыт работы с базами данных, понимание основных концепций классических СУБД...
НАШ СТЕК: Hadoop, GreenPlum, S3; Airflow, Spark, Kafka, Debezium; ClickHouse, Superset; ЧТО ТЕБЯ ЖДЁТ: Анализ...
работы с Airflow и NiFi опыт разработки в экосистеме Hadoop знания фреймворка Spark, опыт оптимизации запросов знание...
, PyTorch Опыт работы с S3/Hadoop, а также с аналитическими БД ClickHouse/GreenPlum nice-to-have: опыт разработки cross...
с загрузкой данных из Hadoop, Greenplum разработка интеграционных решений между хранилищем данных и сервисами банка разработка... с ведущими СУБД (Clickhouse, GreenPlum, Hadoop, Teradata, Oracle, MS SQL) опыт работы с инструментами Hadoop (Hive, Spark, Oozie...
с загрузкой данных из Hadoop, Greenplum разработка интеграционных решений между хранилищем данных и сервисами банка разработка... с ведущими СУБД (Clickhouse, GreenPlum, Hadoop, Teradata, Oracle, MS SQL) опыт работы с инструментами Hadoop (Hive, Spark, Oozie...
Обязанности: Участие в построении и развитии хранилища данных в роли аналитика на платформе hadoop; Выявление...
и прозрачность бизнеса. Используемые технологии и инструменты: основные технологии: Airflow, PostgreSQL, Kafka, Superset, Hadoop... и/или Hadoop (Spark)) или схожего функционала от 1 года продвинутый уровень владения Python и SQL понимание принципов работы баз...