Data Engineer

Привет! Это коллективный твиттер Data Engineer'ов и архитекторов аналитических пайплайнов. По вопросам авторства пишите

[DBeaver @dbeaver_news]

Perhaps, the fastest DBeaver run is on ARM now. The version for M1 Silicon is available to download for DBeaver CE: https://t.co/MJ09JUFzS3

[Data Engineer @deunderhood]

Тем временем на #datafest2020 баттл между вендорскими и крафтовыми тулами для data discovery

[Data Engineer @deunderhood]

Вы участвуете?

[Data Engineer @deunderhood]

Тем временем у нас тут октябрь, а это значит, #hacktoberfest В этому году правила слегка поменялись https://t.co/gQVaWotGiB

[Data Engineer @deunderhood]

А 10.10 в треке Data Governance на Data Fest #опятьмитап:
15:00-16:00 “Управление качеством данныз” и Q&A с Алексеем Ильиным (Adastra)
16:00-17:00 “Meta DWH о DWH для DWH” и Q&A с Евгением Ермаковым (Я.Такси)
https://t.co/PkHUulAxWR

[Data Engineer @deunderhood]

Четверг - день митапов. Сейчас одновременно идут DEorDie https://t.co/AdycQgk3Pk, Clickhouse meetup https://t.co/MBXdoG64tN, LeanDS секция Data Fest https://t.co/4GxyCDSJbz и Moscow Spark https://t.co/h0MmZftdIf #опятьмитап

[Data Engineer @deunderhood]

Спасибо всем кто читал, с вами немного побыл Антон Пилипенко. Далее вас ожидают новые посты от разных автором про самый сок и трендовые мякотки.
Всем удачи!

[Data Engineer @deunderhood]

@asm0di0 + джобы на питоне + юпитер ноутбуки

[Data Engineer @deunderhood]

В очередной раз сталкиваюсь с тем, что многие просто забывают, что spark job на 150 экзекуторов - это потенциально 150 соединений в БД. Это не то, что вызовет счастливую улыбку вашего DBA. Пожалуйста, будьте внимательны

[Data Engineer @deunderhood]

@asm0di0 ну а как ты это себе видишь?

[Data Engineer @deunderhood]

Коллега как водится прошел mail, yandex, несколько стартапов. Умеет в c++ и python.
Вот психанул, уволился и стал учиться верстать странички.

[Data Engineer @deunderhood]

Недавно общался с бывшим коллегой и вдруг осознал, что мои периодические мысли на тему "а тем ли я занимаюсь?" не только у меня. Он сформулировал это "я пока не знаю, кем буду когда вырасту".
А вы уже знаете, кем будете когда вырастите?

[Data Engineer @deunderhood]

@bsideup @asm0di0 @testcontainers Вот именно оно как то не оч понятно отрабатывало. Что-то по открытию порта нормально работало, что-то через output regexp или как то так.
Anyway это лучшее что со мной случилось в плане разработки в 2019 году =)

[Data Engineer @deunderhood]

В увлекательной жизни дата инженера основная часть работы это откуда-то скачать данные или куда-то выгрузить.
И, конечно же, основной источник данных - rdbms разных мастей и версий.
Когда в dev-test-prod у вас есть только prod - посмотрите в сторону @testcontainers

[Data Engineer @deunderhood]

@bsideup @asm0di0 @testcontainers Ну значит не так понял =), про сеть и дженерики я знаю (для spring cloud микросервисов пользовали), там (ну у меня) не получалось сделать нормально depends_on поведение. Последовательный запуск проканал, но это как то не оч круто выглядело.

[Data Engineer @deunderhood]

@bsideup @asm0di0 Ну я так понял, речь идет про expose портов и host.docker.internal. Или речь была не про то?

[Data Engineer @deunderhood]

@asm0di0 @bsideup Дело вкуса как по мне, но крестить контейнеры через хост - ну такое

[Data Engineer @deunderhood]

Не стоит рассмотривать библиотеку только как замену костылям bash скриптов - оно умеет в docker-compose с сетью и вот это вот все.
Настройка для CI - и вы получаете не только возможность проверить как оно с разными-версиями-чего-угодно, но и как оно в смысле интеграции.

[Data Engineer @deunderhood]

Если вы (внезапно) не хотите java/scala - есть порты на python, js, go. Полный список ништяков можно как всегда найти на https://t.co/09BrV3iu9R