mu - データエンジニア

データエンジニア歴16年がゆえにレガシーです

[mu - データエンジニア @mu_DataEngineer]

テーブルにステータスを持たせるか否かはビジネスやIT統制、パフォーマンスなどの要件によっても決まると思うけどなあ。そこら辺を気にしなくてよいなら履歴テーブルを持つ方が個人的には好み

[mu - データエンジニア @mu_DataEngineer]

便宜上データエンジニアと名乗ってるが、10祭会社でやっていたことはデータマネジメントエンジニアだった

[mu - データエンジニア @mu_DataEngineer]

世の中知らないことだらけで途方に暮れるな

[mu - データエンジニア @mu_DataEngineer]

もう20年以上SQL書いてきているけど、SQLの文法よりも各テーブルのメタデータ理解の方が重要だなあ、と。当たり前のことだけど。

[mu - データエンジニア @mu_DataEngineer]

モダンデータスタックが使える現場ばかりじゃないんですよ

[mu - データエンジニア @mu_DataEngineer]

経験的にデータエンジニアの重要な業務を挙げるとしたら、データモデリングとメタデータ管理の2つ。これら2つの質が低いと運用年数が長くなったデータ分析基盤の数字が信用できなくなると思ってたけど、昨今の生成AI活用においても重要になってくるとは予想できなかった。

[高橋光 | 著書『データ分析力を高める ビジネスパーソンのためのSQL入門』 @light940]

著書である『データ分析力を高める ビジネスパーソンのためのSQL入門』を全文無料公開しました！

一人でも多くのビジネスパーソンに見てもらい、誰もがデータ分析の基礎であるSQLを学べればと思います。ハンズオン形式でぜひ手を動かしながら読んでみてください！

https://t.co/9zdqc5eriH

[mu - データエンジニア @mu_DataEngineer]

@excet_co_jp @excet_co_jp
鈴木様
見落としており失礼いたしました！
こちらもフォローさせていただきます！

私は分析よりも管理会計のためのデータ収集、蓄積、管理、加工を長らくやってきた感じですね。

[mu - データエンジニア @mu_DataEngineer]

データエンジニアというよりは管理会計エンジニアだな

[mu - データエンジニア @mu_DataEngineer]

SQLの外部結合の絞り込み条件をJOIN句に書くかWHERE句に書くかで返されるデータが違う、ってのは理解しにくいのかなあ。JOIN句とWHERE句の役割を意識してないのだろうか。

[希望エンジニア36 @okd61807313]

SQLで外部結合している時、結合条件として対象テーブルの絞り込み条件を入れるのか、WHERE句に絞り込み条件を入れるかで取得されるデータが変わってくるっていうこと何回言ったら理解できるんだろうな。
どっちでもいいわけじゃないんだよなー。

[日本経済新聞 電子版（日経電子版） @nikkei]

GDP算出時にデータが生み出す価値も捕捉へ、日本は14兆円上振れも。
https://t.co/udFV2P6Vrl

その価値は「現代の石油」とも。EC購入履歴のデータベース整備などを設備投資とみなし、デジタル経済の実態を把握しやすくします。

[mu - データエンジニア @mu_DataEngineer]

IT開発者でSQL書けるって普通のことだと思ってたんだけど、いまはそうじゃないのかな？

[SeattleDataGuy @SeattleDataGuy]

If you work in data, you will have a SQL interview round.

It doesn't matter if you're a data scientist or data engineer.

SQL is everywhere.

Here are some quick tips from beginner to advanced you should know and be able to talk about in a SQL interview.

Beginner
- Be able to explain the different types of joins. I have sometimes seen this question asked by recruiters as a screener question just to make sure they want to pass you along
- Know when HAVING is run in SQL's order of operations vs WHERE
- Know the difference between UNION and UNION ALL

Mid
- Understand how to use a CASE statement inside of a SUM or COUNT function
- Know at least 1-2 ways you could optimize a query and if you decide one of those answers will be put an index on the table..you should also know what the pros and cons of an index are
- Be able to implement both a subquery and CTE, but use a CTE if you want to prove that you have good SQL habits

Advanced
- Know how to answer a problem with and without a window function. Usually you will need to implement a self join in order to imitate some window functions such as LAG and LEAD.
- Understand and be able to explain what a correlated subquery is
- Just reference that you would look at the query execution plan. They will be shocked you even know what that is.

I would love to hear what questions you were asked your SQL interviews. Please share them below!

Image source @bytebytego

#SQL
#dataengineering

[翔泳社のビジネスとITの本 @Shoeisha_BizIT]

翔泳社のビジネス書、1年分プレゼントします！
お好きな12冊を選んで、お待ちください🥰

[mu - データエンジニア @mu_DataEngineer]

SQLの結合をベン図で説明する図をよく見るけど、実際には3テーブル以上の結合が多いから、頭の中で各テーブルを表でイメージして「内部結合だとこの行は減る/増える、外部結合だとここの行は当たる/当たらない、だから最終的にこういうデータセットになるな」ってクエリ作るよね？

[mu - データエンジニア @mu_DataEngineer]

しかもModern Data StackではなくLegacy Data Stackで

[mu - データエンジニア @mu_DataEngineer]

一人で小規模なデータ分析基盤を作ってる

[ミック @copinemickmack]

これはここだけの話ですが、全部現場で見たものばかりなんですよね。

[mu - データエンジニア @mu_DataEngineer]

IT業界は学ぶことが多すぎて仕事してる暇がないな