> be data scientist
> boss gives 5TB of raw .txt files. (In interview always ask file format btw)
> "just do some word counts and searches, anon"
> MFW it would take 3 years to grep this on his t3 micro mini aws
> time to go full autist and achieve maximum throughput
The "Ascended" Data Pipeline
> Step 1: The Great Partitioning
> don't just "read" the files because byte io streams will cry
> use pyarrow.dataset to scan the disk
> fragment the raw text into 128MB Parquet chunks
> optimise for L3 caching and NVMe sequential read speed
> partition by date/source so the OS doesn't cry
> Or partition by random (non English words)
> Step 2: The Information Theory Play
> take a 1% statistical sample of the whole 5TB
> build a global FSST (Fast Static String Taxonomy) dictionary
> global dictionary for high-cardinality terms
> identify the common prefixes/suffixes for trie storage
> language entropy into 1-byte symbols
> A LOUDS Trie uses only 2.14 bits per node.
> You can then run POPCNT at O(1)
> Step 3: The Ingestion (The "Warm-up")
> spin up every CPU core you own
> pq.ParquetWriter with dictionary_encoding=True
> convert raw strings into integer keys pointing to the FSST Trie
> attach a Bloom Filter to every Row Group
> if the word "abcd" isn't in the filter, the CPU won't even look at the data
> key based counting is easy but we take one step ahead
> Step 4: Memory Mapping (Arrow fs "No-Copy" Hack)
> set mmap=True in the PyArrow scanner
> OS kernel handles the data
> RAM usage stays at 500MB while processing TBs
> physical disk bytes are mapped directly to virtual address space
> ZERO. COPIES. MADE.
> Step 5: More optim: The GPGPU Option
> standard Python is for children
> pipe the Arrow Buffers directly to NVIDIA cuDF via GPUDirect Storage
> bypass the CPU and System RAM entirely
> NVMe -> PCIe -> VRAM
> Step 6: The Calculation (The "Sigma" Move)
> bit-sliced parallel search on the GPU
> 5,000+ CUDA cores performing integer comparisons on the FSST keys
> search O(1) instead of O(N)
> word counts happen at 40GB/sec
> finish the 5TB task before your coffee gets cold
> Step 7: CPU "SIMD" cope-poor people pathway
> if you're poor and don't have a GPU
> use AVX-512 bit-slicing in C++
> process 64 words in a single clock cycle on one core
> still faster than 99% of "Big Data" engineers
İnternet hiçbir şeyi unutmaz diyorlar. Yanılıyorlar. Ona unutturmayı bilmeniz gerek.
Geçen gün birinin Google Takeout verilerini inceledik. 2001 yılından beri, tam 185 GB veri birikmiş. Konum geçmişinden yıllar önce sildiğini sandığı ses kayıtlarına kadar her şey orada.
İnternetteki varlığınız saatli bir bomba gibi beklemesin. "Dijital Ayak İzinizi" sıfırlamak sandığınızdan daha kolay. Bu bir amme hizmetidir. Kaydedin, uygulayın.
1. Büyük Veriyle Yüzleşin (Google Takeout)
Önce Google Takeout'a girin ve hakkınızda ne bildiklerini indirin. Gördüklerinize şaşıracaksınız. İyi haber şu: Google'a düzenli aralıklarla (3-6 ayda bir) mail atıp "Hakkımdaki verileri silin" deme hakkınız kanunen var. Buna "Hayır" diyemezler.
2. Dijital Mezarlığı Temizleyin
Yıllar önce açıp unuttuğunuz o forum üyelikleri, utanç verici eski tweetler... Hepsini bulmak için "JustDeleteMe" veya "AccountKiller" araçlarını kullanın.
Mailiniz bir yerlerden sızdı mı? "HaveIBeenPwned" üzerinden kontrol edin. Sızıntı varsa şifrenizi değil, dijital kimliğinizi değiştirme vakti gelmiştir.
3. Görsel Hafızayı Silin
Adınızı arattığınızda çıkanlar buzdağının görünen kısmı. "TinEye" veya Google Görseller ile yüzünüzü ters arama yapın. İstemediğiniz fotoğrafların olduğu sitelere içerik kaldırma formu gönderin. Üşenmeyin.
4. Veri Tüccarlarına (Data Broker) Dur Deyin
Spokeo veya Whitepages gibi siteler verilerinizi toplayıp satar. Bunlardan manuel olarak "opt-out" (sistemden çıkma) talebi oluşturun. Sizin veriniz üzerinden para kazanmalarına izin vermeyin.
5. Telefon Numarası Tuzağı
Numaranız sizi dijital dünyada "siz" yapan en güçlü koddur. Mümkün olan her yerden numaranızı kaldırın. SMS doğrulaması yerine uygulama tabanlı 2FA (Google Authenticator vb.) kullanın. Numaranızı vermeyin, ProtonMail gibi servislerle ikincil (alias) kimlikler oluşturun.
6. Araç Çantası (Setup)
Sıradan tarayıcıları bırakın.
• Tarayıcı: Brave veya Firefox.
• Arama: Startpage.
• Kalkan: uBlock Origin ve Privacy Badger eklentileri.
• Hafıza: Her yer için farklı şifre üreten Bitwarden.
Fotoğraflarınızın deepfake malzemesi, verilerinizin reklam ürünü olmasını istemiyorsanız "Dijital Hijyen" artık tercih değil, zorunluluktur.
Twitterı yıktı geçirdi bu makale. Okumanızı tavsiye ederim gerçekten hayatınıza yapacağınız doğru bir yatırım olur.
Tüm gün motivasyon disiplin vs ile kendini bişeylere zorlayarak başarılı olamayacağınızı anlatıyor. Spoiler vermeyeyim okuyun.
At the 2009 MTV Video Music Awards, Sacha Baron Cohen, dressed in a jockstrap with wings, made a dramatic entrance by crash-landing directly onto Eminem's lap.