Residuals are the key to improving model performance. But it took me 5 years to figure this out. In 5 minutes, I'll share what took me 5 years to figure out. Let's go.
1. What are residuals? In statistics and machine learning, "residuals" refer to the differences between observed values and the values predicted by a model. These are your model errors.
2. Residual Analysis: The key to understanding if your model is any good is residual analysis. What I'm looking for is: Linearity, Homoskedasticity (constant variance), and lack of pattern.
3. Why it took me 5 years (what they don't teach you)? Residuals are a treasure trove of information. I assumed if the "diagnostic plots" in the Residual Analysis looked good, I was good. This is wrong.
4. The 2 mistakes I made: When residuals didn't look good, I tried to create a more complex model (Mistake 1). When I thought the residuals "looked good", I'd stop modeling and move on (Mistake 2).
5. My Epiphany 💡 (The Residual Trick): In 2019, I was researching time series competitions, and I stumbled upon one where the 2nd place solutions used what I call "Residual Modeling". The concept isn't new (in fact ARIMA actually uses residual modeling to model the errors in the "MA" part of the ARIMA model). But what was new was using XGBoost to do it. A light bulb went off...
6. The Residual Trick: What would often happen in my time series models is that ARIMA (or SARIMAX more specifically) would leave information in the residuals. Through trial and error, I found that adding an XGBoost model on the residuals of the first-pass ARIMA model worked awesome for extracting more information.
7. Birth of ARIMA Boost: In my Modeltime R package, I turned this simple 2-step process into a model called "ARIMA Boost". And it combines the strengths of both models. ARIMA for trend and basic seasonality. XGBoost for xregs and multiple seasonality.
Links (ARIMA Boost): https://t.co/kyxmXIysX9
===
Want help improving your data science skills?
👉 Free 10 Skills Webinar: I put together a free on-demand workshop that covers the 10 skills that helped me make the transition to Data Scientist: https://t.co/LR39RJ5XKB
👉 ChatGPT for 10X Faster DS Projects: I have a live workshop where I'll share how to use ChatGPT for Data Science (so you can complete projects 10X faster): https://t.co/EaMpKrJiqX
If you like this post, please reshare ♻️ it so others can get value.
How Discord Stores Trillions of Messages
In 2015, Discord started using MongoDB to store messages. By November 2015, there were already 100 million messages that did not fit in RAM, causing unpredictable latency.
In 2017, Discord moved to storing billions of messages in a Cassandra database. By 2022, the number of stored messages had ballooned to trillions across 177 nodes.
But Cassandra was plagued by several serious issues.
- Hot partitions occurred when a small number of high traffic channels overwhelmed nodes, cascading latency across the cluster.
- Garbage collection pauses created latency spikes.
- Compactions fell behind, forcing expensive reads to query multiple SSTables.
- Maintenance like node repairs interrupted service.
Discord migrated to ScyllaDB for the following benefits:
- Written in C++ instead of Java, eliminating disruptive garbage collection pauses
- Shard-per-core model provides stronger workload isolation to prevent hot partitions from cascading latency across nodes.
- Reverse query performance optimized to meet Discord's needs
- They reduced nodes to 72 while increasing disk space per node to 9TB.
To further protect ScyllaDB, Discord:
- Built intermediary data services in Rust that limit concurrent traffic spikes
- Data services sit between the API and database, coalescing requests
- Query the database just once even if multiple users request the same data
- Rust provided fast, safe concurrency ideal for this workload
The results? Tail latencies down from 40-125ms to a steady 15ms. Database uptime improved from weekend-long outages to smooth sailing. The system easily handled World Cup traffic spikes, processing events like goals and penalties without breaking a sweat. Discord continues to scale, now reliably storing trillions of messages with ScyllaDB.
–
Subscribe to our weekly newsletter to get a Free System Design PDF (158 pages): https://t.co/kNfv0DVDdf
🔊 [Appel au témoignage]
👉 Vous êtes un réfugié français qui a fui l’immigration ?
👉 Vous êtes partis en France ou à l’étranger (où ? Quand ? Quel déclencheur ?) ?
🔁 Partagez votre témoignage dans ce fil ⤵️
Love you @elonmusk !
Thank you for having sauter the compte of Anne-Sophie Lapix (@aslapix).
This gaucho-“progressiste” asked you to censure all the comptes nationaux et patriotes.
Can you also acheter all the médias of the service public français here to faire le ménage ?
Pour en finir une fois pour toutes avec les intox officielles sur le myocardites (1)
Marre des menteurs qui tuent par leurs menteries.
1. A tous les médecins (et les autres ) de mauvaise foi.
Même le CDC les reconnait
Même Pfizer... Comprenez-vous le sens de l'expression se faire plus catholique que le pape? ... apparemment maintenant oui!
Voici un document imparable!
2. Du CDC USA
Regardez d'abord la DATE du document du CDC - 18 Aout 2021!!!
Ceci est déjà choquant, car c'est AVANT que certains gouvernement (le BE entre autres) ne passe le "pass sanitaire" de la honte, qui a forcé des jeunes SANS risques COVID à aller se vacciner et donc à courir ce RISQUE MAJEUR et CHRONIQUE.
Mes autorités BE étaiennt au courant de ces tableaux!
2. Ensuite souffrez cher(s) collègue(s) que je vous donne un "crash course" en épidémiologie (sorry sorry).
Une statistique de niveau collège (cad un ratio effet secondaire / vax) est juste inutile. Il nous faut calculer des Odds Ratios (OR).
KésaKo les OR?
C'est le rapport entre un risque attendu dans la population générale qui MATCHERAIT parfaitement la population touchée par cet effet secondaire et ce qui est mesuré.
Matché?
Cela veut dire pour âge, sexe, groupe ethnique, antécédents familiaux, antécédents médicaux, niveau-socio-éco, ... bref autant que faire se peut, nous devons comparer des pommes et des pommes et non des pommes et des carburateurs de tracteurs!
3. Data! Data! Data :)!
Quand on fait cela - et le CDC pour une fois avait fait son boulot et puis s'est tu dans toutes les langues tout comme la presse - on peut établir un ratio entre ce qui est "expected" et qui est "measured" (sorry pour l'Anglais) et on a donc un OR.
La SEULE différence qui reste ou presque est alors "vax vs. non vax". C'est ce que la tableau ci-dessous montre.
[Remarque IMPORTANTE - pour une telle analyse, il n'est POINT besoin de dizaines de milliers de cas... qlq centaines suffisent (encore une différence entre épidémiologie est études cliniques ;) ]
Cet OR (odds ratio) est la mesure de l'augmentation du risque lié à une habitude de vie, une procédure ou un médicament
4. Regardons donc ce tableau ensembles.
Faites le rapport observed/expected et que voit-on... Horreur/Malheur... des fois 4, fois 5 et jusqu'à fois 20 pour les garçons de 18 à 24 ans.
5. Quelles normes ou critères appliquer dans un tel cas?
Si je vous dit - et c'est la règle - qu'on a retiré des médicaments du marché pour du 2X! Si je vous que l'OR entre tabagisme et cancer est entre 1.9 et 7 selon les poplautiosn et le type de tabagisme!
Vous trouverez ici l'exemple DOCUMENTÉ du Vioxx: https://t.co/gyl0MSeRtb
Ces études montrent un OR entre 2X plus élevés comparé à un placebo, et 5 X plus élevés comparés à un autre anti-inflammatoire
Alors, cela commence à percuter?
Pas encore?
6. Allons plus loin donc
Ok, en Israel - 2 mois dans la vaccination, ils ont eu les premiers rapports sur ces myocardites. Puis elles furent confirmées dans la foulée dans une douzaine de pays.
Elles firent même les news à la TV officielle en Israel (ils avaient déclaré une fréquence de 1/3000 hos à 1/6000 femmes)
Voici un des articles IL: https://t.co/oN4puQFUKP
Ici un autre papier ds un autre pays https://t.co/9XH57Ej9yW
Ici de l'anapath intéressante car c'est donc un phénomène immunitaire -
https://t.co/7GJQIEC3X5
En tout, ds une 12-aine de pays en 2-3 mois. Et la presse s'est tu?!?
Je vous mets ici les News TV IL à l'époque. Media officiel! Lien video en bas - avec sous-titres en FR!
CCL - Donc svp ARRETEZ de désinformer VOS patients,
arrêtez vos délires - car vous les mettez en danger! Merci pour eux! Quant aux lecteurs qui ont compris, svp tapez ces infos sur le bureau de vos médecins traitants car la farce - après 3 ans - a assez duré!
Et vous, mes chers concitoyens, n'en avez pas marre vous de ces minus habens et trolls qui prétendent "savoir" car ils sont toubibs, mais en fait restent comme le philosophe Raphael Enthoven COINCÉS dans leur illusions cognitives.
Ces gens sont frappadingues et accessoires de morts - cela suffit!
Merci de diffuser - surtout chez ceux qui osent dire ce genre de chose a propos de ces myocardites - qui sont graves car elles seront débilitantes A VIE bien souvent (même si pas toujours!)
En gros pour un risque COVID en dessous du 1/million à cert âge-là, on leur a injecté un truc pas au point qui leur donne une chance pour 1000 d'être handicapés TOUT au long de leur vie!
Et vous acceptez cela?
Moi pas...
#DataWrangler is a code-centric data cleaning tool 🧹that is integrated into #vscode and VS Code Jupyter Notebooks. With it, you can seamlessly clean and explore your data in VS Code ✨
🐼 It automatically generates Pandas code and shows insightful column statistics and visualizations.
🔗 More info: https://t.co/lvFzJ53V4k
🧵1/ BREAKING: The largest “trans healthcare” providers in the U.S. are rubber-stamping letters approving gruesome, life-altering surgeries. It’s such a racket that my producer was approved for testicle removal in #22minutes. The tape is disturbing.
Interpreting Option Skew:🧵
Let's first understand how volatility is measured using standard deviation (stdev).A stdev is a measure of how dispersed the data is in relation to the mean.Low stdev means data is clustered around the mean, and high stdev means data is more spread out
Router Protocol has partnered with @YuzumaxZUMA, a Web3 eCommerce Marketplace!
Yuzumax will leverage Router's API to accept crosschain payments in their Marketplace & will also utilize Router's Crosstalk framework for crosschain staking.
#BuidlWithRouter