Top Tweets for #Timestral

7 days ago

Better together: pairing @MistralAI’s new #Timestral with a JITM correction model cut electricity price forecast error 7–23% in Germany & Spain. Timestral reads the rhythm. JITM adds the local market knowledge. Result: sharper 2–3 day ahead forecasts so people can shift usage into the cheapest hours. https://t.co/FJR3ZMBRf7 #AI #Energy #Forecasting #MistralAI #TimeSeries #Electricity #Renewables

jitm_ai's tweet photo. Better together: pairing @MistralAI’s new #Timestral with a JITM correction model cut electricity price forecast error 7–23% in Germany & Spain.

Timestral reads the rhythm. JITM adds the local market knowledge. Result: sharper 2–3 day ahead forecasts so people can shift usage into the cheapest hours.

https://t.co/FJR3ZMBRf7

#AI #Energy #Forecasting #MistralAI #TimeSeries #Electricity #Renewables

Ricky Wang

@rueiciwang

14 days ago

昨天在一個活動中分享了最近使用今年 10 月公開的時間序列預測 LLM - #timestral 的心得，我之所以很在乎 timestral 的原因，他比無論 Chronos-2 或 MOMENT，注意力權重都更具模型面的可解釋性，他有一套叫做 TFT 的白盒框架簡言之就是，在 24 層的神經網路中，你可以觀察到某幾層的權重在做濃縮避免過擬合（timestral 裡面有設計強避免過擬合的設計），那他就會把 24 層神經網路切成多個【大層】，一般來說是 3 或 5 個大層假如在 3 個大層：淺層、中層與高層之間，你就會看到淺層的注意力來回在基礎的模型探索上，例如季節性、基本水平與特殊異常值上面，然後中層是最有肉的一層，你會看到他根據你放入的特徵輸入，去探索你給的特徵與數據之間的關係，以及與淺層注意到的點之間的關係最後，高層就會根據結果去組合然後輸出預測，所以對於我來說，淺層與高層的注意力就是我不要、我想剝離的，我要的是中層注意力權重，實測起來，中層注意力真的能達到我要的結果，附圖可以看見一個範例，是我把中層注意力經過轉換成價位與時間兩個維度然後後面再搭個語言 LLM 或是 typesafe 如 Jev，基本上輸出結果跟我目前規則性理論判斷幾乎很類似了，那我就可以從這個注意力和特徵上面去建立規則知識庫，不需要搭規則了！ timestral 還有很多好的地方，例如三萬多的上下文，每一層降低過擬合的傾向，以及怎麼把解釋性分散到各層的多頭注意力的設計都很有意思，但解釋性是我最大的痛，在我整個 20 歲的生涯幾乎都在跟可解釋性戰鬥從 2010 年代 ML 還沒紅之前的逕向基網路（十年前我還寫了個鐵人賽：https://t.co/lx9qKb8IH8），到後來投入到 CNN/autoencoder 系的模型去提取特徵，以及結合 RL 去透過決策解釋，甚至最後走火入魔和朋友研究 Spiking Neural Network 都是為了可解釋性很高興在注意力時代迎來一個可解釋性的時間序列 LLM，相信未來一定越來越多！

rueiciwang's tweet photo. 昨天在一個活動中分享了最近使用今年 10 月公開的時間序列預測 LLM - #timestral 的心得，我之所以很在乎 timestral 的原因，他比無論 Chronos-2 或 MOMENT，注意力權重都更具模型面的可解釋性，他有一套叫做 TFT 的白盒框架

簡言之就是，在 24 層的神經網路中，你可以觀察到某幾層的權重在做濃縮避免過擬合（timestral 裡面有設計強避免過擬合的設計），那他就會把 24 層神經網路切成多個【大層】，一般來說是 3 或 5 個大層

假如在 3 個大層：淺層、中層與高層之間，你就會看到淺層的注意力來回在基礎的模型探索上，例如季節性、基本水平與特殊異常值上面，然後中層是最有肉的一層，你會看到他根據你放入的特徵輸入，去探索你給的特徵與數據之間的關係，以及與淺層注意到的點之間的關係

最後，高層就會根據結果去組合然後輸出預測，所以對於我來說，淺層與高層的注意力就是我不要、我想剝離的，我要的是中層注意力權重，實測起來，中層注意力真的能達到我要的結果，附圖可以看見一個範例，是我把中層注意力經過轉換成價位與時間兩個維度

然後後面再搭個語言 LLM 或是 typesafe 如 Jev，基本上輸出結果跟我目前規則性理論判斷幾乎很類似了，那我就可以從這個注意力和特徵上面去建立規則知識庫，不需要搭規則了！

timestral 還有很多好的地方，例如三萬多的上下文，每一層降低過擬合的傾向，以及怎麼把解釋性分散到各層的多頭注意力的設計都很有意思，但解釋性是我最大的痛，在我整個 20 歲的生涯幾乎都在跟可解釋性戰鬥

從 2010 年代 ML 還沒紅之前的逕向基網路（十年前我還寫了個鐵人賽：https://t.co/lx9qKb8IH8），到後來投入到 CNN/autoencoder 系的模型去提取特徵，以及結合 RL 去透過決策解釋，甚至最後走火入魔和朋友研究 Spiking Neural Network 都是為了可解釋性

很高興在注意力時代迎來一個可解釋性的時間序列 LLM，相信未來一定越來越多！

261

Fabien Elharrar @fabien_elharrar

25 days ago

🚀 @MistralAI lance #Timestral, une #IA qui prédit vos chiffres sans GPU ! Je l’ai testée sur mon PC : 218 ms par prévision, des benchmarks prometteurs et un vrai potentiel pour les agents IA. 🔬 Mon test complet : https://t.co/baK3JwdLJA

119

Top Tweets for #Timestral

Last Seen Hashtags on Sotwe

Trends for you

Most Popular Users