@ITAAirways mi avete cambiato un volo 13 ore prima di partire, arriva con 5 ore di ritardo e 2 cambi da 1 ora, praticamente un itinerario insostenibile. Ciliegina sulla torta è che dato il fuso orario avete anche l'assistenza non disponibile.
@Fil_Biafora@tempoweb Ma quindi non hanno pagato la clausola e ciao? Ieri avevo capito che il tema trattativa con questi fosse concluso con un vi do tutto e ciao
Ricostruzione su Sancho:
- MUTD già accordati
- Sancho ha dato APERTURA
Quindi Sancho sapeva già che non giocavamo la UCL e che lo stipendio sarebbe andato a scendere, e infatti credo che il problema sia tra commissioni, % e clausole, sulle quali PER ME si sta discutendo
Ennesima paraculata di questa proprietà dopo Mou, Dybala, Lukaku in prestito e De Rossi. Non c'è mai stata programmazione, solo mosse per tenere buona la piazza. Per l'ennesima volta si è persa un'occasione per fare partire un progetto. Salvezza e poi andatevene. @friedkingroup
Linear algebra + API probing = exposed LLM architecture secrets
• Extracted ada and babbage projection matrices for <$20 USD
• Confirmed hidden dimensions: 1024 (ada), 2048 (babbage)
• Recovered gpt-3.5-turbo hidden dimension size
• Achieved mean squared error of 10^-4 in weight reconstruction
Original Problem 🔍:
LLMs like ChatGPT and PaLM-2 are black boxes with little known about their inner workings. Model stealing attacks aim to extract information, but have been limited to small models.
-----
Solution in this Paper 🧠:
• Introduces first model-stealing attack on production LLMs
• Recovers embedding projection layer (up to symmetries) using API access
• Exploits final layer projection from hidden dimension to logit vector
• Uses targeted queries with logit bias and logprob information
• Applies linear algebraic techniques to reconstruct logits and weights
-----
Key Insights from this Paper 💡:
• Black-box LLMs vulnerable to precise parameter extraction
• Logit bias and logprob API features enable attacks
• Embedding dimension and projection matrix recoverable
• Attack works on OpenAI's ada, babbage, and gpt-3.5-turbo models
• Potential defenses include API restrictions and architectural changes
L'espulsione di Hermoso ha portato ad una situazione più unica che rara: la Roma si è ritrovata a schierare in campo solo giocatori con un numero di maglia dispari.
#ASRoma | #FiorentinaRoma
WOW. Meta just open-sourced a Github repo for LLM Training.
Meta Lingua is a minimal and fast LLM training and inference library designed for research
📊 Key features
- Minimal and fast LLM training/inference library for research
- Uses modifiable PyTorch components for experimenting with architectures, losses, data
- Enables end-to-end training, inference, evaluation
- Provides tools for understanding speed and stability
- Structured with core 'lingua' library and 'apps' to showcase usage
🚀 Lingua's performance comparison to other models
- 1B models trained on 60B tokens match DCLM (DataComp-LM) baseline performance on many tasks
- 7B models (Mamba, Llama) show strong results on benchmarks like ARC, MMLU, BBH
- Llama 7B squared ReLU 1T tokens model achieves high scores across tasks