📄 Releasing the Soofi S pretraining tech report: a sovereign, open foundation model for German and English
Today we’re publishing the full pretraining tech report and project page for Soofi S 30B-A3B — a Mixture-of-Experts hybrid Mamba model trained on ~27 trillion tokens with deliberately up-weighted German.
What’s in the report:
🏆 Strongest fully open model in our evaluations on BOTH the English and German aggregates — ahead of Olmo 3 32B and Apertus 70B (full methodology in the report)
📋 Radical transparency: complete per-source data accounting, all hyperparameters, training + eval code, checkpoints — everything under permissive licenses
🇩🇪 Trained end-to-end on Deutsche Telekom’s Industrial AI Cloud in Munich — sovereign AI infrastructure on German soil
Soofi S combines frontier-level capability with the highest measured aggregate long-context decode TPS, and unlike full-attention dense baselines maintains high throughput as context grows. The figure plots Capability Index versus measured aggregate decode TPS/GPU at 40K context and batch 32. The Capability Index averages five benchmark groups, i.e., Code, GSM8K, GPQA-Diamond, English aggregate, and German aggregate, after normalizing each group to the best plotted model. Aggregate decode TPS/GPU is measured with a TP=1, one-B200 vLLM latency-subtraction protocol.
Wir freuen uns die KI-Suche beim Springer Professional Fachverlag zu sein. Durchsuchen Sie mit uns über 150.000 Bücher und mehr als 500 Zeitschriften mit einer leistungsstarken KI-Suche, die auf ähnlichen Begriffen basiert. #ai#ki#suche
https://t.co/1212Rd4Q0Z
2024: Wie KI die Unternehmenssuche revolutioniert. Erfahren Sie mehr über kleinere, spezialisierte Modelle und den Trend zu multi-modalen Anwendungen.
#ki#trends#ai#llm#gpt#gemini
https://t.co/iAGarCxPpg
Wir präsentieren auf den WiMa Tagen in Stuttgart INTERGATOR GPT. Besuchen Sie uns und erleben Sie, wie Sie mit Ihren Dokumenten und Daten im Unternehmen chatten können. #wissensmanagement#gpt#intergator#ki#chatgpt#ai
Erfahren Sie, wie Sie bereits heute eine GPT-Lösung in Ihrem Unternehmen einsetzen können und z.B. Zugriffsberechtigungen und Datenanbindungen effizient meistern. #intergator#ki#gpt#ai#ki
https://t.co/H36qBUdWUw
Together with @carperai, @AiEleuther, @UBC_CS, @StabilityAI, and others we are introducing #QDAIF: Quality-Diversity through AI Feedback to generate more diverse and high-quality natural language.
🔗Read the full research here: https://t.co/AxQqZ4nSLo
Wir sind mitten in der turbulentesten industriellen Revolution und die heutigen Entscheidungen werden die Welt von Morgen prägen. Das Umfeld für alle folgenden Generationen wird von KI gebaut und nur mit eigener Kompetenz können wir sicherstellen, dass unsere Werte darin sicher abgebildet werden. Diese Frage geht damit nicht nur Nerds (wie mich) an und ich bin froh, dass viele unserer Vordenker diese Transformation unterstützen. Entschiedenes Handeln ist gefragt, um im internationalen Wettbewerb eine steuernde Hand am Lenker zu behalten.
Our CEO and Founder @JonasAndrulis spoke to @MORGANMEAKER from @WIRED about Aleph Alpha's role in the European AI market and what sets European-made AI apart from its competitors.
🔗https://t.co/RtX6MIRiTd
#writtenbyalephalpha
Ich habe viele starke Ideen gesehen, wie wir wesentliche Themen mit KI souverän und innovativ aufstellen können. Im Gesundheitswesen haben wir eine besondere Verantwortung aber auch die Chance eine neue Innovations-platform zu schaffen, die vielen Menschen helfen wird.
#KI ist mehr als Technologie – sie ist der Weg in eine bessere Zukunft. Sie schafft Chancen und Wachstum für Deutschland. Nur gemeinsam gestalten wir eine vertrauenswürdige KI 'Made in Europe', so
Volker @wissing zur Partnerschaft zwischen @Aleph__Alpha & #IPAI in Heilbronn.
Wir freuen uns über die Zusammenarbeit mit @Aleph__Alpha und auf die spannenden gemeinsamen KI Projekte für eine sichere und transparente GPT Nutzung bei unseren Kunden.
https://t.co/xtzUolZCZ9
#LLM#GPT#INTERGATOR#KI#Luminous#AI
Mit INTERGATOR GPT haben Sie eine moderne Möglichkeit mit Ihrem Unternehmensswissen zu chatten und neue Einsichten in Ihre Daten zu erhalten.
https://t.co/xPaKoqZrpR
#AlephAlpha#KI#AI#LLM#ChatGPT#Bard#NLP#INTERGATOR
Join us for the last talk of the 2023 summer term. Tobias Neumann from @Huawei, will be giving a talk on July 5th at 5 pm in room Z 308 @DresdenHtw! Come and learn about “The Power and Pain of Open Geospatial Data“.
Besuchen Sie uns vom 14. - 16.6.2023 auf der PATINFO 2023 in Ilmenau. Wir freuen uns auf Ihren Besuch am Stand 22. Erleben Sie unsere INTERGATOR Patent Search - eine moderne Patentrecherche Lösung auf Basis künstlicher Intelligenz. #ki#ai#patent#patents#search#paton
Ok, so LLMs are a Thing.
How do they work? Embeddings.
WTF are embeddings?
I spent a year doing a deep dive. But when I was researching, I couldn't find anything that explained them in business, engineering, AND math contexts. So I wrote a thing.🚀
https://t.co/iykVXIuzty
Exciting news - Michael Häusler, from @ResearchGate, will be giving a talk on May 10th at 5pm in room Z 308 @DresdenHtw! Come and learn about "Data for Science: The gears behind ResearchGate".