The Strata configuration used IQ2_XS weights, an INT8 KV cache, a 32K context window and MTP=4. LLM requests run serially, with OCR sharing the same GPU.
Strata: 0.1.38 → 0.1.39. With the same model, median latency fell from 15.50 to 7.58 seconds, another 51% reduction.
llama.cpp to #Strata: ~6.3× higher effective token throughput and 84% lower median inference latency in matched tests. Single 20 GB GPU.
Self-hosted in production, processing hundreds of documents a day on an NVIDIA RTX 4000 SFF Ada hosted at @Hetzner_Online. @coldniko ��
What changed, and what did we measure?
We changed both the open-weight model and the inference engine.
• Effective output rate: 3.63 → 22.87 tokens/s
• Median response latency: 43.36 → 7.05 seconds
• P90: 56.39 → 13.57 seconds
• Total batch time: 507 → 112 seconds
com a revisão do CCP, é preciso atualizar procedimentos, checklists e modelos. o maiestro pode ajudar as equipas a identificar o que muda e a aplicar essas alterações no trabalho diário, sempre com validação humana.
A revisão do CCP entra em vigor hoje. Novos limiares e regras exigem rever procedimentos, checklists e modelos. O maiestro liga conhecimento jurídico, agentes e workflows para apoiar a preparação, com validação humana. Fale connosco: https://t.co/TEaHvUko0i #CCP
Antes de convidar uma entidade, que histórico contratual e relações entre empresas devem ser analisados? O Preparação CCP MCP reúne evidências para os artigos 113.º e 114.º. A decisão continua com a equipa. Conheça o beta: https://t.co/1eeQk1dXXh
Temos trabalhado para que a IA faça mais do que responder a perguntas: que ligue conhecimento, sistemas e processos para ajudar as equipas a agir. É essa a ideia por trás do maiestro. Estamos só a começar.
Encontrar o contrato certo no Portal BASE não devia exigir pesquisas dispersas. O BaseGov MCP leva contratos, anúncios e peças públicas ao seu assistente de IA, com ligação às fontes oficiais. Experimente: https://t.co/YHB3VsZ2b9 #ContrataçãoPública
A IA cria valor quando liga conhecimento, dados, sistemas e processos. O maiestro orquestra agentes especializados e automações para transformar informação em ação, com as pessoas no controlo. Conheça: https://t.co/TEaHvUkVPQ #maiestro
A hora de jantar também pode ser uma hora para aprender, conversar e divertir em família. 🍽️⭐
Criámos o À Mesa! para aprenderem juntos, dos mais pequenos aos adultos.
https://t.co/0weT97Z12e
#ÀMesa#EmFamília#AprenderJuntos
Descubra todas as funcionalidades incríveis da @smiityapp e leve a sua experiência turística a um novo nível!
👉 App Store: https://t.co/0dwxmibLQj
👉 Google Play: https://t.co/7WHWYvwv5k
#smiity#turismo#smartcities#smarttourism
… talvez fosse tempo de alguém responder por este crime. Espero que Catarina Martins, Marta Temido e António Costa consigam dormir sabendo que a decisão tomada por questões puramente ideológicas custa, … em primeiro lugar, vidas humanas. https://t.co/6dTVqru8CM
@smiityapp - Smart Tourism Platform is the smart tourism platform for businesses and municipalities that provides all the data and tools you need to attract and retain tourists. Learn more here: https://t.co/g59i2SHh46
#smiity#mobinteg#smarttourism#tourism#smartcities