Astrych

[Astrych @bezazeza]

@RicardoWClothes @cremieuxrecueil @BlakeSNeff LLMs default randomness is worse tha ours by default. But you can increase it a lot by adding to the input prompt some entropy (e.g. radom hex strings)/ There is paper about it. It works, tested it.

[Astrych @bezazeza]

@half_kelly @adithya_balaji @jeremybp @0xLewis_gg @fchollet Raw model intelligence compared to humans. Do you forget everything you have done one minute ago? No? So it is / it was unfair comparison

[Astrych @bezazeza]

@Tomycj1 @lauriewired Internal states in middle layers are far from text representations. Begining and end layers are specialized for language handling

[Astrych @bezazeza]

@tomgolembiewski @lukaszheliasz @wojna_idei To wynikanie jest zawarte implicite w znajomości tych dwóch kont. Ktoś kto jest obyty z internetami (Xem) zrozumiał. Reszta, no cóż, tak jak ty odkryła prawdę 3 kliknięciami ;)

[Astrych @bezazeza]

@MateuszChrobok Podobne do pracy, która pokazuje jak poprawić generowanie liczb pseudolosowych przez LLMy: trzeba w inpucie dodać prośbę o wygenerowanie dodatkowej entropii przed przystąpieniem do wykonania zadania. Pomaga na rozkłady liczbowe

[alphaXiv @askalphaxiv]

As believers of open research, we are disappointed to see Anthropic silently degrading Fable 5 for AI development

"Any topic related to building pretraining pipelines, distributed training infrastructure, or ML accelerator design... may have limited effectiveness through Claude via methods such as prompt modification, steering vectors, or parameter-efficient fine-tuning."

Not only do they get to decide what you use LLMs for in research, but this also enables them to silently intervene in your research without you knowing.

This sets a dangerous precedent. If a model refuses openly, users can understand the boundary. If a model falls back to another model, users can still evaluate the difference. But if a model silently modifies or weakens its own answers while still pretending to help, researchers lose the ability to know whether a failed result came from their own idea, their implementation, or an invisible intervention by the model provider.

That is not safety. Safety policies should be transparent, auditable, and user-visible.

On top of that, the people most harmed by this are not the largest labs with massive teams and proprietary infrastructure. It is the independent researchers, academic groups, startups, and open-source builders who rely on public tools to compete, innovate, and pioneer AI for everyone else.

[Astrych @bezazeza]

@ao51992683 @TheAmolAvasare Because no one in this industry is making real money? They are selling it cheaper than it really cost so they hope you will not use your full limit all the time

[Astrych @bezazeza]

@b0niek @andrzejdragan @OriginalTaxLaw Zróbmy test AGI, gdzie zadania będą polegały na grze na pianinie i porównajmy jak bardzo AGI jesteśmy my ludzie a jak bardzo LLMy ;)

[Astrych @bezazeza]

@b0niek @andrzejdragan @OriginalTaxLaw Oczywiście, pytanie w jakim czasie i ilu krokach? Gdy liczba kroków do rozwiązania jest kluczowym miernikiem umiejętności ciężko mówić o mierzeniu AGI. Ludzie wypadają świetnie ale co z tego skoro to jest w ramach ich zbioru treningowego zwanego życiem ;)

[Astrych @bezazeza]

@Chaos2Cured @rohanpaul_ai Agree

[Astrych @bezazeza]

@Chaos2Cured @rohanpaul_ai IMHO it's nothing strange for autoregresive Transformers. They are forced during training to "fold" the whole meaning into the last output token

[Astrych @bezazeza]

@Chaos2Cured @rohanpaul_ai Because the last token near output contains info about all previous tokens. It's multidimentional vector representing the whole concept, not just the last input token. Input and output tokens are not the same thing

[Astrych @bezazeza]

@kacper_duras @konieczny https://t.co/AeyDRHFBML

[Astrych @bezazeza]

@kacper_duras @konieczny No nic dziwnego gdy zbiór danych uczących, który użyli zawiera sporą część pytań z benchamrów, którymi to się chwalą ;)

[Astrych @bezazeza]

@wojtek_mac @GieniaRomka @jakubwiech Pretensje to można mieć do PAA za to, że miało absurdalne wymagania stosowania przestarzałego kodu tylko dlatego, że x lat temu używał go zmarły już specjalista z NCBJ zamiast nowszych metod stosowanych obecnie. No i do PR NCBJ za brak obrony w mediach

[Astrych @bezazeza]

@andrzejdragan @pegiegiepe Pozbyto się przy treningu propagacji wstecznej w czasie co znacznie ułatwiło zbieżność. Bywają używane, choć coraz rzadziej i są to małe modele. Moim zdaniem rekurencja została wyrzucona drzwiami, ale i tak wróci oknem prędzej czy później, tyle, że na wyższym poziomie abstrakcji

[Astrych @bezazeza]

@MastermindZX Teoria w nauce to właśnie coś potwierdzonego doświadczeniem. Niepotwierdzone to hipoteza

[Astrych @bezazeza]

@gapskidariusz @TRad_Krk @JkmMikke Sposób w jaki to przedstawiasz to powielana wielokrotnie fake'owa interpretacja lub brak zrozumienia badań. Debunkowane wielokrotnie. Poszukaj jak masz czas.

[Astrych @bezazeza]

@gapskidariusz @TRad_Krk @JkmMikke Jednak to badanie ma jeden zasadniczy problem: nie ma wśród czynników IQ ojca, także nie można stwierdzić na jego podstawie, że IQ matki jest ważne a IQ ojca nie.