Mr. S

Web Dev | Fullstack | PHP | Vue.js

[Sumanth @Sumanth_077]

Train your own LLM from scratch!

A step-by-step repo that walks you through building and training a transformer model from scratch using PyTorch. From downloading training data all the way to generating text.

The architecture is built from the ground up following the original "Attention is All You Need" paper. MLP, single head attention, multi-head attention, transformer blocks, and the full transformer model - all coded and explained with detailed diagrams at each step.

Training data comes from The Pile - a diverse 825GB open-source dataset covering books, articles, code, websites, and more. The repo includes scripts to download it, preprocess and tokenize it using tiktoken, store it in HDF5 format, and feed it into training batches.

You can train a 13M parameter model on a single Colab T4 GPU. At 13M parameters the model starts generating proper grammar and coherent short sentences. For billion-parameter training you need at least an A100 or RTX 4090. The repo includes a full GPU compatibility table so you know exactly what's possible on your hardware.

Includes a complete SFT and RLHF guide as a separate notebook for taking your trained model further.

Key capabilities:

• End-to-end pipeline: data download → preprocessing → training → text generation
• Full transformer implementation from scratch with PyTorch
• Trains models from 13M to 2B+ parameters on a single GPU
• Training data from The Pile (825GB, 22 diverse datasets)
• Tokenization via tiktoken (r50k_base)
• SFT and RLHF guide included

100% open source.

I've shared the link in the replies!

[Mr. S @sgndr05]

@Gabriel55797932 @Mixamko @hgvaz @mastef @x_don_Nikon @madcraftian @SuperWorldBox @Mixamko let's go

[Solekhan @__PASMANTAP]

Gak pernah disiarin di tv manapun, sampai sore menjelang malam terus berlanjut, tuntutan mahasiswa belum pernah di gubris.

[Sumatera Adil & Federal @indepenSumatera]

MEREKA DIBUNGKAM DILAPANGAN

MARI KITA GELORAKAN DIRUANG MAYA INI

NEGARA INI SUDAH TEELALU SAKIT, SAKITNYA SUDAH STADIUM AKHIR

- DOMKRASI HILANH
- HUKUM DITELANJANGI
-ANAK ANAK DIRACUNI
-KOLUSI,KORUPSI DAN NEPOTISME DIPERTONTONKAN

LALU APA LAGI ALASAN KITA UNTUK TETAP DIAM.

DIAM MELIHAT KEMUNGKARAN ADALAH MUSIBAH BAGI SELURUH WARGA.

MELAWAN ADALAH JALAN✊️🔥

[vitaᡣ𐭩 @Novit_aa]

🚨 DEMO DI CAWANG CENTRAL PETANG TADI

Kita berjuang lewat Sosmed ‼️‼️
Karena Media Nasional udah GAK WARAS.

PANJANG UMUR PERJUANGAN ✊

[Sumatera Adil & Federal @indepenSumatera]

DEMO HARI INI GAK ADA YANG UPDATE KAH DI X?

Baru satu akun awak lihat yang update tadi, apa jangan-jangan udah ada yang up tapi gak keluar buble?

Awak tahu dari tadi siang ada demo, dalam hati bilang biar lah yang lain yang up, tapi sampai malam gak ada lewat 😭

[Charlie Hills @charliejhills]

Anthropic just dropped Code w/ Claude Day 2.

All 13 sessions from London 2026 in one place:

1. Ship your first Managed Agent
↳ https://t.co/RvANkXsUnO

2. Tool, skill, or subagent?
↳ https://t.co/Tf0MYUWe69

3. Agent Battle: Mine the most diamonds
↳ https://t.co/lCY1r13mCf

4. Evals for taste: slide-generation agent
↳https://t.co/lCY1r13mCf

5. Agents that remember
↳ https://t.co/RaK7gAHZ6q

6. How we Claude Code
↳ https://t.co/1mB2GL10po

7. Agentic workflows with a custom DSL
↳ https://t.co/6L7OMnqtJa

8. Fighting financial crime with Claude Cowork
↳ https://t.co/y4bHXjQ0Xt

9. AI at the legal-technical frontier
↳ https://t.co/vqWAQmuS7b

10. How AirOps builds AI products with Claude
↳ https://t.co/p3USU2avAI

11. How Metaview built self-improving prompts
↳ https://t.co/nOgmLcHdWu

12. Teaching agents to learn from your team
↳https://t.co/KRukgqhto3

13. Building the best agentic analytics harness
↳ https://t.co/fvB5QKfg0E

Full playlist: https://t.co/BH9OML9z8K

Get 80+ free resources

https://t.co/zr1uWatiBo

Repost ♻️ to help someone in your network.

P.S. Which session are you watching first?

[Felipe Demartini @namcios]

30 anos.

Por 30 anos o PC foi a mesma coisa: Intel ou AMD dentro, GPU do lado, e torce pra não travar.

A NVIDIA acabou com isso numa keynote.

RTX Spark. Primeiro chip deles para computador pessoal. CPU, GPU e memória num único silício. ARM, 3nm, 1 petaflop de IA local.

Num laptop de 14mm.

Rodou Forza Horizon 6 e 007 First Light no palco a 100 FPS em 1440p. Fora da tomada. Sem throttling. No Windows.

O número que muda tudo: roda modelos de IA de 120 bilhões de parâmetros sem cloud. Sem API. Sem assinatura. Seu agente de IA mora na sua máquina. Ligado 24 horas. Só seu.

O PC não é mais uma tela com teclado. É uma estação de IA pessoal.

[M. Fatahillah Akbar @mfatahilahakbar]

Dari tuntutan 15 tahun dan denda 1 M serta uang pengganti 16 M

Menjadi 4 tahun dan denda 500 jt dan tidak ada uang pengganti..

Ini Jaksa pasti Banding, Terdakwa juga.

Sidangnya lanjut di Pengadilan tinggi nih..

Apalagi ada Dissenting Opinion ya.

2 bebas, 3 bersalah.

[You Know Who @teddyswansons]

Hasil sidang putusan Ibrahim Arief alias Ibam (eks konsultan teknologi Kemendikbudristek) dalam kasus dugaan korupsi pengadaan laptop Chromebook dan Chrome Device Management (CDM) adalah vonis 4 tahun penjara dan denda Rp500 juta.

Sidang pembacaan putusan digelar hari ini, Selasa 12 Mei 2026, di Pengadilan Tipikor Jakarta Pusat. Majelis hakim menolak tuntutan uang pengganti (Rp16,9 miliar subsider pidana tambahan) yang diajukan jaksa.

Latar Belakang Singkat Kasus Tuntutan jaksa (16 April 2026): 15 tahun penjara + denda Rp1 miliar subsider 190 hari kurungan + uang pengganti Rp16,92 miliar subsider 7,5 tahun penjara. Jaksa menilai Ibam terlibat dalam pengarahan spesifikasi yang menguntungkan vendor tertentu, menyebabkan kerugian negara total ~Rp2,18 triliun.

Ibam selalu membantah tuduhan, menyatakan dirinya hanya konsultan tanpa kewenangan memutuskan, tidak menerima keuntungan pribadi, dan kasus ini adalah kriminalisasi. Ia berharap vonis bebas.

Dua terdakwa lain (Sri Wahyuningsih & Mulyatsyah) sudah divonis lebih ringan: masing-masing 4 tahun dan 4,5 tahun penjara + denda Rp500 juta + uang pengganti.

Vonis ini lebih ringan dari tuntutan jaksa dan sejalan dengan vonis rekan-rekannya. Sidang Nadiem Makarim (mantan Mendikbudristek) masih berjalan terpisah. Informasi ini berdasarkan update terkini dari sumber berita dan laporan langsung di media sosial. Putusan lengkap bisa dicek di situs PN Jakarta Pusat atau berita susulan.

Sumber:
@hendrifisnaeni
@To_Evermore
https://t.co/oQOwgn9c0c
https://t.co/xnoqHd6LrJ
https://t.co/Ip7uZVkYV3

[Giri Kuncoro @girikuncoro]

Sesuai arahan pak presiden, kalau ada yang mau referral, feel free to DM interested roles sama one liner what exceptional works you have done. Preferably London/Tokyo office, supaya bisa kerja bareng, dan ngurus visa lebih mudah.

Akan lebih selektif untuk ngasih referral kali ini, dari 20 referrals anak Indo yang disubmit kemarin, belum ada yang berhasil sampai offering, 4 sampai final round, mayoritas belum berhasil di 15 mins screening round, dan 1 no show (tidak hadir saat jadwal interview - very unprofessional).

Gojek/Traveloka masih sekolah engineering terbaik saat ini di Indonesia, melihat proses interview kemarin. I would advise to "study" here first, to build strong resume, grinding technical skills, and professionalism.

https://t.co/nW8A1lXwtu

[Ibrahim Arief @ibamarief]

Ini Ibam, bicara sendiri agar Ririe terlindungi.

Betul, ketika belum jadi tersangka, saya dapat ancaman: buat pernyataan "mengarah ke atas" kalau tidak kasusnya "akan diperluas".

Saya tolak, ngga mau bohong & zalim.

Tiga minggu kemudian, saya jadi tersangka.

Saya tolak bukan untuk lindungi Nadiem, tapi karena memang ngga pernah ada arahan dari Nadiem ke saya agar pengadaannya jadi Chromebook semua.

Seperti yang terungkap dari 22x sidang, tidak ada sama sekali arahan dari atas seperti itu. Saya hanya diminta memberi masukan netral dan objektif sebagai konsultan.

Artinya, ketika menerima ancaman tersebut saya dihadapkan ke dua pilihan:

Berbohong mengarang cerita menuduh orang lain untuk menyelamatkan diri sendiri.

Atau, berpegang kepada integritas, kejujuran, dan kebenaran yang saya yakini, dan menolak untuk berbohong.

Dengan shalat istikharah dan kesadaran penuh akan risikonya, saya memilih jalan yang kedua: kejujuran.

Insya Allah selalu berpegang pada kejujuran akan berujung pada kebaikan untuk saya, Ririe, dan keluarga kecil kami. Kalau tidak di dunia, maka di akhirat kelak.

Lalu jawabannya apa ketika saya menolak untuk berbohong? "Oke, kami perluas.”

Saya tidak berdaya. Ya Allah, apa lagi yang bisa kami lakukan ketika dihadapkan pada pilihan seperti itu? Pegangan kami hanya prinsip integritas dan kejujuran.

Ketika konsekuensinya beberapa minggu kemudian saya dinyatakan tersangka, kami hanya bisa memperbanyak istighfar dan ikhtiar.

Kami jalani dan hormati proses hukum yang ada dengan tabah, kami berniat jelaskan di persidangan fakta-fakta yang membuat terang, kami masih percaya dengan hukum Indonesia.

Mungkin ngga banyak yang tahu, tapi Ririe istri saya adalah seorang sarjana dan magister hukum. Di Belanda dulu kami banting tulang nabung dan berhemat banyak, supaya bisa bayar uang kuliah S2 Ririe.

Dari Ririe, saya belajar banyak tentang hukum Indonesia, apa saja yang mungkin terjadi, dan bagaimana hukum kita tetap memungkinkan pembelaan yang efektif.

Baik, mari berjuang di persidangan, luruskan seluruh tuduhan. Satu persatu fakta di persidangan muncul dengan terang benderang, satu persatu tuduhan bisa kami bantah.

Sampai akhir rangkaian sidang, 57 orang saksi dihadirkan, tidak ada bukti saya menerima keuntungan dari perkara ini, tidak ada bukti masukan saya karena konflik kepentingan, tidak ada bukti saya mengarahkan.

Yang terungkap malah saya sebagai konsultan sudah menyarankan Chromebook diuji dulu, pejabat menolak pengujian dan memutus Chromebook, nama saya dicatut di SK, masukan saya dipelintir.

Kami merasa pembelaan hukum kami sudah maksimal, kebenaran sudah terungkap, tinggal menumpu harapan pada keadilan dan kebijaksanaan dari majelis hakim yang mulia, yang kami merasa sudah sangat objektif dan penuh kearifan sepanjang persidangan.

Namun, ketika JPU menyebutkan tuntutan 15 tahun penjara, denda Rp1 miliar, uang pengganti Rp16,9 miliar subsider 7,5 tahun penjara tambahan...

Ini titik kezaliman yang sangat terang benderang, tekanan kepentingan yang sangat kentara, saya memutuskan pembelaan saya tidak lagi bisa hanya di persidangan.

Besok saya akan sidang pembelaan (pleidoi) dan kami bersurat kepada Presiden @prabowo Subianto serta @KomisiIII DPR, untuk memohon perlindungan hukum dari kriminalisasi, ketidakadilan, intimidasi, serta pengkambinghitaman yang sudah sekentara ini.

Kami takut untuk bicara? Takut ada intimidasi lain? Itu risiko yang jelas, tapi kami tidak gentar. Tuntutan 22,5 tahun dan belasan miliar yang tidak mampu kami bayar mungkin dianggap akan membuat kami terdiam, tapi kami malah semakin berani untuk melawan kriminalisasi ini.

Mohon bantuan, dukungan, dan perlindungannya dari masyarakat Indonesia, dari pekerja kreatif dan pekerja pengetahuan, serta dari semua yang ingin bantu negara atau takut dizalimi negara.

Kami berjuang bukan untuk kami sendiri, tapi agar tidak ada lagi kriminalisasi dan ketakutan bagi mereka yang tulus mau bantu Indonesia. Kami masih percaya Indonesia bisa menjaga dan menghadirkan keadilan dalam kasus kami.

[Ibrahim Arief @ibamarief]

Mengapa Negara Menzalimi Suami Saya, yang Tulus Berkorban Banyak Untuk Negara?

Sebagai istri, sakit hati rasanya. Enam belas tahun aku kenal Ibam, dia ngga money oriented. Niatnya tulus. Kalau sudah mau bantu, dia akan benar-benar bantu.

Ibam dituntut penjara 15 tahun dan harus bayar Rp16,9 miliar, kalau tidak maka pidananya ditambah 7,5 tahun.

Berarti, Ibam dituntut 22,5 tahun penjara.

Ibam, yang pernah menolak tawaran puluhan miliar karena merasa misi bantu negara lewat bangun teknologi masih belum selesai.

Sekarang ironisnya dituduh korupsi. Padahal sampai 57 saksi diperiksa, tidak ada satu pun bukti Ibam memperkaya diri. Tidak ada konflik kepentingan untuk memperkaya orang lain.

Dia hanya konsultan teknis, rela tolak tawaran asing, turun gaji demi negara, ngga punya jabatan dan kewenangan, selalu profesional dan netral dalam kasih masukan, tapi terjebak dalam pusaran para elite birokrasi.

Masukan teknis Ibam yang sudah terdokumentasi baik, transparan akan kelebihan dan kekurangan, diceritakan sepotong-sepotong saja oleh pejabat pengadaan. Sehingga seakan-akan Ibam memaksa hanya Chromebook.

Untungnya, Ibam punya banyak dokumentasi yang sudah jadi bukti di persidangan. Sudah terungkap di sidang bahwa:

1. Ibam bukan pejabat, tapi konsultan yayasan. Gaji Ibam sama sekali bukan dari APBN.

2. Ibam baru kenal Nadiem setelah dia jadi menteri. Ngga ada persekongkolan, dan ngga pernah ketemu personal.

3. Di banyak bukti chat & notulen rapat: Ibam tidak mengarahkan pengadaan, tidak buat kajian, bahkan Ibam minta kementerian untuk uji Chromebook dulu.

4. Pejabat Eselon I akhirnya mengakui: dia yang menolak masukan pengujian Ibam, dia yang memutuskan Chromebook lewat SK yang dia keluarkan.

5. Ahli IT telah menyatakan masukan Ibam sudah netral dan profesional, sesuai best practice keahlian, serta benar dalam menyerahkan keputusan ke kementerian.

Puncaknya, nama Ibam dicatut ke dalam SK pengadaan yang tidak pernah dia ketahui sebelumnya. Dalam pengesahan kajian Chromebook yang ditugaskan SK, tidak ada tanda tangan Ibam.

Terungkap juga di sidang, belasan pejabat, termasuk yang berupaya ‘menyalahkan’ Ibam, mengakui telah menerima ratusan juta rupiah suap dari vendor. Namun mereka semua bebas, tidak ada yang jadi tersangka.

Disaat mereka bebas, Ibam ditahan dan dituntut penjara. Bagiku perkara ini jelas. Suamiku bukan pelaku, tapi korban permainan elite birokrasi yang seenaknya melempar semua keputusan mereka pada Ibam.

Sekarang, kami hampir sampai di ujung jalan.

Ibam dituntut 22,5 tahun penjara.

Dua terdakwa lain, pejabat Eselon II di Kemendikbud, yang mengatur pengadaan dan sudah mengakui ada aliran dana sampai miliaran rupiah, dituntut 6 tahun saja.

Semakin kontras ketika surat tuntutan sendiri mengakui: tidak ada aliran dana ke Ibam.

Tuntutan bilang di laporan SPT 2021, kekayaan Ibam naik Rp16,9 miliar. Ibam sudah tunjukkan bukti di persidangan kalau itu dari saham Bukalapak yang didapat jauh sebelum Ibam menjadi konsultan Kemendikbud, tidak ada kaitannya sama sekali dengan Chromebook atau Gojek.

Bukti itu ditolak JPU dalam tuntutannya. Mereka bilang karena Ibam sudah resign, sahamnya hangus. Mereka tidak paham kata-kata dalam surat pemberian saham, bahwa yang hangus hanya “saham yang belum diberikan”. Padahal, sebelum resign juga ada sebagian saham yang sudah diberikan.

JPU menyatakan, karena mereka tolak bukti itu, Rp16,9 miliar Ibam diduga hasil korupsi, jadi mereka tuntut 15 tahun ditambah 7,5 tahun.

Bagi kami, ini puncak dari kezaliman. Ibam yang tidak pernah, sekali lagi, TIDAK PERNAH ADA ALIRAN DANA SAMA SEKALI, dikriminalisasi atas prestasinya bantu negara, yang tidak ada hubungannya dengan perkara.

Dua minggu lagi putusan Ibam akan dibacakan oleh Majelis Hakim, kami tetap berharap keadilan putusan bisa sesuai dengan fakta persidangan.

Karena, ini bukan sekedar perkara hukum, ini menyangkut nasib seseorang, masa depan keluarga kami, anak-anak kami, serta kemerdekaan kami sekeluarga.

Setahun terakhir ini adalah masa yang sangat berat bagi kami. Keluarga kami kehilangan penghasilan, kesehatan jantung Ibam kian memburuk, bahkan tabungan hidup kami terkuras habis untuk biaya medis dan biaya hukum.

Namun, aku bersaksi bahwa Ibam adalah seorang perintis. Hidupnya penuh perjuangan dari kecil, insya Allah kami siap bangun dari nol lagi.

Hanya saja, jika pengabdian untuk Indonesia harus dibayar semahal ini. Jika bukti persidangan sudah seterang ini, dan jika upaya mengkambinghitamkan Ibam sudah sekentara ini, dia tetap dipenjara puluhan tahun...

Ini adalah ketidakadilan yang teramat pahit.

Bukan hanya bagi Ibam, tapi bagi siapa pun yang pernah atau akan bantu bangsa ini dengan niat tulus.

Apa memang berbakti bagi merah putih seberbahaya ini?

Apa memang tidak ada keadilan bagi orang jujur yang sudah berkorban banyak bagi negara?

Tolong bantu kami mencari keadilan untuk Ibam selagi masih ada waktu. Mohon bantu bagikan tulisan ini, pada rekan atau kerabat, konsultan atau pejabat, siapapun yang bisa bantu menyuarakan keadilan dan memberi perhatian.

Agar tidak ada lagi profesional seperti Ibam yang jadi korban kriminalisasi.

Jakarta, 16 April 2026
Ririe - Istri dari Ibrahim Arief (Ibam)

[Mr. S @sgndr05]

@miawzedong @dxrkchocolx ya anggap aja itu balasan dari istrinya selingkuh

[Mr. S @sgndr05]

@FaishalIshal5 @fajarnugros Tapi itu kita beli bang, kapan mulai produksi masal sendiri ini?

Perang drone udah keliatan, Rusia Ukraina bisa sampai ribuan hingga puluhan ribu drone dalam 1 bulan

Perang Iran vs Usa dan Isriwil drone jadi kunci perang

Mau balas tak bisa berlindung pun tak mampu

[Mr. S @sgndr05]

@Syaifullah_fhub @fajarnugros Sekarang banyak negara sedang berlomba - lomba untuk buat drone kamikaze, produksi yang banyak namun modal yang sedikit

Contoh : Iran - shaheed
Misi : Swarm drone

Yang jadi resah masyarakat adalah: drone yang kita punya tidak sanggup untuk membalas, melindungi pun tidak bisa

[Mr. S @sgndr05]

@Syaifullah_fhub @fajarnugros Kalau ditanya punya drone ? Ya indo punya pak. Namun yg jadi masalah adalah kualitas, produksi, dan kuantitas apa yang kita punya ?

Memang Indonesia saat ini bisa bikin, tapi tidak produksi masal dan pengembangan RnD yang baik dan Serius

[Mr. S @sgndr05]

@Sou_enfield @fajarnugros Kalau dilihat ini design sudah bagus menggunakan fixed wing, namun yang jadi masalah adalah sudah berapa banyak produksi ?

1. Engine menggunakan tenaga listrik yang dimana itu boros dan daya kecil
2.Endurance terbilang cepat karna hanya 40 Menit
3. Berapa harga 1 kali produksi ?

[ًِ @bckupacc99]

.

[Mr. S @sgndr05]

@sensong @gading_coder walau history chat dilocal datanya tetap diproses di cloud bang