ViggleAI

Viggle Video Creation:

[ViggleAI @ViggleAI]

Today we are releasing JST-2, the world's first full-stack physics-native world foundation model.

Many world models learn in pixel/video space. We went back to first principles and built the entire model stack in 3D.

Generate a 3D scene in seconds and expand it in real time. Create characters with motion built in, all through one general architecture.

[ViggleAI @ViggleAI]

@tommyoshima looks good! Looking forward to the polished version 👀

[ViggleAI @ViggleAI]

Try JST-2 here in @Viggle_PINOC : https://t.co/xwaKxT8YTx

Read our research blog: https://t.co/IxwRRe9nDf

[ViggleAI @ViggleAI]

8/9 @RoyLu85085696 made Dream Beyond the Sky, an interactive short where you wake up on a floating island and fly through a sea of clouds. Every environment, character and motion is from JST-2, and you can play it.
https://t.co/I36iBgZH5n

[Hylu @hylu_dev]

Dream Beyond the Sky 梦越苍穹. Awaken on a floating island and fly through a sea of clouds.

An interactive short made entirely using JST-2 environments, characters, and motions.

Play: https://t.co/loBG3xu3zM

[ViggleAI @ViggleAI]

9/9 @shion_takk turned a single 360° panorama into a walkable 3D space, testing both an AI-generated panorama and one rendered from Blender.
https://t.co/To6CC42ndj

[KOBATAKA｜Vibe Modeling @shion_takk]

ViggleAIのJST-2を試した。簡易な検証だけど結果を共有。

まず、JST-2は画像1枚から歩き回れる3D空間(Gaussian Splat)を生成するAIである。世界モデルやワールドモデルと呼ばれる類ですな。

今回は無料枠内で検証。初期クレジットとして60クレジット付与される。

これまでのワールドモデル同様、入力出来るのは画像かテキスト。
過去の経験から360度のパノラマ画像を用意するのが有効だと知っていたので、今回は画像生成(GPT Images 2.5)で作った360度パノラマ画像と、Blenderで立ち上げたモデルから撮影した「正確な」360度パノラマで比較した。

結果は当然ながらBlenderを撮影した正確な画像をベースに出力したものが綺麗。
現実世界を撮影して3DGSを生成したい場合も、綺麗に360度パノラマが撮れればサクッとそれっぽいものは出来そうなクオリティだ。

「Blenderで作れるなら3DGS要らないじゃん」とワイも思ったんだけど
①今回はそもそも画像生成の限界に対して「正確な」入力画像で比較したかった(そして手元に360度パノラマを綺麗に撮れる機材がなかった)
②画像生成の進化を振り返れば、Blenderで作った簡易モデルの360度画像を入力に、生成処理して描き込みを加えられると考えている
という2点でこの手法は今後可能性を感じてる

他にもExpand機能があるので生成したあとに空間を拡張することも出来る。
人間を置いて動かすことも出来る。

一方で、生成されるのはあくまで点群なので正確な寸法を求める場合には適さない。
精度がカンストしない限り寸法の検証が必要なケースでは難しいと思う。

逆に空間の雰囲気を確かめたい場合には有効だと思う。
ちょうどワイは家探ししているが、部屋の様子をパノラマ撮影してぶち込めば立体的になるのは便利。

ずっと「建築業界はもっと世界モデルに注目せよ」と言い続けているけど、予想では2027年にこの領域は飛び抜けていく。プレイヤーも増えてきているし、単純に技術が着実に進化してる。
どう使うか今からイメージがあると面白いこと出来るのでは。

ということで次回作にも期待！

[ViggleAI @ViggleAI]

7/9 @nathangu76 typed one prompt and got a 3D pottery studio, then expanded the scene while JST-2 filled in the missing parts. You can walk around it yourself.
https://t.co/gwYKffg4k8

[Nathan @nathangu76]

I typed one prompt on Viggle AI and got a 3D pottery studio I can walk around in. Try walk in it yourself: https://t.co/2Hn8Tl7Dfu

If you want to create your own, watch this video!
Viggle AI: https://t.co/xKGRGPLAQ1

[ViggleAI @ViggleAI]

6/9 @onofumi_AI built a lantern-lit village by the water from one image in a few seconds, then took it from sunset to the bottom of a lake.
https://t.co/QD02nYhGSh

[おのふみ| 3D×動画生成×個人開発 @onofumi_AI]

Opus5.5とPINOCで作成。これ何がすごいかというと画像から数秒で空間作成できてるところ。通常の3Dのスピード感とは全く違う。

映像制作と繫りが深いのはワールドモデル。3Dはゲーム向き。これが今の動画生成と同じグラフィックまで進化すると思うとワクワクする。

[ViggleAI @ViggleAI]

5/9 @MeticulAi turned a photo of grandma’s old house into a 3D world.
https://t.co/H2fRqPbRd9

[Meticulai @MeticulAi]

Fuck it two for one, check this demo out. World models are going to change the world. Used a photo of my grandma's old house and @ViggleAI 's JST-2 to make a splat and made this quick tech test.

The mirror piece particularly blew me away.

Truly mind blowing shit. "Ready Player One" is uppon us.

#worldmodels #ai #IndieGameDevs #threejs @threejs @claudeai #vibecoding

[ViggleAI @ViggleAI]

4/9 @xingbugengming made a browser 3D fighting game in one day & you can actually play it.
https://t.co/hCH1wOJMix

[小奇说 @xingbugengming]

仅一天的时间，我用 Opus 5.5 + PINOC 做了一款基于浏览器的 3D 格斗游戏

不需要 3D 建模，也不需要动作捕捉，一张图直出带骨骼和动作的3D人物

你看到的所有人物模型、武术动作、游戏场景全部由
@ViggleAI 自研模型 Jst-2 制作而成

只需要将 Claude 接入PINOC，通过文字描述就能生成各种武术动作，并导出可供游戏使用的 3D 动画

🥊游玩链接：https://t.co/BfGy9ZuGBz

[ViggleAI @ViggleAI]

3/9 @gkxspace built a 3D web game where you step into a Van Gogh painting.
https://t.co/zWdL0FeFlO

[余温 @gkxspace]

蛙趣，这是刚用 Claude + JST2 做的3D 网页游戏，我还特意选了一个比较逆天的场景

结果这效果确实牛掰，具体就是用 Claude 编排，然后配合 @ViggleAI 刚发布的 JST 2 做了《走进梵高》

其实，用 AI 做 3D 最难的是场景、角色建模、动作这些素材，要不然很难做出可用的建模

现在这三样 JST 2 全包含了：
1、场景：一张图输入，出来高斯泼溅的真 3D 场景，生成一次，任意角度都能观看。

2、角色：用文字描述或照片生成，自带骨骼，能直接动。

3、动作：免费动作库里挑，没有的就用文字描述生成。

而且 Claude 可通过 PINOC MCP 能直接调这些，搭配现在 Opus5.5/6Astra 的代码能力，拿来搞 3D 太爽了

[ViggleAI @ViggleAI]

Our world foundation model JST-2 launched 3 days ago.

Text, image, or video in, 3D characters, motion and scenes out.

Here’s what people have built with it since. A thread 🧵

[ViggleAI @ViggleAI]

2/9 @dave392750 turned one painting into an attic alchemy workshop you can walk around in, with an apprentice witch from a single image.
https://t.co/ivrPqvKhX5

[楽園｜AI動画&AI音楽 @dave392750]

絵1枚から、歩き回れる3Dの世界へ🧙‍♀️✨
@ViggleAI の新しい「JST-2」をPINOCで試してみました。
屋根裏の錬金術工房も、見習い魔女の女の子も、それぞれ画像1枚から。
絵1枚から、歩き回れる3Dの世界へ🧙‍♀️✨
@ViggleAI の新しい「JST-2」をPINOCで試してみました。
屋根裏の錬金術工房も、見習い魔女の女の子も、それぞれ画像1枚から。
「大釜をかき混ぜて」と文字で頼むだけでモーションも作れて、最後は…薬がボン💥
シーン・キャラ・モーションがひとつの世界でつながるのが楽しい！

One painting → a living 3D world 🧙‍♀️✨
I tried @ViggleAI's new JST-2 in PINOC.
The attic alchemy workshop and the little apprentice witch each came from a single image.
Just type "stir the cauldron" to make the motion… and then the potion goes BOOM 💥
Love how scene, character and motion all come together in one world!

#JST2 #PINOC #ViggleAI #PR

[ViggleAI @ViggleAI]

1/9 @Pluvio9yte turned Tao Yuanming’s Peach Blossom Spring, a 1,600-year-old story, into a playable 3D adventure game.
https://t.co/2nt3TM9Vrr

[雪踏乌云 @Pluvio9yte]

前几天看了赛克（@Saccc_c）用 Opus 5.5 做《小王子》的教程，我尝试把陶渊明的《桃花源记》做成一个明亮的第三人称探险小游戏，Opus 5.5 加 3D 模型确实能够做出可玩的游戏了

用到的工具：Claude Code（Opus 5.5）、@ViggleAI 的 PINOC（JST-2），再加一个网页 3D 引擎。

大体是这么做的👇

① 先写策划
五幕直接对着原文：缘溪行 → 忽逢桃花林 → 山有小口，仿佛若有光 → 豁然开朗，桃源村 → 处处志之，不复得路。

② 再出概念图
用 AI 出全景设定、关键画面和角色三视图，这里我用的是 Codex 内置的生图功能。画面参考《小王子》的明亮感，人物参考《风之旅人》《光·遇》：渔郎戴竹斗笠、披稻草蓑衣，再加一条桃红色的长围巾。

③ 角色交给 PINOC
渔郎、老翁、小孩，把正、侧、背三视图丢进 PINOC，出来就是自带骨骼的 3D 高斯泼溅角色。
走、跑、挥手、点头直接从动作库里拿；坐下吃饭、作揖、小孩蹦跳这些用文字生成。
PINOC MCP 接进 Claude Code 之后，这些都是 Claude 自己去调。

④ 搭场景
远处的桃花山谷用 PINOC 的场景生成。近处的小溪、小路、桃树，还有几万簇随风摆动的草、雏菊、薰衣草、蕨类，都是 Claude 写程序搭出来的。

⑤ 对标迭代（最关键的一步）
学赛克的做法：固定几个机位，每改一轮就截图，和《小王子》并排对比，看差在哪，再改下一轮。光溪畔桃林这一个小场景就迭代了八轮，从一开始的"塑料感"改到现在这样。

最大的感受：一个人加上 Claude 和 PINOC，一天就能做出一个明亮、能玩的小世界

[Nathan @nathangu76]

I typed one prompt on Viggle AI and got a 3D pottery studio I can walk around in. Try walk in it yourself: https://t.co/2Hn8Tl7Dfu

If you want to create your own, watch this video!
Viggle AI: https://t.co/xKGRGPLAQ1

[liqq @liqq010]

been playing around with worlds from Viggle JST2 and characters + motions from PINOC. turned it into a little game prototype where you can rift-jump between 6 3D worlds without a cut.

a bit of Ratchet & Clank inspiration :)

here’s a clip

[max casu @MaxCasu]

Testing the power of character blending in Viggle Animate 2! 🧪✨
Wanted to create a unique look for a spec commercial. Instead of using a single reference, I pushed the prompt to blend features:
🔹 Base: Character from video input
🔹 Style Blend: 50% Image1 + 50% Image2
The prompt cohesion is impressive—retaining the realism of the face while accurately mapping the cracked stone texture on the other half during motion.
@ViggleAI

[余温 @gkxspace]

蛙趣，这是刚用 Claude + JST2 做的3D 网页游戏，我还特意选了一个比较逆天的场景

结果这效果确实牛掰，具体就是用 Claude 编排，然后配合 @ViggleAI 刚发布的 JST 2 做了《走进梵高》

其实，用 AI 做 3D 最难的是场景、角色建模、动作这些素材，要不然很难做出可用的建模

现在这三样 JST 2 全包含了：
1、场景：一张图输入，出来高斯泼溅的真 3D 场景，生成一次，任意角度都能观看。

2、角色：用文字描述或照片生成，自带骨骼，能直接动。

3、动作：免费动作库里挑，没有的就用文字描述生成。

而且 Claude 可通过 PINOC MCP 能直接调这些，搭配现在 Opus5.5/6Astra 的代码能力，拿来搞 3D 太爽了

[独立开发者William @DLKFZWilliam2]

有一些朋友私信和留言问这个 Gaussian splats 的技术, 我想刚好也在这里分享一下。 我其实关注这个技术很久了。最开始做扫描的项目的时候，就使用过这种技术，就是通过手机照一些照片，然后进行重构，包括通过视频重构等等。当然，那个时候这个技术还不是很成熟，但现在的效果越来越好了，包括前几天 VIGGLE 发布的“世界模型”-JST-2 就是基于这个技术，再加上了物理。

Blender 的最新版也直接 native 支持Gaussian splats,我觉得也是一个非常好的方向。 而且技术越来越成熟，可以开始转这个技术栈了。 最近半年到一年，我的游戏项目就开始一边使用传统的 mesh 技术，并且逐步开始一边创造新的 pipeline 大量使用这个技术。

我想也跟大家多解释一下这个 Animated Gaussian Splat 是什么样子的，以及它在游戏里面的优点是什么样子的，还有我具体是怎么做的。

比如说下面这个视频里面的战斗场景，主角那个人物我就是把我自己的照片扫成了Splats然后加上了动作，变成Animated Gaussian splats，然后在放到游戏里面，你看这种滞空的动作，ARPG 里面的紧凑战斗场景 也可以像之前的 Mesh 一样做到。 性能上其实也非常友好。

我的游戏里面其实有两个 pipeline：
- 传统的通过 mesh 的自定义捏人技术
- 大量使用的NPC、怪物animated Gaussian Splats，最近我还在加入Splats的场景，实现可游玩的世界模型的效果

加入这个 pipeline 的原因主要是因为它实现非常快，效果也很不错，而且我个人认为，对于大量的小怪或者 NPC 成本比 mesh 要低很多。

因为这个技术很符合我目前的一套工作流。 是可以直接根据 AI 生图，然后通过参考图直接生成 animated splats再加上各种文字生成动作。

然后再加上视频 AI 动作捕捉 mocap 这一套流程，现在再加上 AI agent 的帮助。 其实全部都能够通过 agent 的工作流批量处理，能非常大程度地节省游戏开发者的时间。

大家可以看到，这段时间我用这个工作流之后， 我的游戏的进展变得非常快。 因为我的效率提升了非常多。我就能开始逐渐去优化打击感、游玩的数值，包括一些技能的效果，包括整个游戏的 lore 背景设定等等。

而且，如果能做到物理交互的场景的世界模型，不仅在游戏开发，对机器人的训练、对真正完全创造出虚拟世界的纯 VR，包括混合现实的，前景其实都非常广泛。大家可以关注一下这个技术，我埋伏了很久了。 🤓🫶

[ViggleAI @ViggleAI]

@FLDiGiTaL972 Amazing work!

[ViggleAI @ViggleAI]

@cyazierpen LOVE IT!

[楽園｜AI動画&AI音楽 @dave392750]

作り方はこんな感じです🧙‍♀️（PINOCの実際の画面）
① 絵1枚をアップして「この絵から環境を作って」→ 歩き回れる3Dシーン
② 画像1枚 → 3Dキャラクター
③ 動きは文章で指示（長いパドルを両手で、円を描くように混ぜる…）
④ シーン＋キャラ＋モーションを1つのキャンバスで合体
⑤ 仕上げはViggleのSplat Engine（Web）でカメラワークと演出

How I made it — the real PINOC screens 👇
① Upload a painting → a walkable 3D scene
② One image → a 3D character
③ Describe the motion in plain words
④ Put them together on one canvas
⑤ Camera work & FX in Viggle's Splat Engine (web)

@ViggleAI #JST2 #PINOC #ViggleAI #PR