BEARBONE

Senior Engineer loves FOSS | AI Music Production & Tools.
Exploring AI + Human Creativity on research & experiences.

[BEARBONE @deadjoe]

I build AI tools for music creators and make albums with them.

Main entry:

SonicArchitect
Decode the vibe of any track → get a precise Style Prompt for Suno / Udio
https://t.co/Ddmgav0aRZ

Also check:
• Album “Waiting” (completed 10 tracks) — see my posts
• Album “Passage” (new series starting now) — see my posts

[BEARBONE @deadjoe]

😭😭😭🪦

[BEARBONE @deadjoe]

@Michaelzsguo https://t.co/l3bJTYDBC7

[BEARBONE @deadjoe]

@benshanyoufeng @vista8 Apple M and Nvidia supported. >= 12GB VRAM, max 6 min. song

[BEARBONE @deadjoe]

@vista8 https://t.co/l3bJTYDBC7

[BEARBONE @deadjoe]

@benshanyoufeng @vista8 https://t.co/l3bJTYDBC7

[BEARBONE @deadjoe]

@uzuki425 低VRAM化ありがたいですね。
自分は GGUF（yue2.cpp の 8bit）で回してるんですが、RTX 2070 の 8GB で 4分51秒のフル尺いけました。ピーク 6.1GB くらい。
元の BF16 と目隠しで聴き比べたら 12回中6回しか当たらなくて、正直ほぼ区別つかなかったです。

[BEARBONE @deadjoe]

YuE2's model card says 24 GB of VRAM. I wanted to know what that means on a smaller card, so I capped the allocator on an L4 and ran the unquantized reference path.

At 14 GiB, about what a 16 GB card leaves you, a full 4:45 song finished in BF16. The heaviest request I could make, 207 lines of lyrics hitting every token ceiling, peaked at 11.5 GiB.

12 GB is where it gets tight. Fine for ~5 min songs at CFG 1.0, but CFG 1.5 at full length runs out. FP8 gets there, about 4x slower. 23 minutes instead of 5 and a half.

That was the reference path. Since then I've put a GGUF engine (yue2.cpp, 8-bit) into Groove, and it changes the bottom end a lot. An RTX 2070 8 GB on Windows did a 4:51 song at 6.1 GB peak. Blind ABX against the reference, I scored 6/12. Coin flip.

Under 16 GB it switches to GGUF by itself, and it's on Pinokio if you don't want to touch a terminal.

The 24 GB number is headroom. It's not where this starts. Same seed gives you a different take on GGUF though, it's not the reference output.

Caveat on the L4 half: that's a capped L4, not a real 4060 Ti in someone's desktop. If you've run it on one I'd like to see your numbers.

https://t.co/zw7clPWCWP

[BEARBONE @deadjoe]

https://t.co/fewkjhH63H

[BEARBONE @deadjoe]

Style prompt by : SonicArchitect
Music by: YUE2 // Groove
----
jazz fusion, solo bass, chamber jazz, 68 BPM, 3/4, C major, ballad, fretless electric bass guitar, unaccompanied solo bass, no drums or percussion, instrumental only, no vocals, harmonics-as-hook, one-instrument orchestra, fretless bell-tone lyricism, dark-low-bright-high contrast, resonance-led composition, rubato triple-meter stillness, nonfunctional harmonic haze, intimate dynamic exposure, bell-like natural-harmonic lead melody, floating sustained treble tones, timbral hook built from overtone shimmer, quiet descending resolution gestures, sparse resonance-led pacing, silence and note decay as structural elements, restrained reflective miniature, mid-1970s studio jazz fusion, electric bass solo lineage, impressionistic chamber-jazz sensibility, wide dynamic range, clear harmonic detail
---

[BEARBONE @deadjoe]

New song built from YUE2 // Groove

[BEARBONE @deadjoe]

V6 のつまみ、増えましたよね。あれがずっと引っかかってて。

V5.5 のときに作った劇伴「Waiting」の1曲目、Style Prompt は一文字もいじらずそのまま V6 に投げました。新しく書くと、モデルの差なのか自分の書き方の差なのか分からなくなるので。

Weirdness 40 / SI 60 → 2曲とも即消し。
0 / 100 → ちょっとマシ。でも詰まるところは同じで、核のスタイルが乗ってこない。
Max mode 入れたら急に良くなった。で、Max mode On にして他を全部デフォルトに戻したやつが今回いちばん良かったです。70点。
…って書くとチューニングの話みたいですけど、引っかかってるのはそこじゃなくて。
いま曲のスタイルを決めてる系統、2つあるんですよ。Lyrics meta + Style Prompt と、つまみ・スイッチ。この2つが喧嘩してる。

40% と 70% って、作品にとって何がどう違うんですか。どうやって体で覚えるんですか。目隠しで総当たりしろってことになりますよね。組み合わせ潰しきれないし。
しかも Weirdness、公式だと 50% が真ん中なんです。最初に回した 40% は「デフォルトのまま」じゃなくて、もう Safe 側に振ってた。毎回ドキュメント見に行かないと分からない時点で、作り手が触る操作系じゃないでしょ。

スタイル系のパラメータって、最初の生成じゃなくて出したあとの手直しに置くものじゃないですかね。Style Prompt の中の制御は、音楽やってる人間が読んで動かせる。つまみは何をしてるのか分からないし、音楽のスタイルの本質と結びつけようがない。

あとブラウザ版とスマホアプリでつまみの構成が違うの、これは本当に何なんですか。
4パターンの設定と Style Prompt 全文はこっち
https://t.co/qBZOheIMTK

[BEARBONE @deadjoe]

https://t.co/RdW5fYbHlT

[BEARBONE @deadjoe]

@GitHub_Daily I have built YuE2//Groove for full feature stuido and analyzed the memory usage for common usage. See below:
https://t.co/MSwp3mhjbf

[BEARBONE @deadjoe]

16GB VRAM is good for most case to generate music from YuE2 //Groove and 24GB is validated by YuE2 upstream project.

Try YuE2 // Groove from Pinokio desktop app for 100% free !

Analysis is as below:

https://t.co/BlnG7waghr

[BEARBONE @deadjoe]

https://t.co/fewkjhH63H

[BEARBONE @deadjoe]

https://t.co/BlnG7waghr

[BEARBONE @deadjoe]

https://t.co/fewkjhH63H

[BEARBONE @deadjoe]

https://t.co/fewkjhH63H

[BEARBONE @deadjoe]

I love knobs ! 😃 YUE2 // Groove updated and minor bug fixed !
https://t.co/l3bJTYDBC7

[BEARBONE @deadjoe]

YUE2//Groove Released to Pinokio platform(for easier install and use)
firs time installation will takes more time for AI models downloads (~7GB).
You can also install it directly from the repo (https://t.co/4QLxMJECX4)
And feel free to contact me if any suggestions

In Pinokio desktop, search "yue2" or :

https://t.co/uD0Xmm2f8h

[BEARBONE @deadjoe]

I have greatly imporved this project and also for easy install and use for non tech background user, i also made this project into a Pinokio application.

https://t.co/l3bJTYDBC7

[BEARBONE @deadjoe]

以前からずっと注目しているのが、ローカル環境（NVIDIAのコンシューマー向けGPUだったり、MacのGPUだったり）で音楽を生成するという話。

ACE-Stepのようなプロジェクトは前からあって、何度も試してはみたものの、Suno / Udio / Flowといった商用のオンラインサービスの品質には到底届かなかった。完成した楽曲ではなく「トラック素材が作れれば十分」というところまで期待値を下げていても、実際の出来はそれにも程遠かった。

もっと深刻なのはスペック面。ローカルでそれなりに聴ける音を出そうとすると、マシンリソースを相当食う。3分程度の曲1本でも生成にかなりの時間がかかるし、VRAMもかなり積んでないと厳しい。

もうひとつがプロンプトへの追従性。ローカルでトラックや素材を作るのが目的である以上、指示したとおりに出てきてくれないと話にならないんだけど、これまでのモデルやOSSはここが弱くて、パラメータを調整しては生成し直しの繰り返し。ほぼガチャを回している感覚だった。

そんな中、最近Xで公開されたOSSのYuE2（https://t.co/JbYkaOg0zL ）が気になって、昨日は丸一日これを触っていた。「完成品が作れる」段階にはまだないと思う。ただ、音質もボーカルもプロンプトへの追従性も、それに必要なマシンスペックも含めて、自分が期待していたラインはちゃんと超えてきた。あくまでトラックや素材を作る用途での話だけど。

で、すっかり嬉しくなってしまって。普段ソフトウェアやAIの開発をしている人間なので、勢いでこのプロジェクト用のUIフロントエンドを書いてしまった。名前は「YUE2 // Groove」。ひとまずGitHubで公開している。
https://t.co/4QLxMJECX4
エンジニアではない方でも、この手のシステムをもう少し気軽に使えるようになればと思って作ったもの。Macがあれば動くはず。できればApple Siliconで、世代は新しいほどいい。メモリは16GB以上、こっちも多ければ多いほど快適。READMEの手順をそのままコピペして、パスを自分の環境に合わせて少し書き換えるだけで立ち上がる。

下の2本の動画は、自分のMacで「YUE2 // Groove」を使って生成・操作しているところを簡単に紹介したもの。この中には、YuE2のテスト用にわざわざ組んだ、インストゥルメンタルで音数の多い映画音楽風のStyleプロンプトから生成したトラックも入っている。プロンプトではドゥドゥク（古くからあるダブルリードの木管楽器）の音色を指定していたのだけど、YuE2の出力はそれにかなり近くて、個人的には大満足。素材としては普通に使えるレベルだと思う。

[BEARBONE @deadjoe]

Sorry, the upstream project(which is the core of it are from YuE2 , which mainly support Linux/MacOS. But depends on the coding language are python , i do think you could run it within WSL on windows as server and access it from any browser. I don’t have windows for testing and it might work( or not, i am not sure)