12kaz

画像処理AIの最新動向を調査し論文を読んで過ごしています。興味深いものは動かしながら楽しんでいます。 *ヘッダー画像はAIに描いてもらったイラストです。

[12kaz @12_technology]

機械学習手法NAFNetでノイズ除去、ブラー除去、超解像を試してみました。
カラーノイズ除去はなかなかの精度です。

使い方はこちら
https://t.co/bE6fo39q1K

[Axross Recipe：つかえる知識を ともに学べる場所 @AxrossRecipe_SB]

＼🍁11月有料レシピランキング🏆／
🥇：PointNetで3次元の物体検出を行うレシピ
🥈：YOLOとStrongSORTを用いて物体検出・物体追跡するレシピ
🥉：MemoRAGを用いて検索拡張生成(RAG)アプリを開発するレシピ

4��以下はコチラのURLからぜひご覧ください👇
https://t.co/fm6OCqZaov

#AxrossRecipe
#AI

[Axross Recipe：つかえる知識を ともに学べる場所 @AxrossRecipe_SB]

＼🍀8月有料レシピランキング🍀／

🥇：rinna社の日本語特化GPTモデルを用いて文書生成を行うレシピ
🥈：ChatGPTと同じNLPモデルであるGPT3.5系と話せるDjangoアプリをデプロイするレシピ
🥉：Imagenを用いてテキストから画像生成するレシピ

https://t.co/s9pSRpDBe9

#AxrossRecipe
#生成AI

[Axross Recipe：つかえる知識を ともに学べる場所 @AxrossRecipe_SB]

本レシピでは、従来技術より最大158倍高速に動作するStreamV2Vを用いて、動画変換を行う方法と、StreamV2VとGradioを用いて、リアルタイム画像生成アプリを生成する方法をご紹介します。
https://t.co/f2gsICda60

#AxrossRecipe
#StreamV2V
#画像生成
#動画変換

[Jinbo Xing @Double47685693]

🚀Our 𝑫𝙮𝒏𝙖𝒎𝙞𝑪𝙧𝒂𝙛𝒕𝙚𝒓 just got a massive upgrade!🚀

🎯Better Dynamic, Higher Resolution and Stronger Coherence!

Code - https://t.co/pRw7zy6sry
Project - https://t.co/F55LCmliep
Demo - https://t.co/8aam4JKAAM

[Zuntan @Zuntan03]

日本語の短いテーマから、画像生成プロンプト&和訳とアップスケールした絵とセリフ&感情付き音声を、雑然と生成するEasyZatuGenです。

calm2-chat-AWQとStreamDiffusionとStyle-Bert-VITS2の三点盛りで、すべてをローカルで生成します。
要 RTX 3060 12GB。声だけなら8GB���

https://t.co/SvOeKTyqEH

[深津 貴之 / THE GUILD, note @fladdict]

reading...
自分が気に入った曲がＡＩ生成だと分かった瞬間。「感動の先に人間がいないことが急に不安になった。まだ心の準備ができていないんだと思い知った」。そしてＡＩが作った曲を聞き分けられなくなっている現実にショックを受けた。

https://t.co/mw3xSJporK

[Alex Carlier @alexcarliera]

Google just announces VideoPoet: a multimodal video generation model!

It's massively multimodal and can take as input: text, image, depth & optical flow or a masked video and is one of the first models that generates video + audio!

More info below ⬇️⬇️

[12kaz @12_technology]

Stable Video Diffusionを用いて、画像から動画を生成してみました。

入力は画像1枚です。

こちらでお試しいただけます
https://t.co/yks0DasuEA

#AI #AIArt #stablediffusion #AIイラスト

[12kaz @12_technology]

Google Colabでテキストからのコード生成が提供され始めました

画像を表示する際など地味な検索作業が減りそうです

[AK @_akhaliq]

Stability releases Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets

model: https://t.co/WhmyO2u14k

present Stable Video Diffusion — a latent video diffusion model for high-resolution, state-of-the-art text-to-video and image-to-video generation. Recently, latent diffusion models trained for 2D image synthesis have been turned into generative video models by inserting temporal layers and finetuning them on small, high-quality video datasets. However, training methods in the literature vary widely, and the field has yet to agree on a unified strategy for curating video data. In this paper, we identify and evaluate three different stages for successful training of video LDMs: text-to-image pretraining, video pretraining, and high-quality video finetuning.

[AK @_akhaliq]

Drivable 3D Gaussian Avatars

paper page: https://t.co/GfUShcV1ZZ

present Drivable 3D Gaussian Avatars (D3GA), the first 3D controllable model for human bodies rendered with Gaussian splats. Current photorealistic drivable avatars require either accurate 3D registrations during training, dense input images during testing, or both. The ones based on neural radiance fields also tend to be prohibitively slow for telepresence applications. This work uses the recently presented 3D Gaussian Splatting (3DGS) technique to render realistic humans at real-time framerates, using dense calibrated multi-view videos as input. To deform those primitives, we depart from the commonly used point deformation method of linear blend skinning (LBS) and use a classic volumetric deformation method: cage deformations. Given their smaller size, we drive these deformations with joint angles and keypoints, which are more suitable for communication applications. Our experiments on nine subjects with varied body shapes, clothes, and motions obtain higher-quality results than state-of-the-art methods when using the same training and test data.

[camenduru @camenduru]

Little @Gradio ❤ code 🌿 and little @diffuserslib ❤ code 🍅 real-time drawing app is done 🥗

Thanks to @SimianLuo (LCM) ❤ @Gradio Team ❤ @diffuserslib Team ❤

🦒colab: please try it 🐣 https://t.co/jTbTe5w2EI

[AK @_akhaliq]

One-2-3-45++: Fast Single Image to 3D Objects with Consistent Multi-View Generation and 3D Diffusion

paper page: https://t.co/r7ylXY0Tlv

Recent advancements in open-world 3D object generation have been remarkable, with image-to-3D methods offering superior fine-grained control over their text-to-3D counterparts. However, most existing models fall short in simultaneously providing rapid generation speeds and high fidelity to input images - two features essential for practical applications. In this paper, we present One-2-3-45++, an innovative method that transforms a single image into a detailed 3D textured mesh in approximately one minute. Our approach aims to fully harness the extensive knowledge embedded in 2D diffusion models and priors from valuable yet limited 3D data. This is achieved by initially finetuning a 2D diffusion model for consistent multi-view image generation, followed by elevating these images to 3D with the aid of multi-view conditioned 3D native diffusion models. Extensive experimental evaluations demonstrate that our method can produce high-quality, diverse 3D assets that closely mirror the original input image.

[12kaz @12_technology]

Fuyu-8BがHuggingFaceのSpaceでトレンドです。
このマルチモーダルモデ���はテキストと画像プロンプトを組み合わせて様々なタスクを実現しています。

以下は、スクリーンショット画像からテキスト"Share your repair"を検索している様子です

#Python #AI

[12kaz @12_technology]

#LLM を動作させるために必要なGPU数を見積もってくれる #HuggingFace の #Space です

手持ちのGPUに載るLLMを探す際に役立ちそうです

https://t.co/CYP1YvGY24

[12kaz @12_technology]

従来技術より高速化を果��した3Dメッシュ生成技術である #DreamGaussian が発表されました

画像、テキストから3Dメッシュが生成できます。

Github
https://t.co/uJuGmiUKPa

#Python #TextTo3D #ImageTo3D

[12kaz @12_technology]

PDF保存された論文のOCRに特化したNougatを #GoogleColab で動かしてみました。

PDF上の数式をマークアップ言語に変換できます。

https://t.co/TJeIgPO3MS

#Python #OCR

[12kaz @12_technology]

学術文書のためのOCR #Nougat のSpaceです。
Arxivの論文をリンクを入力すると文字認識はもちろんのこと、数式をマークアップ言語に変換してくれます。

https://t.co/nWWz2s8aJb

#Python #OCR #AI

[12kaz @12_technology]

#MusicGen を��いて
Text to Musicを試してみました。

以下は
「crazy piano jazz」から生成した音楽です。

Google Colabでお試しいただけます
https://t.co/1mIH8O8O5n

#Python #GenerativeAI #AIart

[12kaz @12_technology]

#MusicGen を用いて、テキストから音楽を生成いてみました。

以下は
「Solid sound that makes you feel Japanese tradition」
から生成した音楽です

Google Colabでお試しいただけます
https://t.co/1mIH8O8O5n