FuruRok

自作の三次元並列有限要素法流体構造連成解析コードを趣味で開発しています(MFEM or PETScをベースに)。スペクトル要素法(SEM)、DG(不連続ガラーキン)-SEM、Space-Time法等、有限要素法(FEM；Finite Element Method)関連手法に興味あり。電機メーカー研究員。

[sin有機化学 @sinOrganicChem]

この図はねぇ割と分かりやすいと思うんですよ

[本間宏紀@背景理論を重んじるデータサイエンティスト @j0OmcPKEmMMkNWX]

ニュートン法の更新方向は、勾配にヘッセ行列の逆を掛けて符号を反転させた形です。ヘッセ行列が正定値なら、勾配がゼロでない限りこの方向は必ず降下方向になります。問題は非凸の場合で、ヘッセ行列が不定だと負の固有値を持つ方向の寄与が総和を反転させ、降下方向にならないことがある。しかも素のニュートン法は勾配ゼロの点を解こうとするので、鞍点も局所最小と同じく到達目標になってしまいます。重ねて聞こえたのはこのあたりでしょうか。それとも、長く使われてきた手法なのに挙動の説明が後から整理された、という順序の話のほうでしょうか。

非凸向けに大域化された二階法、信頼領域法や立方正則化の系統は、この負曲率方向を逆用して関数値を下げる設計になっています。負の固有値がある停留点の近傍では、その固有ベクトル方向へ動けば目的関数は減る。二階情報は非凸性への直接の対処になりうるわけです。障壁は計算資源の側で、d次元のヘッセ行列を陽に持つのは数十億パラメータでは論外です。準ニュートンでも軽くはなく、L-BFGSの追加記憶量は完全BFGSのO(d^2)よりずっと小さいO(md)ですが、パラメータ10億、履歴10組、FP32という設定で曲率対のベクトルだけ数えても約80GBになります。ここは実際に見積もってみると効率化の話では済まない量で、分散学習では普通に制約になります。

一階法の側も、条件付きなら鞍点に手が届きます。一点の勾配だけを見て局所最小と鞍点を区別することはできませんが、勾配とヘッセ行列がともにリプシッツ連続で、局所最小でない停留点では十分に負の固有値を持つ方向が存在する、という仮定の下では、勾配ノルムが小さくなった領域で条件を満たしたときに設計された摂動を注入し、その後しばらく通常の勾配降下を回す方式が、高確率で鞍点近傍を短時間で抜けることが示されています(Jin, Ge, Netrapalli, Kakade, Jordan 2017)。大事なのは摂動が意図的に設計されている点で、確率勾配のノイズがあるから自動的に同じ保証が付く、とは言えません。ノイズが負曲率の固有ベクトル方向に成分を持たない設定を作れば、揺らぎがあっても脱出しない。

元投稿では鞍点で学習が停滞すると書きましたが、脱出可能性は頻度とは別に評価すべきでした。高次元で停留点の多くが鞍点になりやすいことと、そこが難所であることは同じではありません。残る謎はむしろ、抜けた先の無数の解のうち、なぜ汎化するものが選ばれるのかという方かなと思います。

[今野健介｜Claude×EC専門家 @dansyu_callenge]

Claude Code、すごすぎる。
Opus 5で、1975〜2026年の日本周辺マグニチュード4以上の地震を時系列に3D可視化。

最初は無数の点。
でも年が進むにつれて点が積み重なり、どの場所に、どの深さに、地震が集中してきたかが立体の「板」として浮かび上がる。

[FuruRok @FuruRok]

今回採用した自作FEMコードの高速化の技法をまとめた．FEMコードを高速化したい人に参考になるかも．
行列フリー化がよく効いている．libCEEDは期待に反してあまりスピードアップしなかった．

[FuruRok @FuruRok]

自作FEMコード，さらに高速化に取り組んだところ，計算時間でOpenFOAMの7.4倍（7/13時点36.6倍），メモリ使用量がOpenFOAMの1.6倍（同 2.5倍）まで縮まった！

[FuruRok @FuruRok]

自作FEMコード，さらに高速化に取り組んだところ，計算時間でOpenFOAMの7.4倍（7/13時点36.6倍），メモリ使用量がOpenFOAMの1.6倍（同 2.5倍）まで縮まった！

[FuruRok @FuruRok]

やはり問題が小さすぎた．3D円柱周り流れ問題で，DOFを揃えてAWSでスケーラビリティー測定を行った．
OpenFOAM(FVM)は自作FEMコードに比べて36~50倍計算が速く，メモリは1/2.4~1/5倍少ない．やはりFVMは計算効率が良く，これなら3D問題でもパソコンで計算できる．
ただ，この問題の規模ではスケーラビリティーは自作FEMコード(PETSc/DMPlexベース)のほうが良かった．

[本間宏紀@背景理論を重んじるデータサイエンティスト @j0OmcPKEmMMkNWX]

大学院で最適化の講義を受けた人ほど、深層学習の学習過程に違和感を覚えると聞きます。凸関数なら、勾配降下法が大域最適解に到達することは証明できる。教科書はそこまでしか教えてくれません。ところが実務で使うニューラルネットワークの損失関数は、ほぼ例外なく非凸です。この一段の飛躍を、多くの解説記事は素通りしています。

非凸関数の最適化では、勾配がゼロになった点が本当に最良の解なのか、それとも無数に存在する局所的なくぼみの一つに過ぎないのか、理論的な区別が原理的につきません。鞍点、つまり一部の方向では谷に見えて別の方向では山になっている点に捕まって学習が停滞する現象も、高次元空間ではむしろ局所最適解より頻繁に起きるとされています。パラメータ数が数十億から数千億に達する現代のモデルが、それでも実務上まともに動いている。これは理論が先に説明を用意して、その通りに実装したという順序ではなく、経験則が先行し、理論が後から追いかけている状態です。ニューラルタンジェントカーネルという枠組みは、パラメータ数を無限大に飛ばした極限では非凸最適化が事実上線形の問題に近づくという説明を与えましたが、これは現実の有限サイズのモデルにそのまま当てはまるわけではなく、あくまで漸近的な近似の話にとどまります。平均場理論を使った解析も同様に、なぜ高次元の非凸最適化がそれなりに機能するのかを説明しようとする途上の理論であって、決定版と呼べる段階には至っていません。バッチ正規化についても構図は同じです。2015年の提案時点では内部共変量シフトを抑制するためだと説明されていましたが、その後の研究でこの説明だけでは損失地形が滑らかになる効果を十分に説明できないという指摘が相次ぎました。なぜ機能するのかという問いへの答えは、今も完全には固まっていません。

ここで私が立ち止まるのは、理論を待たずに実装するという工学の態度そのものを否定したいからではありません。現場では理論的な完全証明を待ってからコードを書くという順序は、そもそも成立しない場面がほとんどです。ただ、なぜうまく回っているのか分からないという不確実性を抱えたまま運用しているという自覚があるかどうかで、想定外の挙動やトラブルが起きたときの初動の速さはまったく変わってくると思います。理由を説明できないまま結果だけを信頼している状態は、モデル開発の現場に限らず、実は経営判断のあちこちに潜んでいるはずです。それに気づけるかどうかが、データ職としての一段上の視座になるはずだと考えています。

[PC Watch @pc_watch]

AMD、最大256コア・L3キャッシュ1GB超の第6世代「EPYC 9006」 https://t.co/rpeJno7Rpe #AMD

[FuruRok @FuruRok]

FP64性能
H100：60TFLOPS
Instinct MI430X：288TFLOPS！

AMD、打倒NVIDIAのAI向けGPU「Instinct MI455X」と新ラック投入
https://t.co/JaYzZyKGdX

[Masatatsu Nakamura @mattatz]

Nodi内の解析機能について解説するブログを公開しました✒️ https://t.co/ff2kpToxGq Immersed FEMという手法を用いて、メッシング工程が不要な解析フローを実現しています◎ #Nodi3D

[LEAP 71 @leap_71]

Designed for a low-resolution experimental multi-material 3D-printing process, this Noyron-based electric motor design envisions what we can build once manufacturing technology evolves. Noyron’s engineering model takes the fabrication process and its constraints into account.

[FuruRok @FuruRok]

旧Altair製品は、例えばSimcenter Hypermeshのように、Altairの文字が置き換えられた様子。なんとも世知辛い🥲

[FuruRok @FuruRok]

再編された機械系CAE業界の2026/07状況。
Siemens: Simcenter、Star-CCM+、LMS、旧Altair製品
Dassault Systèmes: Abaqus、CST Studio Suite、PowerFLOW、XFlow、Simpack
Synopsys: Ansys
Cadence: NUMECA、Pointwise、ANSA／META、MSC Software
Keysight: ESI Group製品

まだ独立: COMSOL、FieldView

[Mathematica @mathemetica]

Four-dimensional regular polytopes reveal complex symmetries in these multi-style projections.

Shown are the 5-cell {3,3,3}, 8-cell {4,3,3}, 16-cell {3,3,4}, 24-cell {3,4,3}, 120-cell {5,3,3} and 600-cell {3,3,5} in wireframe orthographic projections inside Petrie polygons, solid orthographic projections, Schlegel diagrams, and hyperspherical stereographic projections with noted cell- or vertex-centered orientations.

These geometric tools help roboticists simulate and optimize paths in multi-dimensional configuration spaces for complex machinery control.

[FuruRok @FuruRok]

AIに操作を教えてもらえるようになって初めて、ParaViewが強力なツールであることが分かった。

[Hairdick™ @_hairdick]

Bro is testing the wind tunnel using smoke to show the air flow around the car 🚗

[FuruRok @FuruRok]

スケーラビリティー測定を実施する際，FEM(一般化α時間積分法)とOpenFOAM(BDF2)の圧力値が異なり，調べるとFEM(一般化α法：ρ∞=0.7)ではハンチングが起きていた(なお，両者とも初期値はインパルシブ・スタート)．
気になっていろいろ検討した結果，入口流速のramp軌道を従来のhalf cosine型(終点t_rampにおいて，C1接続)からexp(−1/s)型(同C∞)に変え，かつt_ramp/dtの点数を上げることで，ハンチングが抑制されることがわかった．

[FuruRok @FuruRok]

やはり問題が小さすぎた．3D円柱周り流れ問題で，DOFを揃えてAWSでスケーラビリティー測定を行った．
OpenFOAM(FVM)は自作FEMコードに比べて36~50倍計算が速く，メモリは1/2.4~1/5倍少ない．やはりFVMは計算効率が良く，これなら3D問題でもパソコンで計算できる．
ただ，この問題の規模ではスケーラビリティーは自作FEMコード(PETSc/DMPlexベース)のほうが良かった．

[FuruRok @FuruRok]

HDD、耐えた忍んだ「10年間の冬」　日本の供給網に残存者利益：日本経済新聞
https://t.co/EZQ0o1HSCI

[FuruRok @FuruRok]

やはり問題が小さすぎた．3D円柱周り流れ問題で，DOFを揃えてAWSでスケーラビリティー測定を行った．
OpenFOAM(FVM)は自作FEMコードに比べて36~50倍計算が速く，メモリは1/2.4~1/5倍少ない．やはりFVMは計算効率が良く，これなら3D問題でもパソコンで計算できる．
ただ，この問題の規模ではスケーラビリティーは自作FEMコード(PETSc/DMPlexベース)のほうが良かった．

[FuruRok @FuruRok]

AWSでOpenFOAMと自作FEMのスケーリングを測定した．
AWS環境はEC2 c7a.8xlarge、AMD EPYC 9R14、32物理コア相当、61 GiB RAM
やはりOpenFOAMのスケーリングが非常に悪い．32並列ではFEMのほうが速く0.83倍で，メモリもFEMのほうが少なく0.70倍．
問題が小さすぎるのかな？？