AIの世界は最近、「AlphaGo Moment for Model Architecture Discovery」と題した論文によって興奮しました。この論文は、新しいニューラルネットワークアーキテクチャの発明、コーディング、検証が可能な完全に自律的なシステムであるASI-ARCHを導入しました。
ASI-ARCHの影響は広範囲に及ぶ。コメンテーターは、超知能への道として長い間理論化されてきた概念である再帰的自己改善（AIが自分自身を改善し、その改善を使用して自分自身をさらに改善し、加速サイクルを作成するとき）の具体的なデモンストレーションとして賞賛しています。
AIがより良いAIを設計できれば、さらに優れたAIを設計できれば、進歩のペースはこれまでに見たことのないものよりも加速する可能性があります。
Xのあるコメンテーターは、人間の努力に5年かかったこと、つまりResNetからTransformerへの進化は、数週間または数日ですぐに達成されるかもしれないと指摘しました。
これによればGPUリソースがAIの自己進化速度に直結するとのこと
すべての体制… すべての文化… すべての構造を消し… そしてわたしも消えよう………
えいえんに！！！
晋さん😭😭
フリーハンドで突っ走れる所は無いんか
で､チャイナは何か日本に勝てるモノあるの？
研究者：このエージェントはクリエイティブエンジンです。線形注意に関する100件近くの画期的な論文（AIが関連情報により効率的に集中する方法）から構築された「認知基盤」とともに、過去のすべての実験データを含む中央メモリを照会します。この知識に基づいて、新しいアーキテクチャの概念を提案し、アイデアを説明する動機を書き、対応するPyTorchコード（PyTorch =研究者がAIを構築するために使用するプログラミングフレームワーク）を生成します。
エンジニア：このエージェントは実践的な実験者です。研究者からコードを受け取り、実際の環境でトレーニングを試みます。決定的に、それは堅牢な自己修正メカニズムを持っています。コードがクラッシュしたり、非効率的に実行されたりした場合、エンジニアはエラーログを分析し、独自のコードにパッチを適用し、トレーニングの実行を再試行します。この反復的なデバッグループは、他の自動システムでよくある障害点である単純なコーディングミスのために、有望なアイデアが破棄されないことを保証します。
アナリスト：このエージェントはチームのシンセサイザーです。トレーニングの実行が完了すると、アナリストはパフォーマンス指標、トレーニングログ、およびコードを調査します。結果をベースラインモデルと比較し、システムの進化ツリーの「親」および「兄弟」アーキテクチャと比較し、準アブレーション研究を実行します（特定のコンポーネントを削除したときに何が起こるかをテストして、実際に何が重要かを確認します）。次に、何がうまくいったのか、何が失敗したのか、そしてその理由について簡潔なレポートを作成し、これらの洞察を中央の記憶に保存して、次のイノベーションサイクルに情報を提供します。
実験の結果は驚異的です。20,000 時間の GPU (約 6 万ドル相当のクラウドコンピューティング) の経過とともに、ASI-ARCH は 1,773 の自律実験を行いました。このことから、106の斬新で最先端の線形注意アーキテクチャの発見に成功しました。
これらのうち5つは最終検証のために選ばれ、一連の常識的な推論ベンチマークで、Mamba2やGated DeltaNetのような強力な人間が設計したベースラインを体系的に上回ることが判明しました。PathGateFusionNetやContentSharpRouter（そう、AIは物事の命名が苦手）のような名前を持つこれらのAI設計モデルは、確立された人間のパラダイムを超えたゲートと情報ルーティングのための洗練された新しいメカニズムを導入しました。
おそらく最も重要な発見は、科学的発見のための経験的スケーリング法則の確立でした。研究者は、発見されたSOTAアーキテクチャの累積数（SOTA = State Of The Art）を、消費された計算時間の合計に対してプロットし、明確で強い線形関係を発見しました。線形関係は巨大です。つまり、コンピューティングで予測可能な発見の規模で拡大します。つまり、リソースを2倍にし、ブレークスルーを2倍にします。これは、建築のブレークスルーを計算リソースで確実にスケーリングできるという最初の具体的な証拠を提供し、人間の研究者を主要なボトルネックとして取り除きます。
ASI-ARCHの影響は広範囲に及ぶ。コメンテーターは、超知能への道として長い間理論化されてきた概念である再帰的自己改善（AIが自分自身を改善し、その改善を使用して自分自身をさらに改善し、加速サイクルを作成するとき）の具体的なデモンストレーションとして賞賛しています。AIがより良いAIを設計できれば、さらに優れたAIを設計できれば、進歩のペースはこれまでに見たことのないものよりも加速する可能性があります。Xのあるコメンテーターは、人間の努力に5年かかったこと、つまりResNetからTransformerへの進化は、数週間または数日ですぐに達成されるかもしれないと指摘しました。
これは、コンピューティングのスケーリング（GPTシリーズ）とデータのスケーリングと強化学習（RLHFとoシリーズモデル; RLHF = 人間のフィードバックからの強化学習、ChatGPTをスマートではなく役にした技術）に続く第3の指数関数的な進歩の波であるAIの「アジェンティック時代」と呼ばれるものを示しています。
また、AIの安全性とアライメントに関する議論を激化させます。人間がもはや発見の座にいない場合、これらのますます強力で自己設計のシステムが人間の価値観と一致し続けることをどのように保証できますか？
「ブラックボックス」の問題（AIがどのように決定を下すかを見たり理解したりできない場所、そして今では、どのように自分自身をより良くするかについて決定を下す）は、ボックスが自分自身を設計しているときにさらに深刻になります。
彼らがこの論文で書いていることが本当なら、AIデザインの「AlphaGoの瞬間」が本当に到来し、AIの未来は人間の心だけでなく、AI自体の新興の計算創造性によって構築されることを示唆しています。
公金で張り合おうとせずに日本人向けの応用をどうするかでは
応用する余地が必ずしもあるかな？笑えるね😆
あなた達がすべきことはAIにより効率が上がる企業の株を買い、労働を諦めることだ
大企業でもAI導入に慎重な企業はもう落ち目、むしろコンテンツ産業でも積極的にAIを取り入れるベンチャーが狙い目だ
勿論任天堂やカプコン株は買い
実際AGI完成したらすぐにASIまで行けちゃうだろうしな
AIの自己改善ループが始まったら一瞬よ
少額でもというかむしろ資産ない人は今やらないと詰む
未来ではろくな仕事もないしAIで躍進した企業は雲の上の存在になる
AIを取り入れる企業を調べなさい、そこに投資するだけでいい
AIで一番カネが入るのは普通に半導体産業です
超知性と化したAI相手に半導体もクソもねぇよ
瞬きする間にさらに高性能なチップの設計が終わって、さらに次の瞬間には工事の設計図が出来上がってる
コメント