トランスフォーマーの次を狙う4つのアプローチ——LLMの「構造的欠陥」にどう向き合うか
トランスフォーマーの「強み」が「制約」に変わった
2017年の夏、Googleの研究者たちが「Attention Is All You Need（アテンションこそすべて）」という論文を発表したとき、それはほぼ予告なしに業界の地図を塗り替えた。そこで提唱された「Transformer（トランスフォーマー）」は、テキストの意味を数値にエンコードし、すべての単語を他のすべての単語と比較する「高密度アテンション（Dense Attention）」という仕組みを持つ。その精度の高さが、現在の主要なLLMすべてのエンジンになっている。
9年が経った今、問題はこの「すべてと比較する」という強みそのものにある。
1万語の文書を処理するとき、トランスフォーマーは場合によって5000万回もの乗算を実行しなければならない。テキストが長くなればなるほど計算量は急激に膨れ上がる——これが「クアドラティック（二次的）」な計算コスト問題と呼ばれる理由だ。そのコストはもはや抽象的な話ではない。OpenAIのグレッグ・ブロックマン社長は、同社が今年、計算資源だけで500億ドルを費やす見込みだと述べている。国際エネルギー機関（IEA）は、データセンターの総消費電力が2030年までに倍増すると予測する。
さらに構造的な問題もある。推論モデルが「思考の連鎖（CoT）」と呼ばれるメモ書きを自分自身で行い、それを読み返しながら動作する仕組みは、管理すべきデータ量をさらに増大させる。AIエージェントが複数のLLMの出力を受け取りながら動作する設計も同様だ。「コンテキスト・ウィンドウ」を大きくしてその場しのぎをしているが、これはコア技術への直接の対処ではなく、根本的な欠陥へのパッチ当てに近い。
スタートアップ・サブクアドラティック（Subquadratic）の共同創業者兼CEOジャスティン・ダンジェルは「AI業界全体がTransformerの上に成り立っています」と語る。そしてその重さこそが、今や足かせになっている。
4つのアプローチを整理する
この「トランスフォーマー問題」に、いくつかのスタートアップが4つの方向から挑んでいる。MITテクノロジーレビューはこれらの次世代モデルを総称して「LLM+」と名付け、2026年の「AIの10大潮流」に選んでいる。
① 疎アテンション（Sparse Attention）
最も直接的なアプローチだ。高密度アテンションでは「すべての単語の組み合わせ」を計算するのに対し、疎アテンションでは「重要な一部の組み合わせだけ」を計算する。計算量は大幅に削減できるが、これまでの研究では精度で高密度アテンションに匹敵するものがなかった。
サブクアドラティックは、「SubQ（サブキュー）」モデルが検索やコーディングなどのタスクで主要な最先端LLMに匹敵する精度を持つ初の疎アテンション機構だと主張している。同社によれば、このモデルは与えられたテキストごとにどの単語が重要かをその場で判断する仕組みを持つという。すでに数千人がウェイティングリストに登録しており、近く一般公開を予定している。
② アテンションの置き換え（マニフェストAI）
サンフランシスコのスタートアップ・マニフェストAI（Manifest AI）は、アテンションの仕組みを改良するのではなく、アテンションそのものを別の機構に置き換えようとしている。同社が開発した「パワー・リテンション（power retention）」は、特定タスクに最も関連性の高い情報を保持する仕組みとされるが、詳細はまだ公開されていない。
③ 拡散モデルの応用
画像生成AIで知られる拡散モデルをテキスト処理に応用するアプローチ。トランスフォーマーとは異なるノイズ除去プロセスを使い、逐次的なトークン生成とは違う方法でテキストを扱う。
④ 状態空間モデル（SSM）とリキッドNN
状態空間モデルは、シーケンス全体を「状態」として圧縮しながら処理するため、長文脈の扱いでトランスフォーマーより効率的になる可能性がある。リキッドNNは動的にネットワーク構造を変化させるアーキテクチャで、こちらも研究段階の話が多い。
「失うものが少ない」という競争優位の本質
ここで構造的な話をしておきたい。
なぜ大手AI企業ではなくスタートアップがこの分野を主導しているのか。理由は単純で、OpenAIやGoogleはトランスフォーマーに莫大な投資をしており、それを捨てる判断が難しい。インフラ、ファインチューニングのノウハウ、学習済みモデルの資産、既存顧客との接点——すべてがトランスフォーマー前提で作られている。
元記事はこの点を「既存大手に比べてスタートアップは失うものがはるかに少ない」と表現している。これは単なる物語の枠組みではなく、イノベーションの力学として正確だ。既存プレーヤーがトランスフォーマーを「信仰」として抱えている間、スタートアップはそれを「工学的な選択肢のひとつ」として比較検討できる。
ただし、ここからは見方の話だが、この「失うものが少ない」という優位性は諸刃でもある。スタートアップには実績データも、大規模な学習・評価のインフラも、信頼の実績もない。「主要LLMに匹敵する」という主張に業界内から懐疑的な声が上がっているのも当然で、その主張を証明するためのベンチマーク設計や第三者評価の質こそが、最初の真剣な分岐点になる。
期待値の調整——何が本当に新しく、何はまだ実験段階か
正直に言うと、現時点では「4つのアプローチ」の多くはまだ研究・実験段階だ。
サブクアドラティックのSubQは「数千人がウェイティングリストに登録」という段階であり、広く実務で使われているわけではない。マニフェストAIのパワー・リテンションに至っては詳細がほとんど公開されていない。LLM+というMITテクノロジーレビューの命名も、「これが来る」という予言ではなく「次を探している」という宣言に近い。
次世代LLMの覇権争いが始まっているのは事実だが、どのアプローチが生き残るかは現段階では誰にもわからない。過去のアーキテクチャ競争を振り返っても、RNN、LSTM、CNNなど「トランスフォーマーに勝てる」とされた技術は複数あった。それでもトランスフォーマーが勝ったのは、スケールしたときの精度の伸びが他を圧倒したからだ。次の勝者も、「理論的に優れているか」ではなく「スケールしたときに何が起きるか」で決まる可能性が高い。
同種のニュースを見るときに持っておきたい判断軸がある。「新しいアーキテクチャが登場した」という報道に接したとき、確認すべき問いはこれだ。
- ベンチマークはどんな条件で取られているか（タスク・スケール・比較対象）
- 大規模学習（数十億〜数千億パラメータ）でも有効か、それとも小規模実験の話か
- 第三者の再現実験は存在するか
- 発表元に開示の動機（資金調達・PR）があるか
この問いを持っておくだけで、「革新的な新技術登場」という文脈の記事から情報を正確に読み取れる。
実務的な示唆と今後の論点
では、開発者やプロダクト担当者は今の時点で何を考えるべきか。
短期的には、現在のトランスフォーマー系LLMから離れる必要はない。 性能・エコシステム・ツールチェーンの成熟度を考えると、実務上の選択肢はまだほぼトランスフォーマー系だ。ただし、コスト感覚は今から養っておく必要がある。OpenAIが500億ドルを計算資源に使う世界では、APIコストはユーザー側にも転嫁される。コンテキスト長が長いほど費用が跳ね上がる構造は、設計段階で意識しなければならない。
中期的には、「コンテキスト長・コスト・精度」の三角形で次世代アーキテクチャを評価する目が必要になる。 現在出てきているアプローチの多くは「計算コストを下げる」方向を狙っているが、それが精度とどうトレードオフするかは使い方次第だ。精度が少し落ちても圧倒的に安くなるなら、コスト感度の高いユースケース（大量処理・要約・分類）では十分に魅力的な選択肢になりうる。
今後の論点として気になるのは、「誰がベンチマークを設計するか」だ。 アーキテクチャが多様化すると、比較の軸が恣意的になりやすい。「わが社のモデルはこのタスクで最先端に匹敵」という主張が増えるほど、どのタスクで評価するかの選択自体が競争の一部になる。標準的な評価基盤を誰が作り、誰が信頼するか——これは技術の話というより、業界のガバナンスの話だ。
もうひとつ気になるのは、電力消費の問題が技術競争を加速させるかどうかだ。IEAの予測するデータセンター電力消費の倍増は、各国の電力政策や企業のESG目標とも絡む。「計算効率が2倍になるアーキテクチャ」は、性能の話だけでなく規制や社会的要請の文脈でも評価軸になり得る。
まとめ
「トランスフォーマーの限界」という言い方は正確ではあるが、誤解も招きやすい。トランスフォーマー自体がすぐになくなるわけではなく、その上で動くLLMもなくならない。変わりつつあるのは、「それ以外の選択肢を本気で探す人たちが増えてきた」という業界の空気だ。
4つのアプローチのうちどれが実用レベルで普及するかは、まだわからない。だが、計算コストと電力消費が「無視できない数字」として報道されるほど大きくなった今、次のアーキテクチャを探すモチベーションは十分にある。失うものが少ないスタートアップが工学的な代替物を試し続ける環境が整っている今、この競争は本物だと思っている。
ただし「本物の競争」と「すぐに使える技術」は別の話だ。この二つを混同しないことが、次の2〜3年でLLM関連のニュースを正確に読み解く上での最初の軸になる。
