スタートアップ解剖：Tokenlessはなぜ推論コストを半額にできるのか
AIを本格利用し始めた企業が、最初に直面する壁がある。請求書だ。
月に数万ドル単位でLLMのAPIコストが積み上がるようになると、「賢いモデルを使えばいい」という最初期の判断が通用しなくなってくる。そこに目をつけたのが、今回取り上げるTokenlessというスタートアップだ。
ひとことで言えば、「すべてのリクエストに最高性能のモデルを使わなくていい」という原則を、エンジニアリングで自動化したサービスである。
何をしている会社か
Tokenlessは、LLMへのAPIコールを横断的に管理するルーターを提供している。
仕組みはこうだ。ユーザーが今使っているOpenAIやAnthropicへのエンドポイントを、Tokenlessのものに切り替える。するとリクエストは複数のモデルへ同時に（ファンアウトして）送られ、どのモデルが「正しい方向に進んでいるか」をリアルタイムで観察する。あるモデルが明らかに正解に向かっていると判断された時点で、そのモデルを選択し、残りはキャンセル。課金はその選ばれたモデルが実際に処理した分だけになる。
OpenAI・Anthropic互換のエンドポイントを提供しているため、導入はコードの変更2行程度で済む、というのがTokenless側の主張だ。「ドロップイン置き換え」という言葉を使っているが、これはつまり既存のプロダクトを大きく改修しなくていいということを意味する。
公式サイトで示されているコスト削減シミュレーションを見ると、月のLLM支出が40,000ドルの企業に対して、Tokenlessを使うと月額請求が26,000ドルになる——つまり14,000ドル削減、年間では344,000ドルの節約になるという数字が出ている。削減率でいうと約35%だ。「半額」というキャッチコピーとの乖離は後述するが、この規模の数字がリアリティを持って提示されている点は注目に値する。
なぜ伸びているのか
チームの出自が、まず信頼性の根拠になっている。Google DeepMind、Princeton、UC Berkeleyの研究者たちが開発しており、Y Combinatorの支援も受けている。研究室の発想をプロダクトに落としてきた、という文脈が読める。
ただ、それ以上に重要なのはタイミングだ。
AI支出の増加スピードは、導入期とは桁違いになってきている。公式サイトではRamp AI Indexのデータを引用し、AI支出が月次で+11.0%のペースで増加していると示している。月次11%の成長が続くと、年率では3倍以上のペースだ。今は40,000ドル/月でも、12ヶ月後には100,000ドル/月を超えるシナリオが現実になりうる。
この成長曲線の中で、「コストを下げる」というソリューションへの需要は自然に高まる。しかもTokenlessが狙っているのは、AIを本番利用している企業——つまりすでにコスト問題が顕在化している層だ。PoC段階ではなく、本番稼働中のプロダクトに対して差し込める、という点が競合との差になりうる。
ベンチマーク数字も出している。公開されているエージェント系ベンチマーク（τ³-Banking、Terminal-Bench 2.1、DeepSWE 1.1）でのsolve rateと平均コストを、GPT-5.6 Sol、Claude Opus 5、Gemini 3.6 Flashなどのフロンティアモデルと比較している。Tokenless Proはsolve rate 40.2%で平均0.57ドル/タスク、Claude Opus 5はsolve rate 33.0%で1.64ドル/タスク、という具合だ。品質を落とさずコストを下げるという主張を、数字で裏付けようとしている姿勢は評価できる。
収益モデル
Tokenlessの収益構造は、公式サイトには明示されていない。ただ、構造的には推測できる。
ユーザーはTokenless経由でモデルを利用するため、Tokenlessがモデルプロバイダーへの支払いを一括管理し、その上でマージンを乗せる形が一般的なルーターサービスの収益パターンだ。節約額の一部をTokenlessが取る、あるいは従量課金に上乗せするモデルが考えられる。
いずれにせよ、ユーザーにとっては「Tokenlessに払う金額 ＜ 直接プロバイダーに払う金額」であれば導入インセンティブがある。その差額の設計が、ビジネスの持続性を決める。
日本での応用可能性
日本企業にとってこの話が刺さるかどうかは、前提となるAI支出規模による。月額40,000ドル（約600万円）のLLMコストが当たり前になっている企業はまだ少数派だが、AIエージェントや社内RAGを本番運用し始めたスタートアップや大手のAI推進部署では、すでにこのレンジに入りつつあるケースが出てきている。
導入の障壁が低い点は日本市場でも有利だ。コード変更が最小限で済み、既存スタックをいじらなくていいとなれば、「試してみる」判断は比較的しやすい。ただし、データをどこに流すかという問題——コンプライアンス上の懸念——は必ず確認が必要になる。リクエストがTokenlessのインフラを経由する以上、機密情報の取り扱いポリシーは事前に精査すべきポイントだ。
AIおじさんの見方：「ルーター」という発想が示すAI基盤の成熟段階
ここからは少し構造的な話をしたい。
Tokenlessのようなサービスが登場すること自体が、AI基盤の成熟を示すひとつのサインだと思っている。
黎明期のクラウドは「とにかく使う」だった。AWSを使えばいい、という時代。それがある程度普及すると、コスト最適化のためのサービスが次々と生まれた。スポットインスタンスの管理ツール、マルチクラウドの自動ルーティング、リソースの自動スケーリング——つまり「どのクラウドをどう使うか」を最適化するレイヤーが産業として成立した。
LLM利用も同じ段階に入りつつある。「とにかくGPT-4を使う」から「何をどのモデルに任せるかを設計する」へのシフトが始まっている。Tokenlessはそのシフトを人手でなく自動化するプロダクトだ。この文脈で見ると、同種のサービスが今後複数出てくることはほぼ確実で、Tokenlessはその先行者のひとつという位置づけになる。
期待値の調整として言っておくべきこともある。
「半額」というキャッチコピーは強烈だが、実際のシミュレーションでは削減率34%、請求額は40,000ドルが26,000ドルになるという数字が出ている。「半額」と「34%削減」は別物だ。また、「Your rate depends on your traffic.」とサイト自身が但し書きしている。トラフィックのパターン、使っているモデルの組み合わせ、タスクの複雑さによって削減率は大きく変わる。ベンチマーク上のsolve rateも、実際の業務タスクとは乖離があることを前提に読む必要がある。
実務的な示唆と今後の論点
LLMコストの管理を担当している立場から見ると、Tokenlessのようなサービスを評価するときに確認すべきポイントはいくつかある。
まずレイテンシへの影響だ。複数モデルにファンアウトして途中でキャンセルするという仕組みは、ネットワーク越しの制御が入る分、単純なAPI直接呼び出しより遅延が増える可能性がある。リアルタイム性が求められるアプリケーション（チャットbotなど）では、この点を実測しないと判断できない。
次に品質の担保だ。「あるモデルが正しい方向に進んでいる」という判定はどうやっているのか。この判定ロジックの精度がサービスの本質であり、ここがブラックボックスのままだとプロダクト品質に対するリスクを評価しにくい。デモを通じてこの部分を確認することが先決だと思う。
そしてベンダーロックインの問題。ルーターを挟むことでプロバイダーへの直接依存は下がるが、今度はTokenless自体への依存が生まれる。Tokenlessが価格改定したとき、あるいはサービスを停止したときのリスクシナリオは考えておく必要がある。
今後の論点として気になっているのは、このルーター競争がモデルプロバイダー側にどう影響するかという点だ。もしルーターが普及し、「一番高性能なモデルへのリクエストが減る」という現象が起きると、フロンティアモデルの利用単価や戦略に影響が出る可能性がある。OpenAIやAnthropicがルーター機能を自社に取り込む動きに出るか、それともサードパーティに任せるか。このあたりの動向は、Tokenlessの競争環境を大きく左右する変数になるはずだ。
まとめ
Tokenlessが解こうとしている問題——「すべてのリクエストに最高性能モデルを使う非効率」——は本物だ。月40,000ドルのLLM支出を14,000ドル削減できるという試算の実現可能性は、自社のトラフィックパターンで検証しないと何とも言えないが、「試す価値があるかどうか」という問いへの答えはYesだと思う。
ただし、ルーターが挟まることで生じるレイテンシ、品質判定の透明性、ベンダー依存の移転という三つのリスクは、導入前に必ず整理しておくべきだ。コスト削減の数字だけを見て飛びつくのではなく、自社のユースケースで実測する——その一手間が、後になって「入れなければよかった」を防ぐ。
Y Combinatorのバッキングと研究者チームの出自は、プロダクトの信頼性を測る一つの材料にはなる。とはいえ、AIコスト最適化という領域は今まさに競合が増えていくタイミングでもある。Tokenlessを評価するなら、同種のサービスとの比較を同時にやっておく価値がある。
参考元: The router that cuts your inference bill in half. – Tokenless
