270億パラメータ、Apache 2.0ライセンス、AlibabaのQwenチームが公開——これがQwen 3.8 27Bの基本スペックだ。このモデルが最近取り組んだのは、オープンソースモデルには「不相応」とも言えるタスク:ある閉源クライアントプロトコルのリバースエンジニアリングだ。30分で完走し、作者は「frontier modelに匹敵する」と評価した。Hacker Newsでは159ポイント・80コメントがつき、議論が白熱した。
以下、この出来事を分解していく。
タスクの中身:「完走」の定義は何か
単なるデモではない。原作者が xda-developersの記事 で提示したのは、実案件のリバースエンジニアリングだ。対象は未公開プロトコルを使うデスクトップクライアント。ソースコードにアクセスせず、プロトコル形式・メッセージ境界・主要フィールドを推定する必要がある。
典型的な手順はこうなる:
- パケットキャプチャを取得し、リクエスト/レスポンスのバイナリストリームを観察
- magic bytes、長さプレフィックス、構造境界を特定
- クライアントのUI挙動と照合し、各フィールドの意味を推定
- スクリプトでハンドシェイク全体を再現
作者はこの流れをQwen 3.8 27Bにagent loopで実行させた。パケットキャプチャを読み込み、Pythonパーサを自分で書き、自分で実行し、バグを自分で修正し、また走らせる。所要時間は合計30分——wall clock timeであって、生成トークン時間ではない。
30分という数字こそが要点だ。閉源frontierモデル(GPT-4o、Claude 3.5 Sonnet)が同タスクを処理する場合、過去の業界ベンチマークでは数時間から数日という報告がある。それが27Bパラメータで作者の「匹敵」レベルに到達したのが、HNで議論が燃えた理由だ。
27Bが戦える理由:サイズが小さい ≠ 能力が劣る
27Bというサイズは2024年初頭では「コンシューマーGPUでなんとか動く」境界線にあたる(4090 24GBでは4-bit量子化が必須)。だがQwenチームが取ったのはパラメータ積み増しではない。
横並びで比較してみる:
- Llama 3.1 8B:Metaの同世代オープンソース旗艦、8Bサイズ。長鎖推論で5ステップ超のツール呼び出しから「幻覚」を起こし始める
- Qwen前世代 72B:Qwen 2.5 72B。長コンテキストとコード能力は優秀だが推論コストが高く、4090では動かない
- Qwen 3.8 27B:パラメータを60%以上削減しつつ、長鎖タスクで前世代に並ぶか超える
差はどこから来ているか。主に2つ:
1点目は学習データ。QwenチームはQwen 2.5から「コード+ツール呼び出し軌跡」を pretraining data の重要構成要素に位置づけてきた。単に「コードを食わせる」のではなく、実 agent の実行軌跡(ツール呼び出し・エラー・リトライ・成功)を教師信号として投入している。これは「コードコーパス」より遥かに価値のあるデータだ。
2点目はRLHFの粒度。閉源 frontier モデルはずっとこの方向で動いている——Anthropic も Claude 3.5 Sonnet の技術報告で「学習時にツール呼び出し軌跡を大量に使用」と明言している。Qwenチームの今回の RLHF も明らかにこの路線であり、従来の「人手アノテーションの preference pair」とは別物だ。
結果として、27Bモデルが agent loop で10数ラウンド安定して回せる。これは従来オープンソースモデルの弱点だった部分だ。
閉源 frontier model との差はどの辺にあるか
「匹敵する」の3文字は分解して読む必要がある。
作者は「finished in 30 minutes」と書いているが、「一発で完走」とは言っていない。推測するに、モデルは agent loop で何度も試行錯誤し、30分は wall clock 合計だろう。同じツールセット・同じ時間予算で GPT-4o や Claude 3.5 Sonnet を走らせれば、20分で終わるかもしれないし40分かかるかもしれない——これが「匹敵」の正確な意味だ。
差は主に3箇所:
多輪ツール呼び出しの安定性。オープンソースモデルは10輪を超えるとエラー率が明確に上がる。閉源 frontier モデルは学習時にこうした軌跡を多く見ているため、「前ステップの結果を幻覚する」確率がかなり低い。
長コンテキスト記憶。リバースエンジニアリング終盤、モデルはこれまでのパケットキャプチャのすべてのパターンを参照する必要がある。Qwen 27B は32Kを過ぎると精度が落ち始めるが、Claude 3.5 Sonnet の200Kコンテキストは安定している。
複雑指示の細部理解。例えば作者が「仮説検証してからコードを書け」と指示しても、オープンソースモデルは検証をスキップして手を動かしやすい。閉源モデルは手順通りに進む傾向が強い。
したがって、「できるかどうか」は追いついたが、「どれくらい安定してできるか」はまだ差がある。今回の出来事は「タスク単位の追平」に近く、「継続的な追平」ではない。
HNコメント欄は何を争っているのか
HNのスレッドは159ポイント・80コメント。高評価の方向性は典型的だった:
タスクの難易度を疑う声:「平文プロトコルのリバースはリバースとは言わない」という指摘。作者が使っていたプロトコルは構造が整っており、magic bytes も明瞭だった。TLS暗号化・難読化・相互認証なら、27Bでは厳しい。
閉源モデルでの再現比較:Claude 3.5 Sonnet で同タスクを走らせたというコメントが貼られ、12分で完走と主張している(完全なプロンプトとツール設定は未公開で信頼性は要検証)。
4090の推論コスト計算:vLLM + AWQ 4-bit量子化での試算によると、27Bを4090で走らせると毎秒約35トークン、30分なら電気代だけで0.5ドル未満。同じタスクを GPT-4o API で回せば最低でも5ドルからだ。
「30分」の定義への疑問:少数のコメントが、30分には人手でのプロンプト調整時間を含む可能性があると指摘。モデル純粋な推論時間ではないとの見方だ。作者は原記事で基準を明示していない。
最も激しく争われたのは最初の項目——タスク自体が簡単ではないかという議論だ。「難しさ」は相対的なので答えの出ない問いだが、議論が起きていること自体が示唆的だ:オープンソースモデルの実タスクでの実用性が、もう「モデル能力」ではなく「タスク難易度」の話になっている。議論の主軸が移ったということだ。
編集部の所感
オープンソースモデルによる閉源 frontier への「タスク単位の追平」は起きている——今回の Qwen 27B 30分リバースは単発事象ではなく、過去半年で DeepSeek V3 や Mistral Large 2 も各垂直タスクで同様の回答を出している。ただし「継続的な追平」まではまだ距離があり、安定性・長コンテキスト・複雑指示の領域では閉源モデルが依然として一段リードしている。
今回の本当のシグナルはこれだ:選定基準が「パラメータの大きさ」から「どの垂直タスクで検証済みか」に変わった。27Bが70Bに劣るのは常識だが、リバースエンジニアリングで閉源モデル数時間分の仕事を30分で片づけるなら、選定時の「サイズ信仰」は終わりにすべきだ。
反直感的な観察を一つ:オープンソースモデルで十分足りる時、閉源 frontier の堀は「できるかどうか」ではなく「安価にできるか」になる。Anthropic や OpenAI が本当に守るべきはモデル能力そのものではなく、企業向け SLA、データプライバシー、監査ログ、コンプライアンス認証といった「モデル以外」の資産だ。これは別の戦いだ。
不確実な点:30分の基準——純粋な推論時間か人手込みか——が原記事では曖昧。後者なら、Qwen 27B の実力評価はさらに割り引く必要がある。HN に貼られた Claude 3.5 Sonnet 12分の比較も検証不能だ。本記事は「オープンソースモデルの実用性が臨界点に達した」というシグナルとして読み、「27Bが frontier を全面的に超えた」という結論として読まないことを推奨する。