実践

Qwen 3.8 27B 実践レビュー:オープンソース27Bが30分で閉源モデル級の作業を達成

270億パラメータのオープンソースモデルが、30分でリバースエンジニアリングを完走。Hacker Newsで159ポイント・80コメントを集めた議論を分解する。

文字サイズ

270億パラメータ、Apache 2.0ライセンス、AlibabaのQwenチームが公開——これがQwen 3.8 27Bの基本スペックだ。このモデルが最近取り組んだのは、オープンソースモデルには「不相応」とも言えるタスク:ある閉源クライアントプロトコルのリバースエンジニアリングだ。30分で完走し、作者は「frontier modelに匹敵する」と評価した。Hacker Newsでは159ポイント・80コメントがつき、議論が白熱した。

以下、この出来事を分解していく。

タスクの中身:「完走」の定義は何か

単なるデモではない。原作者が xda-developersの記事 で提示したのは、実案件のリバースエンジニアリングだ。対象は未公開プロトコルを使うデスクトップクライアント。ソースコードにアクセスせず、プロトコル形式・メッセージ境界・主要フィールドを推定する必要がある。

典型的な手順はこうなる:

  • パケットキャプチャを取得し、リクエスト/レスポンスのバイナリストリームを観察
  • magic bytes、長さプレフィックス、構造境界を特定
  • クライアントのUI挙動と照合し、各フィールドの意味を推定
  • スクリプトでハンドシェイク全体を再現

作者はこの流れをQwen 3.8 27Bにagent loopで実行させた。パケットキャプチャを読み込み、Pythonパーサを自分で書き、自分で実行し、バグを自分で修正し、また走らせる。所要時間は合計30分——wall clock timeであって、生成トークン時間ではない。

30分という数字こそが要点だ。閉源frontierモデル(GPT-4o、Claude 3.5 Sonnet)が同タスクを処理する場合、過去の業界ベンチマークでは数時間から数日という報告がある。それが27Bパラメータで作者の「匹敵」レベルに到達したのが、HNで議論が燃えた理由だ。

27Bが戦える理由:サイズが小さい ≠ 能力が劣る

27Bというサイズは2024年初頭では「コンシューマーGPUでなんとか動く」境界線にあたる(4090 24GBでは4-bit量子化が必須)。だがQwenチームが取ったのはパラメータ積み増しではない。

横並びで比較してみる:

  • Llama 3.1 8B:Metaの同世代オープンソース旗艦、8Bサイズ。長鎖推論で5ステップ超のツール呼び出しから「幻覚」を起こし始める
  • Qwen前世代 72B:Qwen 2.5 72B。長コンテキストとコード能力は優秀だが推論コストが高く、4090では動かない
  • Qwen 3.8 27B:パラメータを60%以上削減しつつ、長鎖タスクで前世代に並ぶか超える

差はどこから来ているか。主に2つ:

1点目は学習データ。QwenチームはQwen 2.5から「コード+ツール呼び出し軌跡」を pretraining data の重要構成要素に位置づけてきた。単に「コードを食わせる」のではなく、実 agent の実行軌跡(ツール呼び出し・エラー・リトライ・成功)を教師信号として投入している。これは「コードコーパス」より遥かに価値のあるデータだ。

2点目はRLHFの粒度。閉源 frontier モデルはずっとこの方向で動いている——Anthropic も Claude 3.5 Sonnet の技術報告で「学習時にツール呼び出し軌跡を大量に使用」と明言している。Qwenチームの今回の RLHF も明らかにこの路線であり、従来の「人手アノテーションの preference pair」とは別物だ。

結果として、27Bモデルが agent loop で10数ラウンド安定して回せる。これは従来オープンソースモデルの弱点だった部分だ。

閉源 frontier model との差はどの辺にあるか

「匹敵する」の3文字は分解して読む必要がある。

作者は「finished in 30 minutes」と書いているが、「一発で完走」とは言っていない。推測するに、モデルは agent loop で何度も試行錯誤し、30分は wall clock 合計だろう。同じツールセット・同じ時間予算で GPT-4o や Claude 3.5 Sonnet を走らせれば、20分で終わるかもしれないし40分かかるかもしれない——これが「匹敵」の正確な意味だ。

差は主に3箇所:

多輪ツール呼び出しの安定性。オープンソースモデルは10輪を超えるとエラー率が明確に上がる。閉源 frontier モデルは学習時にこうした軌跡を多く見ているため、「前ステップの結果を幻覚する」確率がかなり低い。

長コンテキスト記憶。リバースエンジニアリング終盤、モデルはこれまでのパケットキャプチャのすべてのパターンを参照する必要がある。Qwen 27B は32Kを過ぎると精度が落ち始めるが、Claude 3.5 Sonnet の200Kコンテキストは安定している。

複雑指示の細部理解。例えば作者が「仮説検証してからコードを書け」と指示しても、オープンソースモデルは検証をスキップして手を動かしやすい。閉源モデルは手順通りに進む傾向が強い。

したがって、「できるかどうか」は追いついたが、「どれくらい安定してできるか」はまだ差がある。今回の出来事は「タスク単位の追平」に近く、「継続的な追平」ではない。

HNコメント欄は何を争っているのか

HNのスレッドは159ポイント・80コメント。高評価の方向性は典型的だった:

タスクの難易度を疑う声:「平文プロトコルのリバースはリバースとは言わない」という指摘。作者が使っていたプロトコルは構造が整っており、magic bytes も明瞭だった。TLS暗号化・難読化・相互認証なら、27Bでは厳しい。

閉源モデルでの再現比較:Claude 3.5 Sonnet で同タスクを走らせたというコメントが貼られ、12分で完走と主張している(完全なプロンプトとツール設定は未公開で信頼性は要検証)。

4090の推論コスト計算:vLLM + AWQ 4-bit量子化での試算によると、27Bを4090で走らせると毎秒約35トークン、30分なら電気代だけで0.5ドル未満。同じタスクを GPT-4o API で回せば最低でも5ドルからだ。

「30分」の定義への疑問:少数のコメントが、30分には人手でのプロンプト調整時間を含む可能性があると指摘。モデル純粋な推論時間ではないとの見方だ。作者は原記事で基準を明示していない。

最も激しく争われたのは最初の項目——タスク自体が簡単ではないかという議論だ。「難しさ」は相対的なので答えの出ない問いだが、議論が起きていること自体が示唆的だ:オープンソースモデルの実タスクでの実用性が、もう「モデル能力」ではなく「タスク難易度」の話になっている。議論の主軸が移ったということだ。

編集部の所感

オープンソースモデルによる閉源 frontier への「タスク単位の追平」は起きている——今回の Qwen 27B 30分リバースは単発事象ではなく、過去半年で DeepSeek V3 や Mistral Large 2 も各垂直タスクで同様の回答を出している。ただし「継続的な追平」まではまだ距離があり、安定性・長コンテキスト・複雑指示の領域では閉源モデルが依然として一段リードしている。

今回の本当のシグナルはこれだ:選定基準が「パラメータの大きさ」から「どの垂直タスクで検証済みか」に変わった。27Bが70Bに劣るのは常識だが、リバースエンジニアリングで閉源モデル数時間分の仕事を30分で片づけるなら、選定時の「サイズ信仰」は終わりにすべきだ。

反直感的な観察を一つ:オープンソースモデルで十分足りる時、閉源 frontier の堀は「できるかどうか」ではなく「安価にできるか」になる。Anthropic や OpenAI が本当に守るべきはモデル能力そのものではなく、企業向け SLA、データプライバシー、監査ログ、コンプライアンス認証といった「モデル以外」の資産だ。これは別の戦いだ。

不確実な点:30分の基準——純粋な推論時間か人手込みか——が原記事では曖昧。後者なら、Qwen 27B の実力評価はさらに割り引く必要がある。HN に貼られた Claude 3.5 Sonnet 12分の比較も検証不能だ。本記事は「オープンソースモデルの実用性が臨界点に達した」というシグナルとして読み、「27Bが frontier を全面的に超えた」という結論として読まないことを推奨する。


参考出典:xda-developers: Qwen 3.8 27B reverse engineering job

出典: https://www.xda-developers.com/qwen-3-8-27b-reverse-engineering-job-frontier-model/