Appleが、Hugging Faceにて、Qwen3.5-9BベースのLLMモデル「LensVLM-9B」を公開しています。

これは、長い文書をテキストではなく圧縮されたページ画像に変換してとして読み取りすることでトークンを節約し、その後、質問に関連するページのみの全文を抽出するQwen3.5-9Bベースのファインチューニング版です。

文章が書かれたページ全体が、約192×252ピクセルのサムネイルとなり、その視覚トークン数はわずか約48に過ぎません。

このモデルはすべてのページをその解像度でスキャンした後、学習済みの `read_page` ツールを呼び出し、答えが含まれていると判断したページのみの非圧縮テキストを取得します。

これにより、本来なら約8,000のテキストトークンを要する文書も、わずか数百トークンで読み取ることができます。

これには「LensVLM-9Bデモ」も用意されていて、長い文書を貼り付け、質問を投げかけると、モデルが文書をスキャンし、ページを選択して展開し、回答する様子を見ることができます。

レンダリング、プロンプト、ツールのフォーマット、および貪欲なデコードは公式のリファレンス実装に従っており、生成処理はZeroGPU向けにTransformerに移植されています。