Cloudflare Workers AIのMarkdown Conversionは、Markdown記法を除いたplain textを返せるようになった。既存出力は変わらないが、textへ切り替えるとRAGの見出し、表、link構造が失われる可能性があり、token削減だけで判断してはいけない。

何が変わったか

Workers AIのMarkdown Conversionへoutput.formatが追加され、markdownまたはtextを選べる。textではMarkdown syntaxを除いたplain textが返り、結果オブジェクトのformatもtextになる。既定はmarkdownのため、既存呼び出しの出力は変わらない。

AI bindingではconversionOptions.output.format、REST APIではmultipartのconversionOptionsへ指定する。

変更前後の差

項目markdown出力text出力
既定既定値明示指定が必要
見出し#等で構造を保持記法を除去
linkURL・label構造を保持しやすい表示文字中心になる可能性
表Markdown tableとして保持行列構造が弱くなる
token記法分を含む短くなる可能性
RAGsection chunking向き単純全文検索・分類向き

誰に影響するか

Webページや文書をRAG corpusへ投入するpipeline、全文検索用index、promptへ直接文書を渡すAgent、Markdownを表示しない分類・感情分析処理に影響する。見出し単位のchunkingや表の意味を重視する用途では、text出力へ変えると情報量が落ちる可能性がある。

期限

強制移行期限はない。既定値はmarkdownのままで、既存pipelineは変更されない。text出力は新しいoptionとして、用途ごとに比較してから採用する。

必要な対応

変換後の用途を「構造を使う処理」と「文字列だけを使う処理」へ分ける。RAGでは見出し、表、link、listを検索・引用へ使っているか確認する。textへ切り替える場合も、元ファイル名、page、section、source URLなどのmetadataは別に保持する。変換formatをindex versionへ含め、同じcorpusへmarkdownとtextを混在させない。

実装・移行手順

  1. 代表文書としてHTML、PDF、表、箇条書き、linkを含む評価セットを作る。
  2. 同じ入力を既定markdownとoutput.format=textで変換する。
  3. 文字数、token数、見出し・表・URL保持率を比較する。
  4. 同じchunk sizeとembeddingで検索精度を比較する。
  5. 引用回答で元sectionを復元できるか確認する。
  6. pipeline設定へformatとversionを記録する。
  7. 合格した用途だけtextへ切り替え、既存indexは別versionとして保持する。

失敗しやすい点

text出力を「内容が同じで記号だけ少ない」と考える、表やlinkの消失を評価しない、既存embedding indexへ異なるformatを追加する、結果のformatを確認しない、conversion optionをbindingとRESTで異なる場所へ指定することが問題になる。

リスク

見出し境界の消失、表の列関係崩壊、引用URLの欠落、chunk品質低下がある。token削減だけを最適化すると、検索で該当sectionを特定できず、最終回答の根拠性が下がる可能性がある。

評価方法

  • markdownとtextのtoken削減率
  • 見出し・表・link保持率
  • RAG top-k recall
  • 引用元sectionの復元率
  • 検索結果の重複率
  • 文書変換時間と費用
  • 変換失敗・空出力率
  • format混在indexの件数

ロールバック

conversion optionを外し、既定のmarkdown出力へ戻す。textで作成したembedding indexを既存indexへ混ぜている場合は、format別に再構築する。元文書とmetadataを保持しておけば再変換できるため、変換済みtextだけを唯一の正本にしない。

編集部分析

plain textはtoken効率と単純処理に向くが、RAGではMarkdownの記号自体が構造metadataとして働く。出力formatは表示上の好みではなく、検索と引用のデータモデルを変える設定である。用途別に二つの変換結果を持つ方が、一律text化より合理的な場合が多い。

実務チェックリスト

  • [ ] markdownとtextを同じ文書で比較した
  • [ ] 表・link・見出しの保持率を測った
  • [ ] formatをindex versionへ記録した
  • [ ] 元文書とmetadataを保持した
  • [ ] RAG recallと引用復元を評価した
  • [ ] 既存indexへformatを混在させていない
  • [ ] markdownへ戻す手順がある

一次情報