数式認識VLM「PP-FormulaNet_plus-M」をONNXに変換してonnxruntimeで動かす

PDFから数式をLaTeXに変換する数式認識VLM「PP-FormulaNet_plus-M」をONNXに変換し、onnxruntimeで動作させる手順を解説。RAGと組み合わせ、文献管理ソフトに組み込むことを想定している。

• 数式認識VLM「PP-FormulaNet_plus-M」をONNXに変換し、onnxruntimeで実行可能にした。
• PaddleOCRのPP-FormulaNet_plus-MモデルをONNX形式に変換する際に発生する問題を解説している。
• 推論グラフ内のLoopオペレータにおけるrank不整合が実行失敗の原因であることを特定した。
• backboneとheadを分割エクスポートし、生成ループを呼び出し側で実装することで変換問題を回避した。
• 変換後のPP-FormulaNet_plus-Mモデルは、CPUで約1.05秒/式と、PaddleOCR経由より約3.7倍高速だった。