HTMLをそのままLLMに渡してはいけない――Crawl4AIが解くWeb抽出の問題

WebページをLLM/RAG/Agentで扱いやすいデータ形式（Markdown/構造化データ）に変換するOSS「Crawl4AI」を紹介。HTMLをそのままLLMに渡す問題点を指摘し、データ抽出のエンジニアリング課題を整理しています。AI開発におけるデータ前処理の重要性を示唆しています。