情報収集→保存→検索→分析→出力→評価→自動化 の7ステップ完全網羅
現代のAI開発（特にLLMアプリケーション開発）における「情報収集→ためる→選ぶ→分析・洞察→アウトプット→レビュー→修正」という黄金のパイプラインを自動化・最大化するための、必須ツールと概念の完全版まとめです。
世界中のデータを、AIが読める状態にして持ってくるフェーズ
Webサイトの更新通知技術。純粋なテキスト情報が得られ、入力源として最強かつ最速
AI開発に特化したWebスクレイピングツール。HTMLのゴミを取り除き「きれいなMarkdown」に変換
ブラウザ自動操作ツール。ログインが必要なサイトや動的サイトから情報を抽出
AIエージェント専用の検索API。AIが自ら検索し、最新情報を取得（Search Grounding）
非構造化データ（PDF, パワポ等）を扱うライブラリ。表や画像も含めてテキスト化
集めたデータを、後で検索・分析しやすい形で保存するフェーズ
テキストを「意味のベクトル」として保存するRAGの心臓部
超高速な分析用DBと高効率なファイル形式。大量データをPythonで爆速処理
1行に1つのJSONデータが入ったファイル形式。学習データやログの業界標準
大量のデータから、AIに渡すべき「最適な情報」だけを抜き出すフェーズ
外部知識を検索してAIに渡す仕組み
「キーワード検索」と「意味検索」を混ぜる技術
検索結果を「AIにとっての関連度順」に並べ替える技術。回答精度が劇的に向上
知識をネットワーク図として扱う技術。隠れた関係性をAIに理解させる
選んだ情報を元に、AIが思考・計算・推論を行うフェーズ
AIアプリ開発のオーケストレーション・フレームワーク
プロンプトを「プログラムして最適化する」フレームワーク
マルチエージェント構築ツール。複数のAIに役割分担させる
データ分析ライブラリ。AI自身に正確な数値計算や統計処理を行わせる
結果を人間やシステムが使いやすい形にするフェーズ
Pythonのテンプレートエンジン。プロンプト管理の要
データの「型」を定義・検証するライブラリ。出力形式の強制に必須
軽量マークアップ言語。LLMが最も得意とする出力形式
PythonだけでWebアプリが作れるツール
AIのアウトプットが正しいか評価するフェーズ
RAGの精度を数値化して評価するツール
AIの実行ログ（トレース）管理ツール。デバッグに使用
フロー全体を改善し、自動で回るようにするフェーズ
設定ファイル形式。プロンプトやモデル設定をコードから分離
ワークフロー管理ツール。一連の流れをスケジュール実行
テキスト以外の「難易度の高いデータ」や「質の高い情報」を狙い撃ちする
LLM用検索エンジン。AIが学習・引用するのに適した質の高いデータだけを探せる
複雑なPDFをAI用に解析する最強ツール。表や段組みを完璧なMarkdownに変換
AIと外部ツール（Slack, GitHub等）を繋ぐ世界共通規格
スクレイピングロボットのマーケットプレイス。自作だとブロックされるサイトに有効
データの「関係性」や「鮮度」を管理する
DB、認証、API生成が全部入り。RDBとベクトル検索を一つで完結
グラフデータベース。複雑な人間関係や因果関係をAIに推理させる
超高速なメモリ内データストア。AIの「短期記憶（会話履歴）」に使用
検索漏れを防ぎ、AIに「文脈」を渡す
「架空の完璧な回答」を先に作らせて近い記事を探す検索手法
検索用ベクトル化モデルの特化型ベンダー。専門分野で精度が段違い
キーワード検索とベクトル検索のいいとこ取り（疎ベクトル）
コスト管理と、より高度な自律動作
全てのLLM APIを統一された書き方で使える中継ライブラリ。モデル切り替え・コスト削減が容易
自分のPCで高性能LLMを動かすツール。機密情報処理に最適
AIが書いたプログラムを安全に実行するためのサンドボックスクラウド
見た目と使い勝手をプロ仕様にする
リッチなチャット画面が作れるライブラリ。思考プロセスの表示などに特化
PythonでWeb APIを作る標準フレームワーク。爆速で動きドキュメントも自動生成
テキストを書くだけで図が描けるツール。業務フロー図などを自動生成
感覚値ではなく、数値で品質を保証する
プロンプトの品質をテストするツール。変更時のデグレを防ぐ
AIアプリの挙動を記録・可視化（オブザーバビリティ）
環境構築の泥沼から抜け出す
超高速なPythonパッケージ管理ツール。ライブラリインストールのストレスを解消
アプリが動く環境ごと箱詰めにする技術。環境依存のバグを防ぐ