Scrapling:サイト改修に自動追従するPythonスクレイピングフレームワーク
CSSクラスが変わっても要素を見つけられる適応型セレクタを備えたスクレイピングライブラリ。HTTP・ブラウザ・全クロールを1つのAPIで統合し、MCPサーバーとAgent Skillを内蔵してLLMから直接呼び出せる。
LlamaIndex は「LLM に文書を渡す」だけのライブラリではない。RAG、Workflow、Agent 编排まで網羅する。本記事では最小コードからアーキテクチャ、実運用での落とし穴までを整理する。
CSSクラスが変わっても要素を見つけられる適応型セレクタを備えたスクレイピングライブラリ。HTTP・ブラウザ・全クロールを1つのAPIで統合し、MCPサーバーとAgent Skillを内蔵してLLMから直接呼び出せる。
Llama、Qwen、DeepSeek の微調整をワンクリックで済ませるデスクトップアプリ。手書きの CUDA kernel と 4/8-bit GGUF 量子化により、VRAM を 40〜70% 削減、速度は 2〜5 倍。4090 上で Qwen2.5-7B LoRA を実測し、1 ステップを 2.3 秒から 1.1 秒に短縮した。
ノートPCで動く ChatGPT 代替。Ollama、OpenAI API、RAG、プラグイン、チーム协作まで対応する、セルフホスト型 AI フロントエンドとしては最大規模。本記事ではデプロイから内部構造まで分解して紹介する。
任意の URL をクリーンな Markdown に変換し、JS レンダリングや bot 対策を自動で突破する Firecrawl。プロキシプール、ヘッドレスブラウザ编排、Agent 親和性設計の3本柱を紐解く。
Microsoft発のMarkItDownは、PDFやOffice文書、画像、音声、YouTubeリンクをMarkdownへ一括変換するオープンソースツール。RAGやAgentのデータ前処理パイプラインの最前段に位置する。
一行のチェーン呼び出しから始めて、LangChainがLLMアプリ開発をどう「まともな工学的作業」にしたのかを読み解く。
GitHubで89.5k Starを集める推論フレームワークの仕組みを、メモリ管理からスケジューラまで深掘り。H100単体で4200 tok/sを叩き出した実測値も公開。
StateMemBenchが234件のマルチセッションシナリオで既存ベンチマークを検証。recall(想起)しか測られておらず、状態追跡という本質的な課題が放置されている実態を明らかにした。