ClaudeDevs、2週間でclaude.aiを3倍高速化したと報告
ClaudeDevsは、2週間でclaude.aiを3倍高速化したとし、Claudeを使って性能を測定、デバッグ、改善したと説明している。プロンプトと手法も含まれている。
#performance
すべてのAIニュースを見るTokenizers v1 first release candidate is out, claiming up to 30x faster tokenization
Lysandre (@LysandreJik) said Tokenizers v1’s first release candidate is out, citing up to 30x faster tokenization, thread scaling, lower latency, lower memory use, and a very small crate size. He linked details at https://huggingface.co/blog/tokenizers-v1.
Sayak Paul：QwenImage 2.1のKVキャッシングで2.55倍の高速化を測定
Sayak Paulは、QwenImage 2.1におけるKVキャッシングの組み込みについて、各デノイジングステップで変化する画像位置とは別に固定コンテキストをキャッシュする方法を説明した。後のステップが安価になり、2.55倍の高速化が測定されたと述べた。