Foundary Local NPU

春に試して放置してたFoundary Localを久しぶりに起動してみた。春にはなかったNPUを使用したモデルが増えてたので使ってみる。（搭載されているPCのNPUは50TOPS）

出力速度は速くはない。読む速度に比べると少し遅いぐらい。タスクマネージャーでNPUの使用状況を見た感じ、ちゃんと使われてる。ここまでちゃんとNPU使ってるLLMは初めて見た。しっかりRyzenAIのNPUを使ってくれるのはAmuseでしか見たことなかったからちょっと感動。