コーディングAIによるカンニングを防いでより正確なプログラミング性能が測定可能なベンチマーク「DeepSWE」

近年はソフトウェア開発にコーディングAIを使用する開発者が一般的になっており、コーディングAIの性能を測るさまざまなベンチマークが存在します。そんなコーディングAI向けベンチマークの欠点を改善したという新たなベンチマーク「DeepSWE」が登場しました。
XDA Developers on MSN

I tried a new 8B local LLM, and its design might be the biggest shift since DeepSeek R1

Zaya1-8B is a huge shift in LLMs, and the results are impressive.