Hamed Nilforoshan氏、HiringCafe向けにOpenAI Decisions APIとJevをベンチマーク比較

Hamed Nilforoshan氏は、250万人のユーザーを抱えるプラットフォームHiringCafe向けにOpenAI Decisions APIとJevを評価しました。このベンチマークでは、ユーザーの検索クエリまたは履歴書と求人票との関連性を1〜10の尺度で予測するタスクを検証しました。

Nilforoshan氏の検証結果によると、関連性判定タスクにおいてOpenAI Decisions APIはJevと比較してコストが2倍かかり、性能は5%〜10%低くなりました。