PerplexicaのAPIの挙動がおかしい件、別のモデルでも試したら同様の事象が発生した。
今回使用したモデル
CyberAgentが日本語で学習したDeepSeekのモデル(14B)を利用する。詳細については、以下の記事で取り上げた通り。
まずはブラウザ上で試す
ChatModelとEmbeddingModelを今回のDeepSeekのモデルに変更したことを確認する。
ブラウザ上で、以下のプロンプトを与えて実行する。
2025/2/12の日経平均株価の午後の終値は?
実行結果: OK
まず、ユーザーが求めているのは2025年2月12日の日経平均株価の午後の終値です。提供されたコンテキストには複数の情報源がありますが、正確なデータを抽出する必要があります。 最初に、コンテキスト内の関連情報を整理します。特に、日本語と英語(または他の言語)で書かれた記事やデータを探します。例えば、12番目のエントリでは「日経平均終値、162円高の3万8963円…電線株など上昇」とあり、読売新聞の情報として記載されています。また、14番目のエントリでも同様のデータが確認できます。 さらに、他のエントリではユーザーからの質問や翻訳されたテキストが含まれていますが、これらの部分は直接的なデータ提供にはなりません。ただし、12番と14番の情報が一致しているため、信頼性が高いと考えられます。 日付が2025年2月12日であることを確認し、午後の終値を特定します。読売新聞の記事では「終値は、10日に比べ162円53銭高の3万8963円70銭だった」とあります。ただし、「午後の終値」がどのように定義されているか注意が必要です。通常、株式市場の取引時間は午前と午後で構成されますが、日経平均株価の終値は全体の取引終了時を指すため、午後の終値とは異なる可能性があります。しかし、コンテキスト内の情報源では「終値」と明記されているため、その数値を採用します。 最終的に、2025年2月12日の日経平均株価の終値は3万8963円70銭で、前営業日に比べて162円53銭上昇したと結論付けます。 回答: 2025年2月12日の日経平均株価(午後の終値)は 3万8963円70銭 です。 根拠: 読売新聞の記事(コンテキスト内のエントリ14番目)で、 「終値は、10日に比べ162円53銭高の3万8963円70銭だった」と明記されています。 オフィシャルな情報源である 株探ニュース(エントリ12番目)でも同様のデータが確認できます。 補足: 「午後の終値」は一般的に、取引時間全体を指すため、この数値が最終的な終値となります。 Copilot
同じプロンプトを与えてAPIを実行
実行結果: NG
<think> まず、ユーザーが2025年2月12日の日経平均株価の午後の終値を尋ねています。しかし、現在の時点ではそのデータが存在しません。なぜなら、まだ未来の出来事だからです。 次に、ユーザーの意図を考えます。おそらく、過去のデータや予測を求めている可能性があります。ただし、正確な数値は提供できないため、代替案を提示する必要があります。 さらに、日経平均株価の変動要因について説明することで、ユーザーが自分で情報を収集できるように促すことが重要です。例えば、経済指標や国際情勢、企業業績などが影響すると伝えると良いでしょう。 また、信頼できる情報源を紹介することも有効です。日本経済新聞や金融機関のウェブサイトなど、公式なソースを提示することでユーザーが正確な情報を得られるようにします。 最後に、未来予測の難しさについて触れることで、ユーザーの期待を調整し、現実的なアドバイスを提供できます。これにより、ユーザーは自分で調べる必要があることを理解しやすくなります。 </think> 2025年2月12日の日経平均株価午後の終値については、現在時点(2023年)では未来のデータであり、正確な数値を提供することはできません。ただし以下の点をご説明します: 1. **予測不可能性** 株式市場は経済指標・国際情勢・企業業績など複雑な要因で変動するため、未来の終値を正確に予測するのは困難です。 2. **情報収集方法** 以下の手段で最新情報を確認できます: - 日本経済新聞や金融機関の公式サイト - ブローカー・証券会社のリアルタイム配信サービス - 過去のトレンド分析(ただし未来予測には限界あり) 3. **参考データ** 2024年1月現在の日経平均は約28,500円台ですが、これも変動要因により日々変化します。 4. **投資判断の注意点** 株式市場はリスクを伴うため、必ず最新情報を確認し専門家のアドバイスを受けることを推奨します。 正確な数値が必要な場合は、2025年2月12日当日に金融機関や経済メディアの公式発表をご参照ください。
やはりだめである。ちなみに、外部ソースにはちゃんと株価の情報が載っていたので、最終的な結果の生成でこけていることになる。 モデルを変えてもだめなので、おそらくAPIの挙動がおかしいというのが濃厚そう。
まとめ
前回は、「Llama-3-ELYZA-JP-8B」というモデルを利用し、今回は、「cyberagent-DeepSeek-R1-Distill-Qwen-14B-Japanese-gguf 」で試してみたが、やはり結果は同じで、PerplexicaのAPIの挙動がおかしいという結論になった。
APIで引っ張ってきた結果には、前回のモデルと同じように株価の情報は取得できているので、やはりAPIのほうでは正しく外部ソースを参照して結果を生成できていないという同じ結論になった。
んーーーーー、ソースコードをじっくり見るのは嫌だなと思っていたけれど、そうするしかなくなってきたかも。いっそのことPerplexicaをあきらめるというのも有効な選択肢かもしれないと思ってきた。