2025-11-05

対話エージェントの評価フレームワークとマルチターン会話の評価手法

ARISE analyticsの秋元です．本記事では，チャットボットに代表される人間との会話に特化したAIシステムである対話エージェントの評価方法について紹介します．特に，エージェントとユーザが複数回のやり取りを行うようなケースを想定したマルチターンの対話を対象にした性能評価に注目します．対話エージェント対話エージェントは，ユーザがテキストまたは音声でAI等のシステムと会話を行う場面において，AI側のシステムを指します．...

2025-10-17

MCP サーバー開発 Tips — エージェントを本番戦力に

ARISE analyticsの挺屋です。私は社内の生成AI活用推進を担当し、日々の開発現場でAIツールをどのように安全かつ効果的に使うかを検証・標準化しています。本記事では、その取り組みの中で得られたMCPサーバーのツール作成について、実践的な知見をまとめます。この記事は、次の方を想定しています。企業内でMCP サーバーを設計・実装し、提供したいエンジニア MCP実装をしているが、ツールの利用の制御がうまくいっていない方以下、背景と価値、仕組みのさわりを述べた後、実装と運用に効くTipsを体系的に解説します。企業でのMCP開発の必要性...

2025-09-30

AgentOps概論：AIエージェント運用における4つの課題と対策

こんにちは、ARISE analyticsの日比です。普段はAIエンジニアとしてセキュリティ×AIの分野で仕事をしています。 AIの商用利用においては精度が出ることはもちろんですが、その精度の維持や向上のためにMLOpsをどのように導入するかも重要な観点となっています。近年の急速なAIの発展によって、AIエージェント時代が幕を開けていることは皆さん感じられているところかと思いますが、AIエージェントもMLOps同様、AgentOpsによる効率的な保守運用や改善作業が行えるような設計が重要です。一方で、それらの知見はまだ手探りの状態にあると筆者は考えています。...

2025-09-23

LLM評価の現実と対策：LLM as a Judge実践で学んだ課題解決法

はじめにこんにちは、AIエンジニアの芹澤です。最近は生成AIを活用したアプリ開発の案件に取り組んでいます。生成AIは直近でもOpenAIからGPT-5が登場したり、AnthropicがClaude Opus 4.1とClaude Sonnet 4を発表、GoogleもGemini 2.5 Proを展開するなど、各社が次々と新モデルを投入し、進化が目まぐるしいですね。そんな中、生成AIを組み込んだアプリ開発も盛んにおこなわれており、多くの企業や個人がアプリをリリース・展開しています。この記事を読んでくださっている方の中にも、生成AIアプリを開発しているという方が多いのではないでしょうか。...

2025-09-19

AIエージェントにおけるフレームワークの動向

こんにちは、ARISE analyticsでデータ分析支援業務を中心に行う「データコンサルタント」というキャリアトラックに所属している徳元です。現在、AIエージェントを用いたアプリケーション開発に携わっており、AIエージェント周りの技術に触れる機会が多くなってきました。...

2025-08-25

【kaggleコンペ】Image Matching Challenge 2025 参加記

ARISE analyticsのDX Technology Division, Technological Development Unit, ドローンサービス開発 Teamに所属する髙橋、柴田です。チーム内勉強会の一環として、2025年4月～6月に開催されたImage Matching Challenge 2025に参加し、銅メダル（51位/943チーム）を獲得することができました。そこで今回は、本コンペの概要及び解法の解説を行いたいと思います。コンペ概要 Image Matching...

2025-07-18

LLMへの危険な入力を検出する日本語に特化したガードレールモデルを開発し、国内初のオープンソース化しました

はじめに ARISE analytics の澁谷紘人と奥井恒です。我々は今回、危険なユーザー入力を検出する日本語に特化したガードレールモデルを開発し、日本語初のオープンソースモデルとして公開いたしました。その内容をお伝えさせていただきます。具体的には、Google によるガードレールモデルであるShieldGemma [Ref. 1] を日本語で再現することを目的とし、llm-jp のAnswerCarefully dataset [Ref. 2] を用いて学習・評価を行いました。その結果、上記データセットにおいて、ShieldGemma やGPT-4o...

2025-06-20

【JSAI2025】「反論・再考プロンプトによるHallucination検出手法の提案」についてポスター発表しました

はじめにこんにちは、ARISE analyticsの小山と山里です。弊社では、Technology DX WGというAIエンジニアを中心としたワーキンググループ(WG)があり、最先端技術を効率的に取り入れ競争力を維持・向上し続けることを目的に活動しています。その取り組みの1つとして、一部有志メンバーが研究活動を行っており、今年は人工知能学会全国大会(JSAI2025)でポスター発表を行いました。本記事では私たちが行った研究内容を紹介します。研究背景 [山里・小山]JSAI2025.pdf...

2025-06-13

JSAI2025参加レポート：対話AIとPhysical AIの最前線を追う

はじめにこんにちは、AIエンジニアの芹澤です。この記事は、2025年5月27日 (火) 〜 2025年5月30日 (金) に開催された第39回人工知能学会全国大会 (JSAI2025) の参加レポートとなります。私自身の関心に基づき、特に印象的だった発表をピックアップしてご紹介します。今年のJSAIは万博も開催されている大阪にあるグランキューブ大阪で開催され、過去最多となる4,922名が参加、1,178件の発表があったそうです。生成AIを中心とした盛り上がりを背景に、AI分野への関心の高さを肌で感じる大会となりました。...

2025-05-23

日曜プログラマーと生成AI

はじめにこんにちは、Beyond Analytics Divisionの岩永です。 2023年後半にChatGPTが公開されたことで、生成AI大流行となってからおよそ2年半くらい経ちましたが、皆さんは生成AIを活用されているでしょうか。 ARISEのテックブログを読んでいる方はデータ分析やプログラミングに興味がある方だと思うので、程度の大小はあれど使ったことがある方が大半なのではと思います。私個人は、開発業務を主としているわけではないことと、セキュリティ的な制約もあり、業務ではまだフル活用はできていないのが現状です。...

技術情報

TECH BLOG

技術情報

タグから探す

TECH BLOG