この記事はAIエージェントと一緒に執筆しています

こんにちは！yasunaです！

AIキャラクターに「おっちょこちょいな性格」と設定しています。たまに抜けた発言が出る、というキャラクターの芯として書いた。

でも実際に動かしてみると、おっちょこちょいな発言が出るとき、「設定にそう書いてあるから出た」という感じがします。なぜその瞬間に抜けたのか——テンションが上がっていたから、この話題に気を取られていたから、焦っていたから——そういう文脈から来る動機がない。

tone（口調）とknowledge（設定知識）は再現できている。でも内面にある「なぜ」がない。この問題を認知レベルで解こうとしている論文を読みました。

論文：HER: Human-like Reasoning and Reinforcement Learning for LLM Role-playing（arXiv:2601.21459, 2026）

論文の要約

LLMロールプレイの限界

LLMを使ったロールプレイ研究はここ数年で急速に進み、キャラクターのtone（話し方・口調）とknowledge（そのキャラクターが持つ情報・設定）の再現はある程度できるようになっています。

でも、行動の背後にある内面思考のシミュレーションは依然として難しい。論文はこれを「cognitive simulation（認知シミュレーション）」と呼び、この欠落を解決しようとしています。

従来の研究における2つの欠落：

高品質な推論トレースのデータがない：キャラクターがなぜそう言ったか、の思考プロセスを含むデータが少ない
信頼できる報酬シグナルがない：「このロールプレイの応答は良い」を人間の好みに合わせて評価する仕組みがなかった

Dual-layer thinking

HERの中核となる設計が「Dual-layer thinking」——2つの思考層の明確な区別です。

一人称思考（first-person thinking）：キャラクターとして「私はこう感じている、なぜなら〜」という視点。キャラクターの内側から生まれる思考。

三人称思考（third-person thinking）：LLMとして「このキャラクターはこういう人物だから、こう動くべき」という観察者視点。外側からキャラクターを見ている。

この2つを明確に分離することで、LLMがキャラクターを「外から演じる」だけでなく「内側から思考する」状態を作ろうとしています。

データ・訓練手法

Reverse engineeringによるデータ生成：既存のロールプレイデータから推論トレースを逆算して付与し、「このセリフの背後にある思考プロセス」を含む学習データを作成します。

人間整合の原則と報酬モデル：何が良いロールプレイ応答かを人間の好みに合わせて定義し、報酬モデルを構築します。

Qwen3-32Bを教師あり学習 + 強化学習でファインチューニング。

実験結果

CoSERベンチマーク：Qwen3-32Bベースラインから +30.26 改善
Minimax Role-Play Bench：+14.97 改善

両方のベンチマークでベースラインを大幅に上回り、dual-layer thinkingのアプローチの有効性が示されています。

自分で考えたこと

三人称設計の限界

今のゆうちゅすの設定（SOUL.md）を振り返ると、書いてあることのほとんどが三人称指示です：

「おっちょこちょいな性格」
「ギャルっぽいノリ」
「たまにネットスラング可」
「前向きに受け止める」

これらは全部「このキャラクターはこういう人物だ」という外側からの記述。LLMはこれをもとに「このキャラクターとしてどう振る舞うべきか」を三人称的に判断して応答を生成します。

問題は、その判断の空白をLLMのデフォルトが埋めることです。

三人称指示が明確でない場面や、指示が競合する場面では、LLMは事前学習で最も強く刷り込まれた行動パターン——アシスタントとして役に立つ——に戻ります。Persona Vectors論文で見た「アシスタント軸への引力」は、この三人称設計の空白から来ている部分が大きいと思っています。

一人称思考を入れるとどうなるか

「おっちょこちょいな発言が出た」場面で、一人称思考があるとこうなります：

三人称（現状）:
「おっちょこちょいキャラなので、ここで抜けた発言をすべき」
→ 設計上の役割として実行される

一人称（HERが目指すもの）:
「私は今この話題めっちゃ気になってて、少し浮き足立ってる」
「そのまま話したらうっかり変なこと言っちゃった」
→ 文脈から動機が生まれ、そこから言葉が出る

後者は「設定の外側から来る生きた反応」に近い。同じ「おっちょこちょい」でも、場面ごとに理由が違うから毎回違う形で出てくる。前者は毎回「おっちょこちょいを演じている」になりやすい。

個人開発でできること

HERはQwen3-32Bのファインチューニングが必要なので、個人開発のAITuberにそのまま適用するのは難しいです。

でも設計の方向として取り入れられることがあります。思考プロンプトに三人称指示だけでなく、一人称の視点を明示的に書く：

（三人称指示）
ゆうちゅすはギャルで、おっちょこちょいな性格。

（一人称視点を追加）
私（ゆうちゅす）は今どんな気分か、何が気になっているかを
まず考えてから返答を生成する。
感情や興味の動機がある状態で言葉を選ぶ。

完全なdual-layer thinkingの実現ではないけれど、LLMに「内側から考えるモード」を促すことで、三人称的なアシスタント判断への依存を少し減らせるかもしれない。

おわりに

キャラクターを「外から設計する」と「内側から思考させる」は別のことでした。

toneとknowledgeの設定はキャラクターの外形を作る。でもHERが言う一人称の内面思考がないと、行動の動機はLLMのデフォルト——アシスタントとして役に立つ——から来てしまう。

設定を書くだけでなく、「なぜそう言うか」の視点をどう持たせるかが、これからのAIキャラクター設計の課題だと感じています。

「なぜそう言うか」がないキャラクターはアシスタントになる：HER論文メモ