---
schema_version: '1.0'
id: news-20260816-30eab4
title: 情報過多のパラドックス：長いコンテキストで学習したLLMは「知識を内在化」しなくなる
url: https://gotosocial.chinng-lab-srv.dev/qing-bao-guo-duo-noparadotukusu-chang-ikontekisutodexue-xi-sitallmha-zhi-shi-wonei-zai-hua-sinakunaru/
url_hash: 30eab4d2609f826acccc0cf3254ad79ff1020b210f41a5dbc93c22653450db59
canonical_url: https://gotosocial.chinng-lab-srv.dev/qing-bao-guo-duo-noparadotukusu-chang-ikontekisutodexue-xi-sitallmha-zhi-shi-wonei-zai-hua-sinakunaru
source: ghost-chinng-lab
category: news/general
category_raw: LLM
region: JP
tags:
- LLM
- Information Abundance Paradox
- コンテクスト中毒
- Transformer
- 長コンテキスト訓練
- パラメトリック知識
lang: ja
published_at: '2026-08-16T00:33:02Z'
fetched_at: '2026-08-16T00:38:35.418071Z'
updated_at: '2026-08-16T00:39:03Z'
status: published
content_hash: null
content_changed_at: null
license_note: full
summary: 長いコンテキストで訓練されたLLMは知識をパラメータに内在化しなくなるという「情報過多のパラドックス」を、Johns Hopkins大学の研究チームが実証。事前学習実験では2Kトークン以上でむしろ性能が低下し、教師ありファインチューニングでは訓練時に関連情報を多く与えるほど、コンテキスト無し条件で最大6.3%精度が低下。FFNとAttention間の勾配シフトが知識内在化を阻害する機構が明らかになり、LLM開発の訓練設計に重要な示唆をもたらす。
summary_source: llm
summary_en: A research team at Johns kins University demonstrated that LLM trained
  in a long context will no longer have knowledge in the parameters. In the pre-learning
  experiment, the performance is reduced rather than 2K s. In the fine tuning with
  teachers, the more relevant information is provided during training, the lower the
  accuracy of up to 6.3% with no context. The gradient shift between FFN and Attention
  reveals a mechanism that in ts knowledge and in ts, leading to significant suggestion
  in training design for LLM development。
summary_omitted_reason: null
redistribution: true
keywords_en:
- general news
- Information Abundance Paradox
- LLM
- Transformer
entities_en:
- name: LLM
  type: concept
- name: Transformer
  type: concept
topics_en:
- general news
numeric_facts: []
entities:
- name: LLM
  type: concept
- name: Transformer
  type: concept
key_facts: []
related: []
related_auto:
- name: Dual-Failure
  type: concept
  weight: 1.0
- name: Capability-collapse
  type: concept
  weight: 1.0
- name: Quantum-Assisted LLM Compression
  type: concept
  weight: 1.0
computed_at: null
sanitized_at: '2026-08-20T14:56:50.092484+00:00'
---

# 情報過多のパラドックス：長いコンテキストで学習したLLMは「知識を内在化」しなくなる

## TL;DR
長いコンテキストで訓練されたLLMは知識をパラメータに内在化しなくなるという「情報過多のパラドックス」を、Johns Hopkins大学の研究チームが実証。事前学習実験では2Kトークン以上でむしろ性能が低下し、教師ありファインチューニングでは訓練時に関連情報を多く与えるほど、コンテキスト無し条件で最大6.3%精度が低下。FFNとAttention間の勾配シフトが知識内在化を阻害する機構が明らかになり、LLM開発の訓練設計に重要な示唆をもたらす。

## Key Points
- LLM / Information Abundance Paradox / コンテクスト中毒 / Transformer / 長コンテキスト訓練 / パラメトリック知識

## Details
(本文なし。リンク先参照)

## Source
元記事: [情報過多のパラドックス：長いコンテキストで学習したLLMは「知識を内在化」しなくなる](https://gotosocial.chinng-lab-srv.dev/qing-bao-guo-duo-noparadotukusu-chang-ikontekisutodexue-xi-sitallmha-zhi-shi-wonei-zai-hua-sinakunaru/) — published 2026-08-16T00:33:02Z