LLM 辅助质性分析的可靠性

面向传播研究的人机协同编码:基准评测、校准与质量保障(QA),让复杂质性分析更可辩护。

我关注 LLM 辅助质性分析 的可靠性与评估:如何设计基准、校准输出、并在复杂编码任务中运行 QA,让研究结论在真实工作流里依然可辩护、可复现、可审计。

代表性方向:

  • 编码质量评估与校准(复杂标签体系、多阶段 rubric、误差分析)
  • 面向领域任务的基准设计(annotation 任务与评估指标)
  • “人类 + LLM”混合编码流水线(日志、版本、责任边界)

代表性论文与工作论文(2025+)

  • Automated Quality Assessment for LLM-Based Complex Qualitative Coding: A Confidence-Diversity Framework
    引用 / 分享
    导出
    分享
    提示:先听上方双人对谈音频快速了解要点,再分享链接与引用信息。
    (2025)— 已投稿
    收听:音频概览
    提示:播放器仅在展开后加载音频,以保持页面加载速度。
    一句话要点: 用“置信度×多样性”的视角,对 LLM 驱动的复杂质性编码进行可靠性评估与校准。
    如果你更喜欢听而不是读:音频概览会用双人对谈的方式快速介绍研究问题、方法与关键发现。
  • A Confidence–Diversity Framework for Calibrating AI Judgement in Accessible Qualitative Coding Tasks
    引用 / 分享
    导出
    分享
    提示:先听上方双人对谈音频快速了解要点,再分享链接与引用信息。
    (2025)— 大修/返修
    收听:音频概览
    提示:播放器仅在展开后加载音频,以保持页面加载速度。
    一句话要点: 在可访问的质性编码任务中,用“置信度×多样性”框架校准 AI 判断,在准确性与不确定性之间取得平衡。
    如果你更喜欢听而不是读:音频概览会用双人对谈的方式快速介绍研究问题、方法与关键发现。
  • Hierarchical Error Correction for Large Language Models: A Systematic Framework for Domain-Specific AI Quality Enhancement
    引用 / 分享
    导出
    分享
    提示:先听上方双人对谈音频快速了解要点,再分享链接与引用信息。
    (2025)— 已投稿
    收听:音频概览
    提示:播放器仅在展开后加载音频,以保持页面加载速度。
    一句话要点: 一个系统化、分层的误差纠正框架,用于提升领域特定 AI/LLM 输出的稳健性。
    如果你更喜欢听而不是读:音频概览会用双人对谈的方式快速介绍研究问题、方法与关键发现。

完整清单(含引用导出/分享按钮)见:研究