LLM 辅助质性分析的可靠性
面向传播研究的人机协同编码:基准评测、校准与质量保障(QA),让复杂质性分析更可辩护。
我关注 LLM 辅助质性分析 的可靠性与评估:如何设计基准、校准输出、并在复杂编码任务中运行 QA,让研究结论在真实工作流里依然可辩护、可复现、可审计。
代表性方向:
- 编码质量评估与校准(复杂标签体系、多阶段 rubric、误差分析)
- 面向领域任务的基准设计(annotation 任务与评估指标)
- “人类 + LLM”混合编码流水线(日志、版本、责任边界)
代表性论文与工作论文(2025+)
-
收听:音频概览
提示:播放器仅在展开后加载音频,以保持页面加载速度。一句话要点: 用“置信度×多样性”的视角,对 LLM 驱动的复杂质性编码进行可靠性评估与校准。如果你更喜欢听而不是读:音频概览会用双人对谈的方式快速介绍研究问题、方法与关键发现。 - A Confidence–Diversity Framework for Calibrating AI Judgement in Accessible Qualitative Coding Tasks
收听:音频概览
提示:播放器仅在展开后加载音频,以保持页面加载速度。一句话要点: 在可访问的质性编码任务中,用“置信度×多样性”框架校准 AI 判断,在准确性与不确定性之间取得平衡。如果你更喜欢听而不是读:音频概览会用双人对谈的方式快速介绍研究问题、方法与关键发现。 -
收听:音频概览
提示:播放器仅在展开后加载音频,以保持页面加载速度。一句话要点: 一个系统化、分层的误差纠正框架,用于提升领域特定 AI/LLM 输出的稳健性。如果你更喜欢听而不是读:音频概览会用双人对谈的方式快速介绍研究问题、方法与关键发现。
完整清单(含引用导出/分享按钮)见:研究。