如何为写作论证质量提供反馈?丨智慧外语·阿檀说 12

“智慧外语·阿檀说”第12期将围绕“如何为写作论证质量提供反馈”这一主题展开文献分享、教研反思与选题探索。在文献分享环节,中山大学刘丰恺介绍了一篇关于写作论证质量的论文;在教研反思环节,中国人民大学刘力结合一线教学与研究经验,分享了自己对这篇论文的看法与反思;在选题探索环节,中山大学邓永超与金檀建议了一项值得探索的教研选题,并推荐了后续阅读文献。

1.文献分享

中山大学 刘丰恺

衡量写作的论证质量对于培养学生学术写作能力具有重要意义。计算论证作为计算语言学的一个新兴方向,通过使用人工智能技术与机器学习方法来分析写作的论证质量。基于计算论证的结果,提取论证质量的计算框架,从而为其提供评分与反馈。然而,目前的写作反馈系统较少提供关于论证质量的反馈,这主要是因为用于训练该类系统的语料库通常只标注了论证要素,而对论证质量仅有简单的分数标注,忽略了论证要素与论证质量之间的联系。为此,Carlile等(2018)建立了一个同时对论证要素、论证质量及影响评分元素等进行标注的语料库,从而为论证质量的反馈系统研制提供了实证支撑。

该文从传递性(Eloquence)、聚焦性(Specificity)与支撑性(Evidence)三个维度对论证质量的评分与影响参数进行了标注:

  • 传递性(Eloquence:标注1-5分,评价作者使用语言表达自己观点和思想的能力;

  • 聚焦性(Specificity:标注1-5分,评价作者语言表达的具体程度,通常认为基于有效细节陈述的论证更具说服力,表明了作者的自信心与知识深度;

  • 支撑性(Evidence:标注1-6分,评价作者论证要素之间的关联程度,例如论据是否充分支撑或反驳了论点。

该文还为论证要素(MajorClaim、Claims、Premises)搭建了五大评分维度:

  • 论点策略(Logos/Pathos/Ethos:标注yesno, 适用于MajorClaimClaims,标注了所采用的说服策略;

  • 论点支撑(Relevance:标注1-6分,适用于ClaimsPremises,标注了论据对论点和论点对主论点的支撑或反对程度;

  • 论点类型(ClaimType:标注valuefactpolicy,适用于Claims,标注作者使用论点的类型;

  • 论据类型(PremiseType:标注real_example、invented_instance、analogy、testimony、statistics、definition、common_knowledgewarrant,适用于Premises,标注作者使用论据的类型;

  • 论据效果(Strength:标注1-6分,适用于Premises,标注单个论据对于论证质量评估的贡献程度。

基于标注结果的量化数据分析发现:论证质量与传递性、聚焦性、支撑性及论据效果相关性非常高,而与论点策略、论点类型和论据类型之间的相关性则很低。总体来说,该文为写作论证质量研究提供了颇具操作性的方法论框架,也为写作论证质量反馈系统的研制奠定了实证语料基础,从而为学生的写作论证质量提供具体的反馈建议。

2.教研反思

中国人民大学 刘 力

论证是大学生写作中最常见的文体之一。在论证写作层面,论证质量是决定文章质量的重要因素之一。而学生的论证写作普遍存在论点不明晰、论据不充分或缺乏说服力、论证框架缺乏逻辑性等问题。从写作学习角度出发,学生不仅需要教师针对其整体写作表现(如内容或语言层面)做出评价,也需要获得教师针对其论证要素和论证质量的具体反馈,如某个论点或分论点不清晰或某条论据说服力欠缺,需进一步修改等。Carlile等(2018)针对学生写作的论证要素及其相关特质进行了标注,并提供了具体的标注标准和等级描述,这些标准既能作为教师针对不同论证维度进行评价及课堂反馈的参考,也可作为学生自评或互评的评分标准。此外,教师也可根据不同的论证结构和论证类型设计相应的教学任务,例如:针对同一论点让学生使用不同的论据类型来进行练习支撑写作,也可让学生找到范例作文的四类论证要素并根据评分标准进行评价或改写。

从研究角度出发,教师可使用学生的论证写作文本自建语料库。该语料库可以是共时的(例如包含某一次写作任务),也可是历时的(例如包含多次写作任务或同一写作任务的不同修改稿)。那么如何来使用这一自建语料库呢?教师可从静态和动态两个方面来入手:从静态角度看,可针对学生写作的论点和论据的不同维度(如传递性、聚焦性或支持性)进行标注及分析;从动态角度看,也可关注一定教学时长后或教学方法下学生写作话语与论证特征的变化。此外,经过标注的学生写作也可作为日后课堂教学的素材案例来使用,可针对具体的教学目标选取相应的写作样本进行讲解。

3.选题探索

中山大学 邓永超 金 檀

如何为写作论证质量提供反馈?为解决这一难题,刘丰恺分享的文章(Carlile等,2018)尝试对写作语料的论证质量进行系统标注,从而为论证质量反馈系统的研制奠定了实证基础。刘力则结合自己的一线写作教学经验,指出目前进行论证质量反馈的难点所在,并分享了使用语料库进行论证质量教研的可能性。那么,论证质量的标注与反馈究竟在多大程度上能帮助学生进行修改呢?这种修改的效果究竟如何?这一期选题探索的推荐文献聚焦这一议题,研究学生基于智能反馈的修改行为与写作质量之间的关系。文献的标题为“Annotation and classification of evidence and reasoning revisions in argumentative writing”(Afrin等,2020;详见下图)。

Afrin等(2020)聚焦写作论证的两大要素“论据使用”(Evidence Use)与“推理”(Reasoning),采用了一个新的标注方案“Revision of Evidence Use and Reasoning”来分析学生在句子层面上对这两大要素的修改行为。“论据使用”有5个分类:与论点相关、与论点不相关、重复、不基于文本和微调;“推理”则有6个分类:连接论点和论据、不连接论点和论据、改述、总结、评价和微调(相关说明详见下表)。该文建立了一个包含143篇原版与修改版的作文语料库,共计有775个句子在“论据使用”和“推理”上发生了修改行为。采用标注方案对这些修改行为进行标注,结果发现,只有两类修改行为(添加与论点相关的论据以及连接论点和论据的推理)与写作质量的提高存在显著的相关关系。最后,该文还探讨了标注方案“Revision of Evidence Use and Reasoning”对修改行为实现自动标注的可行性。

综上所述,为写作论证质量提供反馈首先应建立论证要素与论证质量之间的关系,也就是刘丰恺刚才分享的Carlile等(2018)这篇论文所探究的议题。在此基础上,要想让论证质量的反馈对写作的修改起到实质的促进作用,还应进一步探究学生修改行为与写作质量提高之间的关系。Afrin等(2020)发现,学生的修改行为中,只有添加与论点相关的论据以及连接论点和论据的推理与写作质量的提高存在显著的相关关系。在未来的写作教学研究中,还可进一步探索两方面的研究问题:一方面,如何为论证质量提供有效的反馈信息,从而避免让学生做一些无效的修改?另一方面,如何让学生有效地使用反馈信息,从而高效率地完成作文的修改?对写作论证质量反馈这一议题感兴趣的老师可以结合Afrin等(2020)这篇论文,在未来的教学和研究中进一步探究。

本期选题探索推荐文献如下,供阅读参考:

Afrin, T., Wang, E. L., Litman, D., Matsumura, L. C., & Correnti, R. (2020). Annotation and classification of evidence and reasoning revisions in argumentative writing.Proceedings of the 15th Workshop on Innovative Use of NLP for Building Educational Applications, pages 75–84.

智慧外语 · 阿檀说 | 栏目主持人

金檀,中山大学副教授、博士生导师,主要从事语言评估与智慧外语的研究与实践。主持搭建学术英语阅读的内容难度调控机制,代表成果包括“话题推荐”“文本改编”与“知识论证”。主编“智慧外语方法课程”,包括“语言、数据与研究系列”与“智慧外语·阿檀说系列”。开发“英汉阅读分级系统”,研制的“阅读分级指难针”被国内外同行广泛采用,成为难度评估的基准参照工具之一。主持实施学术第二课堂“人工智能与外语研究”,指导本科生主持国家级创新训练项目,培养的学生已被国内外著名高校录取进一步深造。

写在最后

疫情特殊时期,上海外教社教育培训中心借力新兴媒介和技术手段,邀请外语界专家学者以微信课、慕课、在线直播课等形式为广大教师提供多样态、不同主题的公益研修课程,其中包括中山大学金檀博士设计主持的微信图文课:“智慧外语教学”系列12讲。该系列每期课程都由3-4位作者合作完成撰写讲授,他们聚焦特定的教学或研究主题,与全国同行一道开展“云教研”,分享如何应用技术手段解决外语教学研究中的重点与难题。现在12讲课程全部结束,让我们再次感谢所有作者的精心撰写与慷慨分享,希冀读者们都有一份属于自己的收获!

(0)

相关推荐

  • 第五课《敬业与乐业》教案

    学 科 语 文 授 课 时 间   设计者 授 课 班 级 九年级 教授者 课 题 <敬业与乐业>(第一课时) 课时安排 两课时 课型 综合性 学习 三 维 目 标 知识目标 1.学习这篇 ...

  • 如何快速“破解”议论文写作难点?

    对于高中生来说,写一篇800字的作文并不太难,尤其是写记叙文和说明文.但是,一个学生若未经系统训练他写出的议论文,往往会被认定为"文体特征不鲜明",因而难以得到理想的分数.高中阶段 ...

  • “学习横向展开议论”教学反思

    一.分析学情 高一的学生对于议论文的结构已经比较熟悉,行文结构也逐渐成型.通过实际写作发现,学生的分论点设置准确度仍然存在一定的问题.基于这个问题,我决定为学生进行(横向)分论点的设置训练. 二.教学 ...

  • 妙招反馈丨宝宝便秘就用开塞露?巧用这一蔬菜,避免药物依赖!

    每当宝宝不按时拉粑粑,小肚子撑得鼓鼓的,家长们真是比谁都着急. 用开塞露吧,孩子不喜欢,用通便药吧,又怕长期用药可能会导致对药物的依赖. 各位宝爸宝妈,试试张老师的妙招吧! 张老师: 小孩子大便太干或 ...

  • 高中英语:热词佳句写作模板晨读必备丨5天掌握,成绩至少120起!

    学姐今日分享小秘籍:想要英语成绩好,晨读定是少不了! 晨读对于学英语的帮助有多大,大家看看衡水中学就知道了,这点是不可否认的,但是晨读不是光读就可以了,也是要走心的,用心读,用心记. 如果你不用心积累 ...

  • 如何获得更高质量的反馈?这其实并不难

    神译局2021-08-13 关注 当反馈的目的是为了分享讯息,而不是拉开我们之间的距离时,反馈会促进连结. 神译局是36氪旗下编译团队,关注科技.商业.职场.生活等领域,重点介绍国外的新技术.新观点. ...

  • 【图文】11个数据会说话:给员工提供反馈到底有多重要?

    11个数据会说话:给员工提供反馈到底有多重要? 40%的员工如果没有得到反馈会极度不敬业. 定期提供员工反馈的公司员工流失率要低14.9%. 如果员工被其管理者忽视,极度不敬业的可能性要高2倍. 当管 ...

  • 妙招反馈丨头痛的改善

    头痛真是一件令人"头痛"的事.这点小编深有体会,一旦头痛起来,马上会变得疲倦.没精神,萎靡不振,工作和生活都会收到影响. 究其原因,头痛分为原发性和继发性两种.原发性头痛包括紧张性 ...

  • 妙招反馈丨 宝宝便秘,收下这份速效妙招!

    宝宝便秘,除了使用开塞露,还有什么简便的方法吗? 张老师:小儿便秘推拿清大肠法,就是单向推沿标线向尖头方向200下.便通停止.无副作用. 用了张老师的方法,很多朋友都有了一定的效果,我们选取了部分反馈 ...

  • 花钱的目的无非是让生活质量更高丨丸十三郎

    文 / 丸十三郎 边城浪子,一顿吃十二个丸子的壮汉. 立冬将至,你们的秋膘贴得怎么样了?肉有没有吃够?有没有想换换口味?来杯热咖啡解解油腻.暖暖身子吧. 说到咖啡,无论是从品种分类的阿拉比卡.罗布斯塔 ...

  • 连中国:写作最需要什么?丨名师语文

    写作,最需要我们阅读中 深挚积累起来的风暴 连中国 笔尖眺望 几日前,香港教育大学在北京师范大学有语文教育沉浸式课程,特邀我去和香港教育大学的学生对话.对话过程中,学生们一致反映中学老师特别喜欢讲文言 ...

  • 时评写作分析:重视“外行”的智慧

    高三党读报时间有限,宝利老师带大家精读一篇! <辣语|咸言> 重视"外行"的智慧 我们常用"外行"来形容对某一专业一窍不通的人.然而,历史和现实中, ...