在之前的分享中，我们主要介绍了本文章中对眼动可视化的一些基本定义和对不同眼动事件和眼动指标的可视化，虽然之前部分的可视化对于眼动事件的呈现来说是重要的，但是仍旧缺乏一些我们感兴趣的信息的呈现。今天分享的部分重点介绍了基于AOI的可视化方法，AOI（感兴趣区）是眼动分析中重要的分析手段和分析对象，对AOI及AOI内眼动事件的可视化很大程度上影响了读者对研究结果的理解。除此以外，本部分还介绍了一些从事眼动的专家学者对可视化的介绍和建议，值得仔细思考。本文发表在Computer Graphics Forum杂志。(可添加微信号siyingyxf或18983979082获取原文及补充材料，另思影提供免费文献下载服务，如需要也可添加此微信号入群，原文也会在群里发布)关于本文上半部分以及思影的眼动课程及服务，可点击以下链接了解：
眼动数据的可视化（上）
第十届眼动数据处理班（北京，6.27-7.2)
思影科技眼动数据处理服务
除了基于点的可视化技术外，基于AOI的可视化技术还使用了所记录的注视数据的附加信息。AOIs在眼动刺激上标记所感兴趣的区域或对象。对静态刺激中AOIs的标记通常是通过定义一个区域周围的边界形状。注视聚类算法也是识别AOIs的常用方法。可以根据分析人员的研究问题，使用AOI的各种指标应用于数据分析。一个简单的可视化方法是将 AOI 边界叠加在刺激上，带有每 个AOI中使用的度量值（如停留在每个AOI中的时间)。其中的技术部分主要可视化数据的时间维度，或AOI之间的关系。与基于点的数据可是类似，时间轴可以应用于显示基于AOI的数据的时间维度方面。与基于点的时间轴可视化一样，时间再次显示为坐标系的一个轴。另一个轴可以表示AOI或被试。通常，时间轴是独立于刺激来表示的，并且是二维静态可视化。
图13：三维刺激模型由时间轴上的颜色编码时间跨度表示，具体取决于何时注视和注视时间多长[SND10b]。
如果第二个维度描述了被试的数量，那么AOI中的注视可以表示为颜色编码的时间跨度(cf. 图13），也称为围巾图（由于图是条带状的，所以使用了这么一个形象的说法）。围巾图可以让我们比较不同的被试，因为他们在可以在同一个平面上平行叠加。如果AOI的数量不太大，该技术可以有效地解释和比较扫描路径。围巾图同时表示的AOI数量有限。AOI必须被附加标记或聚合成组以显示更多的数量。
图14(b)显示了表示多个被试扫描路径的围巾图。可以计算扫描路径的相似性，围巾图也可以被聚集起来描绘不同的组的被试的扫视信息。此外，它显示了哪些AOIs被经常或很少被查看。在x轴上使用缩略图图像显示AOI可以用于可视化组水平的眼动特征。这可以用于静态的或动态的刺激。为一组被试创建一个有代表性的围巾图可以更多地简化可视化最终的效果。
在第二轴上表示的AOI中，可以分别显示一个被试或多个被试的平均信息，或多个被试。一般来说，所有这些技术都在水平或垂直相互平行的单独时间线上表示AOI。这种方法通常被称为AOI时间轴。具有彩色时间跨度的表示也是常见的 (cf.图14a）。或者，类似于扫描路径可视化中的表示可以应用于显示AOI中的注视持续时间 (cf.图15）。图16中的可视化功能可用于应用统计测量方法时的可视化扫描路径比较。然而，如果多个被试彼此显示在一起，所有这些技术都会导致视觉杂乱。
图14：(a)带有关注直方图的AOI时间轴和(b)10名被试的围巾图。对于每个被试，显示一个对应访问AOI颜色的颜色时间跨度。黑空格表示没有查看任何AOI。图是基于Kurzhals等人的。
图15：时间图使用每个AOI(a)的水平时间轴(b)，每个AOI为刺激物上突出显示的矩形。每个注视点都在其时间点被画成一个圆，并取决于AOI。圆圈半径表示注视点的持续时间。一条显示路径的线连接着每个注视点。图基于Ra¨iha¨等人（05）。
图16：平行扫描路径可视化可将时间映射到y轴上，并将刺激的AOI映射到x轴上。对于每个被试，AOI内的注视点根据时间显示为垂直线，水平倾斜线表示扫视。图基于Raschke等人[RCE12]。
图17：基于Havre等人的河流图，AOI河流显示每个AOI的注视频率的变化和AOI之间的转换。时间在x轴上表示，每个AOI都是用颜色编码的。基于Burch等人的图[BKW13]。
图18：在多个视频中显示的AOI被表示为圆圈。视频的时间轴被描绘为每个圆周长上的片段。这使得分析人员能够评估被试在每个视频中查看特定AOI的时间和时长。图基于Kurzhals和Weiskopf[KW15b]。
图19：AOI被放置在搜索路径(a)中间的圆形布局中。每个AOI 圆的大小对应于对该AOI的访问次数。AOI中的较小的圆表示该AOI从任何其他AOI中得到的转换概率。然后将每个注视点放置在其相应的AOI旁边，从而形成一个圆形的搜索路径(b)[LHB*08]。通过平均眼动跟踪数据，我们可以在同一可视化中表示多个被试的数据，而不会造成视觉混乱。AOI 河流图（见图17）可以表示每个AOI以及从一个AOI过渡到另一个AOI 之间的平均时间。这使我们能够看到被试之间的分布。径向时间轴表示的方法会在中心显示一个或多个AOI，时间在周边表示。如果该图描绘了一个AOI，那么颜色则来自多个刺激的数据(例如，包含此特定AOI的不同视频)可以在AOI的圆圈外围显示(cf.图18）。然而，由于颜色编码，所表示的刺激数量是有限的。在圆中心的多个AOI 显示在什么时间点访问过哪个AOI(cf.图19）。如果许多AOI被同时表征，该技术将无法使用。对于阅读任务中调查的个体被试，每个单词代表一个AOI。这样的技术是很有帮助的，因为它可以让我们看到回视的事件（即反向移动以重读单词）。如上一节所述，基于AOI的可视化技术可用于丢弃数据的空间成分以分析时间方面。在这种情况下，可以将这些技术应用于2D或3D刺激。这些方法的主要目的是用一个三维刺激的场景来表征眼动查看的对象，或至少用三维注视位置来应用标准的可视化方法，如具有三维信息的注意图。Pfeiffe区分了两种计算注视位置的一般方法，有多个作者应用了其中一种：整体的和基于几何学的三维注视点的估计。使用三维AOI的方法适用于真实场景、虚拟现实或视频。通过聚类个体被试的注视数据，通过平均多个被试的注视数据或在图像上标记AOI和在视频中自动检测AOI，可以实现在动态刺激中AOI 的自动计算。三维AOI 可以覆盖在虚拟模型或各个对象本身上，如图20所示。然后可以添加关于AOI的其他信息，例如，不同的AOI可以具有不同的颜色，AOI可以根据花在它们上的时间来进行突出显示，或者每次被试查看AOI时可以突出显示AOI。
图20：虚拟超市货架上的3D AOI。
关系可视化技术使用AOIs来构建，主要展示它们之间的关系（例如两个AOI之间注意力变化的频率）。在AOI展示中可以表示不同的指标，例如，两个AOI之间的转换百分比或转换概率（图21）。这可以在有刺激背景的图中实现，也可以不在有刺激背景的图中实现。
图21：经典的转换矩阵将AOI水平按行排列，垂直按列排列。每个单元格表示两个AOI之间的转换次数。颜色编码对应于转换次数。评估AOIs之间转换的一种常见的可视化技术是转换矩阵。转换矩阵将AOI以行水平排列，以列垂直排列，每个单元格包含两个AOI之间的转换次数(cf.图21）。这个矩阵表示可以用来评估被试的搜索行为。例如，一个密集的填充矩阵表示糟糕的搜索行为，因为所有AOI都已经被关注好几次了。当转换矩阵中的单元被彩色以显示转换次数时，视觉搜索模式的呈现可以得到改进。
图22：多个被试的AOI序列串联并水平和垂直显示在一个矩阵中。一条红线标记每个匹配的序列。绿线显示一个被试的AOI序列的结束位置[GH10a]。此外，过渡矩阵可以用于比较多个被试。经典的过渡矩阵只代表一个被试。如果所有被试都显示在同一矩阵中，则可以对搜索策略进行视觉比较。这是通过连接所有被试的矩阵并为它们之间的每个匹配序列分配一个值来实现的，如图22所示。例如，相似的可视化技术使用矩阵将AOI水平放置为行，将研究的任务或问题垂直放置为列。然后，每个单元格都包含不同的指标，如注视时间或次数。矩阵表示混合了统计测量的信息。这种表示法的优点是，它允许我们在视觉上比较二维数据集。然而，如果AOIs的数量很多，那么这个矩阵就会变得很大。
图23：AOI之间转换频率的图表示。AOI在刺激背景图像(a)表示为刺激上的圆圈。圆的半径表示成比例的停留时间。箭头描述过渡，厚度显示两个AOI之间的过渡数[HHBL03]。AOI不在真实刺激中呈三角形布局，中间是最重要的AOI[TAK*05]。
图24：圆形热图转换图将AOI放置在一个圆上，其中AOI圆段根据AOI内部的注视次数进行颜色编码。圆段的大小表示在AOI内的总停留时间。箭头表示AOI之间的转换，线条的厚度显示转换的数量。图为基于 Blascheck 等人的数据 [BRE13]。
图25：词树表示从所选AOI开始的AOI序列。字体大小对应于序列的数量。序列AOI-0、AOI-10和AOI-11在被试中显示出一个共同的序列。
图26：AOI转换树将显示y轴上的AOI和x轴上的转换序列。将聚合来自多个被试的数据。这种技术用于动态刺激，通过拍摄视频镜头和每个镜头定义的AOI，显示为一个图标图。图基于Kurzhals和Weiskopf[KW15a]。成熟的可视化技术，如有向图或树状可视化，被用来分析AOIs之间的关系。有向图显示了AOI之间的转换（cf.图23和图24）。图中的每个节点描述一个AOI，连接则描述了转换。节点可以通过改变大小或者颜色编码来表示不同的指标，如注视次数或注视持续时间。连接线的粗细描述了两个AOI之间的转换数量，如图23所示。通常，这种类型的图表只代表一个被试的数据。也可以使用多个被试的平均值。大多数可视化技术显示独立于刺激的图。丢失拓扑信息会使图更难解释。但是，转换信息允许我们看AOI的查看顺序，或者被试返回查看AOI的频率。图24提供了这种可视化技术的一个示例。一些示例还显示了刺激的背景图 (cf.图23a）。这使得分析人员能够将AOI的转换直接与刺激内容联系起来。与过渡矩阵一样，图的表示也不能扩展到大量的AOIs。虽然转换矩阵的尺度更好，但如果节点在图中正确排序，AOI图对遵循特定路径更有用。树的可视化可以用于比较被试的AOI序列。树中的一个节点表示一个AOI。树中的每个分支都代表一个不同的AOI序列，如图25所示。许多分支表明了许多不同的搜索模式。可以创建包含比单词树更多信息的AOI转换树（转换频率和转换模式）。AOI转换树表示AOI 与视频刺激的缩略图(cf.图26）。这种扫描模式的视觉比较使人们可以找到被试的分组。然而，它只能用于短序列，因为对于长序列，被试之间的差异将会太大，每个被试将会成为一个单一的被试组。如果您对脑电，眼动等数据处理课程及服务，可浏览以下链接（可添加微信号siyingyxf或18983979082咨询，另思影提供免费文献下载服务，如需要也可添加此微信号入群)：
第二十九届脑电数据处理中级班（上海，7.16-21)
第十七届脑电数据处理入门班（上海，8.1-6)
第十五届脑电数据处理入门班（重庆，7.12-17)
第十四届近红外脑功能数据处理班（重庆，8.14-19)
第三十一届脑电数据处理中级班（重庆，8.20-25)
第三十届脑电数据处理中级班（北京，8.5-10)
数据处理业务介绍：
思影科技近红外脑功能数据处理服务
为了识别眼球追踪研究中的挑战，我们进行了一项在线研究，询问了谷歌学者中列出的前100名眼球跟踪研究人员关于他们在眼动跟踪可视化方面的经验。我们使用了谷歌学者上列出的研究人员，因为我们相信这些人都是最有经验的研究人员。我们收到了34份已填写好的调查问卷。我们的问卷包含11个问题，可分为三块：6个关于研究背景和应用眼动跟踪设备的问题，3个关于可视化在眼动跟踪分析中的应用的问题，以及关于眼动跟踪研究中开放挑战的两个问题。通常，问题是多项选择题，只有一个问题有一个文本字段。有些问题有一个额外的文本空格，专家可以添加答案列表中没有列出的答案。本问卷结果显示在图27，并在下文中根据这三个问题类别进行了更详细的讨论。
表2：专家必须对关于眼睛追踪数据的统计和探索性分析的两种陈述进行评价
表3：专家们必须对两种关于眼动跟踪和可视化的陈述进行评价
图27：在线问卷调查结果概述
表4：专家必须对眼球追踪分析的挑战进行两个陈述的评价
图28：可视化技术在眼睛追踪研究中的应用结果
为了评估参与专家的背景，我们使用了Duchowski的文章中指出的眼动从业者的主要研究领域。大多数研究人员在心理学（15)和计算机科学(9)领域工作，其中大多数是教授或高级研究人员(23）。两名研究人员补充说，他们是研究团队的组长和虚拟现实专家。大多数专家（26）从事眼动跟踪研究已经超过6年了。研究人员研究的不同问题类型是从Duchowski中选择的。包括了：场景感知（17)、可用性(15)和视觉搜索，可用性 (15）是最常研究的问题类型。研究人员使用的典型硬件设备来自Tobii（23）或SMI（15）公司，他们主要提供注意力地图（其实主要是典型的热图）和扫描路径作为眼动跟踪数据的可视化。一些人补充说，他们使用眼动跟踪器定制的（2)或由自己构建的(2）。为了分析眼动跟踪数据，专家们说明了他们使用了什么类型的软件。眼动跟踪软件Tobii Studio（17）和SMI BeGaze（9）和统计程序如SPSS（14）、 Matlab（13）和R（12）最常用。也有一些专家表示，他们使用定制开发的系统（3）。与可视化相关的问题包括两个，专家们必须对不同的陈述进行评价（cf.表2和表3）。所有的专家都认为统计分析很重要。34名专家中的28位将探索性方法评为重要方法，这是眼动跟踪可视化的重要意义。几乎所有的专家（28）都认为可视化是很重要的，我们的31位专家也使用可视化来展示他们的数据。当问研究人员他们使用哪种类型的可视化时，他们中的大多数人回答说他们使用扫描路径（27)或注意力图(24）。其他的答案见图28。一些专家增加了额外的可视化功能：
这些结果让我们得出结论，扫描路径和注意力图仍然是最多使用的可视化效果。但是，从个别的评论中，我们可以看到，第5节和第6节中提到的一些更先进的可视化技术也正在被使用中。总的来说，我们相信研究人员正在朝着使用更多的视觉跟踪可视化技术进行分析的方向前进，但这些技术的用户友好性和更广泛的可用性将进一步提高它们的使用水平。最后一组问题是关于眼球跟踪可视化研究中面临的挑战。首先，专家们被要求对不同的陈述进行评价，他们是否同意这些挑战。其次，专家们可以陈述他们自己在研究过程中遇到的挑战。表4显示了专家的陈述和答案。如果我们总结出 “强烈同意”和“同意”的答案，会发现最重要的挑战是分析更多来自动态刺激（30）的眼球跟踪数据。其次，专家们认为，自动检测眼动模式的方法需要被大量使用起来（29）。最后，我们问专家们：“你认为未来的其他挑战对这个领域很重要吗？”请说出它们并简要解释。”专家们指出了他们在眼球追踪研究中普遍看到的许多不同的挑战。由于这个调查的重点是可视化和眼动跟踪，我们总结了与这个主题相关的答案。一位专家提到，“在过去15年里，眼动跟踪的一个主要问题是，一些可视化效果非常大，一些研究人员认为它们已经足够了。”在2004-2008年期间，热图是科学界面临的一个真正的问题。实际上，这只反映了这样一个事实，即眼球追踪已经变得如此普遍——如此多的眼动仪已经被出售——而基于眼动研究的科学训练并没有被所有的新研究人员接受。渴望销售的制造商往往承诺，可视化将解决研究人员的问题，而在大多数情况下，他们不会解决。这也与另一名专家的声明密切相关，他声称“研究人员应该接受如何使用可视化方面的培训”。我们同意，研究人员在使用可视化之前必须接受培训。还应指导他们为其任务和数据选择适当的可视化效果。这也要求开发能够直观地使用和用户友好的可视化。通过这次调查，我们想向这个方向迈出一步。我们已经总结了哪些可视化技术是可用的，以及它们的优缺点。这可能是研究人员决定使用哪种可视化来回答研究问题的首要指标。。一个特定于可视化的挑战是找到“[…]一种聚合和分析大样本上的扫描路径的方法[…]”。通过这项调查，我们已经在论文中展示了使用许多其他可视化技术之一来分析扫描路径数据的其他方法。许多可视化技术已经被开发来可视化眼动跟踪数据的不同方面。本文的表1（在第一部分的分享中）显示了现有方法的概述：基于采样点的数据可视化、基于AOI的数据可视化和这两种数据类型混合的可视化方法。从这个概述中，我们可以认识到，眼球跟踪分析的一些方面的研究程度要低于其他方面。表1显示，基于AOI分析的时空可视化技术数量较少。通常，如果在基于AOI的方法中可视化时间，则时间轴将与数据的另一个维度一起使用。因此，不需要制作动画。。本文的总体分析表明，有大量的可视化技术来分析眼动跟踪数据。然而，哪种可视化技术最适合哪种分析并不总是明显的。这个问题不能完全得到充分地回答。选择一个适当的可视化技术取决于不同的因素。Kurzhals等人提出了一种用于眼动跟踪可视化的任务分类法，这是基于任务建议可视化的第一步。例如，一个常见的分析任务是比较被试的扫描路径。比较多个被试的扫描路径可以帮助找到不同被试之间的规律或相似的模式。许多已经提出的可视化技术可用于扫描路径比较。这只是分析任务如何影响进行评估的可视化技术类型的一个例子。Stellmach等人也提到过，在眼动跟踪数据中，寻找模式是眼动跟踪分析的一般目标。通常，只有一种可视化技术并不足以找到这些模式并分析眼动跟踪数据。相反，必须结合使用多种可视化技术。分析者与可视化技术的交互可以进一步改进分析结果。“交互式可视化”类别栏显示，眼动跟踪数据的交互式分析的可视化效果很少。大多数可视化都遵循静态可视化的范式，并且很少为交互提供支持。因此，我们鼓励更多的交互式可视化方法。交互允许分析人员使用过滤技术或选择被试来调查数据。最后，可以通过收集新的数据和检验统计显著性来检验具体的假设。因此，我们建议将这些方法结合起来：同时使用可视化、统计和交互。在这篇目前最全面的关于眼动可视化方法的报告中，作者们回顾了现有的眼动跟踪可视化的论文。为了对不同的方法进行分类，他们创建了一个方法的分类依据，将论文分为基于采样点的和基于AOI的可视化技术，以及使用这两种数据类型的可视化技术。此外，本文还根据研究需要表示的数据对论文进行了时间、空间或时空分类。概述了所有的可视化技术，并详细描述了不同的可视化技术。本文采访的眼动专家分析了眼动跟踪视觉可视化的挑战和使用。基于本文的专家审查结果，可以看出眼动可视化技术在未来需要更多的交互式方法和自动模式检测方法的开发。本文的调查旨在帮助研究人员获得眼动跟踪可视化的概述。基于本文的分类，希望眼动研究人员在未来展示某个眼动指标时可以选择到合适的可视化方法。如需原文及补充材料请添加思影科技微信：siyingyxf或18983979082获取,如对思影课程及服务感兴趣也可加此微信号咨询。另思影提供免费文献下载服务，如需要也可添加此微信号入群，原文也会在群里发布，如果我们的解读对您的研究有帮助，请给个转发支持以及右下角点击一下在看，是对思影科技莫大的支持，感谢！
欢迎浏览思影的数据处理业务及课程介绍。（请直接点击下文文字即可浏览思影科技所有的课程，欢迎添加微信号siyingyxf或18983979082进行咨询，所有课程均开放报名，报名后我们会第一时间联系，并保留已报名学员名额）：
第三十届脑电数据处理中级班（北京，8.5-10)
第二十九届脑电数据处理中级班（上海，7.16-21)
第十七届脑电数据处理入门班（上海，8.1-6)
第十五届脑电数据处理入门班（重庆，7.12-17)
第十四届近红外脑功能数据处理班（重庆，8.14-19)
第三十一届脑电数据处理中级班（重庆，8.20-25)
北京：
第十四届磁共振脑影像结构班（北京，7.10-15)
第四十四届磁共振脑影像基础班（北京，7.29-8.3）
第十九届DTI数据处理班(北京，8.19-24)
第一届任务态fMRI提高班(北京，8.25-30)
第十七届脑影像机器学习班（北京，9.3-8）
第九届小动物磁共振脑影像数据处理班（9.11-16）
第四十三届磁共振脑影像基础班（南京，7.1-6)
第二十二届磁共振脑网络数据处理班（7.16-21)
第九届磁共振ASL数据处理班（南京，8.5-8）
第十八届DTI数据处理班（上海，7.2-7)
第十六届脑影像机器学习班（上海，7.23-28)
第十届任务态功能磁共振数据处理班（上海，8.12-17)
第二十一届脑网络数据处理班(上海，8.20-25)
数据处理业务介绍：
思影科技近红外脑功能数据处理服务
