从第三节开始。
3 BACKGROUND ON EVENT SEGMENTATION
我们在这里给出了一个“事件分割理论”的简要总结，并将原始出版物[Kurby and Zacks 2008;雷诺兹等人2007; Zacks 2010; Zacks和燕子2007]给读者以参考，来获得更全面的解释。最近的研究表明，“事件分割”是我们感知处理的一个自动关键组成部分，将连续的活动分为一系列不连续的事件。这种策略的优点是双重的：首先，它在内部表示和记忆方面非常有效。其次，它提供了一种更简单的方式来思考事件与事件间的联系。它可以被看作是等同于视觉中众所周知的空间分割的时间，其中我们将物体（例如汽车）分割成许多部件，例如车轮，底盘，发动机等。
这种离散的心理表征被用作预测直接事件过程的基础：沿着街道行走的人将继续这样做，或者当被问到时会有人回答问题。当这些预测被违反时，这是一个新的（离散的）事件的指示;换句话说，似乎意想不到的变化导致了对事件边界的感知。更精确地说，事件分割理论假设当动作，空间或时间的变化发生时，新事件被注册;当发生这种情况时，事件分割的机制会更新事件的男性表示，将旧事件存储在长期记忆中。
这个事件分割理论最近已经在理解的背景下进行了测试。一些实验甚至在观看电影时用功能磁共振成像（fMRI）记录了大脑活动，并且显示皮层中的许多区域响应于由一些电影剪辑引入的情景不连续性（意外变化）而发生了实质性变化[Magliano和Zacks 2011; Zacks等人2010]。一个有趣的观察结果如下：事件分割理论提出的预测过程与专业电影编辑的常见做法是一致的，这些编辑负责削减支持或打破观众对事件连续性的期望[Bordwell et al。 1997年]。当剪辑引入重大变化时，大脑并不试图解释所发生的不连续性;相反，它适应变化，创建一个新的心理表征，并开始填充细节[Magiano和Zacks 2011]。这种自动机制可能是解释连续性编辑工作原因的关键过程。下一节将探讨传统电影中研究的事件分割与连续性编辑之间的这种联系是否会转化为VR电影，这是一个关键问题，然后才能进入更详细的研究。请注意，在下文中，我们使用术语编辑来指代两个镜头之间的不连续性，而cut指的是编辑的实际电影摄影实现（匹配动作，跳跃切割等）。
4 DOES CONTINUITY EDITING WORK IN VR?
编辑类型。按照LM编辑的惯例，Magli-ano和Zacks [2011]根据空间，时间和行为的尺寸定义了一个连续性领域。然后，他们将编辑分为三个不同的类别，我们在这里称为E1，E2和E3：
我们在本实验和本文的其余部分采用相同的分类标准进行编辑。
认知研究与传统电影内容。在这些学生中[Magliano and Zacks 2011; Zacks等人2010年]，参与者观看了“红色气球”（由A. Lamorisse拍摄的1956年33分钟的电影），并被要求按下按钮将电影分割成有意义的事件。一旦确定了“最大的自然和有意义的活动单位”（粗分段），并且一旦定义了最小单位（ne分段），他们就被要求做两次这样的事情。这个部门的顺序是在参与者之间随机化的，他们先在不同的2.5分钟的电影上练习这个任务。红色气球以7至10分钟的节数呈现，以避免疲劳。在此任务之前，作者还确定了电影中发生编辑的所有位置，并根据上述分类对每一个编码进行编码：E1，E2或E3。基于第二节讨论的lm编辑原则。通过第三节看来，行动不连续性E1对所感知的不连续性应该具有最大的影响，而连续性编辑E3应该主要维持感知的连续性。对5秒钟离散数据的分析以及fMRI信息证实了这一预测趋势。
用VR内容复制研究。我们在VR研究中采用了相同的方法。具体而言，我们要求七名参与者（年龄在21岁至31岁之间，三名女性）观看四部公开可用的VR电影（详情请参阅附录）。他们最初的任务是标记感知的事件边界，无论是粗糙的还是较小的，与原始实验类似。在实验之前，参与者观看了培训电影3。我们没有发现ne事件细分和第一次测试的VR电影中的编辑之间的强相关性。这是预料之中的，因为与传统电影不同，这种感知事件的时间尺度比平均VR拍摄（秒对数十秒）小约一个数量级。因此，在其他三部电影中，我们只要求他们以粗糙的比例来标记事件;我们只在本文的其余部分分析这些数据。
参加者坐着时观看电影，穿着Oculus Rift。我们从以下几个候选人中选择了这些特定的电影：i）像红色气球一样，它们是具有足够丰富结构的叙事电影; ii）持续时间不超过8分钟，这在以前的研究范围内，以避免疲劳; iii）他们的平均投篮时间约为20秒，接近我们通过分析360°电影获得的平均投篮;和四）他们包含所有三种编辑。图2 显示了其中一部电影的所有三种编辑类型的代表性帧：星球大战 - 堕落之狩猎。
图2.顶部：360°电影“星球大战 - 堕落之狩猎”的代表帧，在三种类型的编辑（CubeFX的原始视频属性（hp：//cubefx.cz）;视频和图像使用许可）。第一行：动作不连续（E1）。编辑前的帧与编辑中的帧没有关系;行动，空间和时间完全改变。中间行：空间不连续性（E2）。编辑遵循太空船的行动（匹配行动），但改变位置;因此该操作是连接编辑之前和之后的帧的元素。博姆行：连续性编辑（E3）。前面描述了相同的场景，并且在空间，时间和行为的连续性方面进行了编辑。只有摄像机角度改变。 Bo om：我们粗略的分割测试的结果，显示按主题标记为事件边界的每种类型的编辑百分比，并且通过每种类型的编辑的出现次数标准化。 E1行为不连续性支配事件分割，而E3连续性编辑保持事件的感知连续性。还有一小部分事件边界被标记为未被编辑。这些发现与传统电影摄影中类似研究的结果相符，并且表明电影编辑规则和惯例通常也可应用于叙事VR。
洞察。为了调查编辑与感知事件分割之间的关系，我们确定了每个编辑的位置和类型，并在以编辑为中心的±3秒窗口内标记了参与者标记的所有事件边界。正如预期的那样，一些感知的边界与编辑无关，而是与新镜头内的事件或动作（例如，进入场景的新演员或谈话开始）有关。图2（下）显示了所有四部电影的结果，按编辑类别分组。我们的结果显示与以前有关传统电影研究的相似之处[Magliano and Zacks 2011; Zacks等人2010]。首先，行动不连续主导了事件分割，因此是事件边界的最强预测因子。其次，即使在编辑边界上，连续性编辑也能成功保持行动的连续性。因此，看起来传统电影编辑的关键认知方面使其效果如此之好，可延续到360度身临其境的叙事电影。据我们所知，这是第一次经过实证测试。
5 MEASURING CONTINUITY IN VR
在上一节中指出，在虚拟现实叙述内容的编辑边界上保持连续性的感知后，我们现在进行第二次深入研究，以评估VR中定义编辑的不同参数如何影响观众'编辑后的行为。考虑到这个空间的高维度，我们关注四个主要参数（或影响变量），它们是：编辑类型，我们遵循前面章节中描述的认知分类法;在编辑之前和之后的感兴趣区域（ROI）未对齐的程度;以及编辑边界之前和之后的这些ROI的数量和位置。在下面我们描述我们的刺激，影响变量和程序。其他细节可以在附录中找到，而完整的表格以及所有可能的测试条件组合可以在补充材料中找到。
5.1 Stimuli
从这些视频中，我们创建了总共216个剪辑，按照以下小节中的说明对我们的参数空间进行采样。每个剪辑由两个镜头组成，通过编辑分开。拍摄是从四个不同场景中和四个不同场景的短序列中取得的，以最大限度地发挥多样性。每个镜头持续6秒钟，为观众提供足够的时间来了解所显示的动作。
5.2 Variables of influence and parameter space
为了实际执行这些编辑，我们修改了传统的电影技术并分析了现有的VR视频，并为每种类型的编辑选择了最常见的剪辑：对于E1类型（不连贯的行动，时间或空间），我们使用跳跃，对于E2（连续行动，时间或空间不连续），我们使用压缩时间划分和行动匹配划分（参见例如[Chandler 2004; Dmytryk 1984];请参阅附录每一个的简要解释）。为了保持每种编辑类型的剪辑数量均衡，我们将两次跳跃剪辑（类型E1）包含为动作匹配和压缩时间缩短（类型E2）。
投资回报率的调整。我们将感兴趣区域（ROI）定义为行动发生的360°框架区域4。由于相机的视角不能由VR中的lmmaker控制，因此内容创作者通常会在编辑前后简单对齐ROI，以确保观看者不会错过重要信息。然而，受控（错误）对准的探索有以下原因是有趣的：首先，导演可能想出于艺术或叙述目的而引入一些ROI之间的错位（例如，造成紧张）。其次，观看者可能不会在裁剪之前查看预测的ROI，因此在编辑之后渲染对齐无用。第三，一个场景内可能有多个投资回报率。因此，我们测试了三种不同的对齐条件：（i）编辑前后的完美对齐（即ROI之间的0°）; （ii）恰好在HMD5的视场（FOV）内的错位;我们选择了40°，因为它接近公共存储库中的360°视频的平均偏差;和（iii）不在FOV之外的错位;我们选择了80°，因为我们发现较大的值非常罕见。我们将这些条件命名为A = {A0，A40，A80}。
投资回报率配置。观众通过相机的控制还使得场景中的感兴趣区的配置和数量在注视行为中起关键作用。为了在编辑之前和之后分析ROI配置，我们分别引入了两个变量Rb和Ra。可能的配置空间是有限的，因此为了保证任务传递的可靠性，我们测试了每个人的一个可能性：单个ROI（R {b | a}，0），两个投资回报均落入单个FOV（R {b | a}，1）和两个投资回报率.
不在相同的FOV内，即相隔95°以上（R {b | a}，2）。 三种配置的例子如图3所示.Rb和Ra的可能组合总共产生九种条件。概要。 该采样导致2种（编辑类型）×3（对齐）×9（ROI配置）= 54种不同条件。 对于每一个，我们都包含四个不同的剪辑，以最大限度地减少所示特定场景的效果，从而产生216个刺激的最终数量。
5.3 Hardware and procedure
我们使用了一台Oculus DK2 HMD，配备了来自瞳孔实验室的双目眼动仪6，它可以以120Hz的频率记录数据，空间精度为1度。我们还使用了一副耳机来重现立体声。受试者观看视频时站起来。共有49名受试者（34名男性，15名女性，μaдe= 25.4岁，σaдe= 7.7岁）参加实验。他们都报告正常或矫正视力正常。每个科目首先执行眼动仪校准程序。然后，他们从随机顺序中总共216次显示36次刺激。这种随机化是这样的，即没有主体查看同一个剪辑的两个对齐条件，同时保证每个剪辑被至少五个人查看。它也避免了潜在的学习和疲劳效应。继Sitzmann等人。 [2016]为了确保所有主题的开始条件都一样，在剪辑之间显示了一个灰色的小红框;用户必须找到它并将它们的头部方向与它对齐，这将在500毫秒后启动一个新剪辑。 Unity游戏引擎用于显示视频，并在同一台计算机上记录头部方向，而眼动追踪数据记录在另一台计算机上。观看剪辑后，实验者进行了一次与该主题的讨论。每个实验的总时间约为15分钟。从原始收集的数据中，我们执行异常值拒绝，然后计算扫描路径，将其定义为包含每帧一个凝视样本的时间序列。有关这些方面的更多细节可以在附录（注视数据处理和异常值排除）和补充材料（数据收集和整理）中找到。根据这些数据，我们定义，计算和分析一系列指标，如下一节所述。
6 HOW DO EDITS IN VR AFFECT GAZE BEHAVIOR?
为了获得关于VR中事件边界的观看者注视行为的有意义的数据，我们首先收集额外的基线数据以进行比较。 我们假设编辑的剪辑和相应的（未编辑的）基准视频之间的凝视相似度越高，对连续性的认知就越高; 这种假设与之前的作品分析凝视类似，以评估图像和视频中重定向和编辑操作的影响[Castillo et al。2011; Jain等人2014。 在下文中，我们首先描述如何获得这些基准数据，然后介绍我们的连续性指标，并描述我们的分析结果。
6.1 Baseline data
为了确保这些数据可以作为我们后续分析的基线，我们需要确定主体之间的一致性。为此，我们依靠接收器操作特性曲线（ROC）度量，它提供了对于观察者间一致性（IOC）的度量[Le Meur et al。 2011]随着时间的推移。首先，我们将所有用户的注视（请参阅附录中的关于xation是如何根据注视数据计算的）在两秒钟的窗口中进行聚合，并且用二维高斯σ= 1度视角[Le Meur和Baccino 2013]，为每个时间窗口产生一个显着图。然后，通过忽略第i个对象，使用一对一的方法获得相应的ROC曲线：我们为每个显着图计算k％最显着的区域，然后计算第i个对象的注视百分比在这些地区。该过程针对一组阈值k = 0％... 100％执行，并且所得到的点定义每条曲线。此外，我们计算每个窗口的曲线下面积（AUC），这为IOC沿时间的演变提供了更容易的解释（图5，右）。 AUC取0（用户之间不一致）和100（完全一致）之间的值。如图5所示，随着时间的推移，受试者之间的一致性仍然很高。在图左侧，IOC迅速达到1，其中k = 2％的最显着区域，并且对于增加的k值保持不变。在右侧，来自AUC观点的相同解释：所有观众的平均值在其余观众最认为最突出的2％区域内平均下降，产生非常高的AUC。这表明所有观众一致认为同一地区显着。请参阅所有视频结果的补充材料。
6.2 Metrics
框架达到ROI（framesToROI）。这是我们指标中最简单的指标，只是指出在观察者处于ROI状态之前发生编辑之后的帧数。这表示在编辑之后再次收敛到主要动作所花费的时间。
投资回报率内的所有xation的百分比（percFixInside）。这个百分比是在编辑之后的ROI上进行计算后计算的。因此它独立于framesToROI。 ROI的不同配置本质上可能意味着投资回报率内的不同数量的xation。为了弥补这一点，我们计算percFixInside相对于ROI内部xation的平均百分比，对于每个ROI配置，在编辑之前。这个指标表明了观众对ROI的兴趣。
扫描路径错误（scanpathError）。我们计算每条扫描路径相对于相应基线扫描路径的RMSE（参见6.1节）。该度量指示编辑如何改变视线行为;再次，我们在编辑之后的ROI上进行计算后计算此度量，以使其独立于framesToROI。
正弦数（nFix）。我们在ROI上进行编辑后，计算编辑后的xation数量与注视样本总数之间的比率;这样，我们可以在编辑后搜索投资回报率的同时消除可能增加的扫视。因此，这个度量指示主体执行多少个xation和saccade。较低的值对应于较高的扫视数量，这反过来表明更具探索性的行为，对任何特定区域或动作的影响较小。
状态序列。我们根据ROI（每个剪辑有一个或两个），背景以及所谓的空闲状态在四种不同状态下按照时间对用户的兴趣进行分类，在这种状态下可以进行扫视眼动并且没有记录阳离子。通过这种分类，我们可以将用户的行为描述为一个州的序列，观察随着时间的推移，以及每个州花费的时间。特别是，我们使用状态分布分析来表示每个状态的状态序列的一般模式，它提供了每个时间间隔内每个状态的频率的总体视图。我们使用R库TraMineR [Gabadinho et al。 2011]进行分析。
6.3 Analysis
以前的VR体验。除了分析不同因素的影响（详见下文），我们还分析了受试者之前使用VR的经历是否对结果有影响。我们将这些信息记录在测试前问卷中。我们的研究对象都没有经常使用VR，但是其中有69％的人曾经在某个时候使用过VR。从以前的VR体验中，我们发现它对任何测试指标都没有影响（percFixInside的p = 0.600，nFix的p = 0.832，framesToROI的p = 0.197，对于scanpathError，p = 0.480）。这是可以预料的，因为偶尔或罕见地使用VR不太可能导致结果的任何改变。
关于排列A.我们首先观察到的是，研究中四个因变量（度量）的排列因子有明确的影响。在framesToROI（F（2,787）= 198.059，p <0.001）的情况下，Bonferroni事件在所有三个水平（A0，A40和A80）之间进一步显示出显着差异（p <0.001）。正如预期的那样，ROI越远，观众需要的时间越长。有趣的是，该度量指标与未对齐程度指数呈指数趋势。这在图6（左）中示出，其包括t的优势以及95％的置信区间。图7也说明了这一点，对于A80（底行），编辑后（t = 6秒）后面的背景光强比A0（顶行）强烈的峰值和较大的尾部。
我们的scanpathError指标（F（2,787）= 14.511，p <0.001）使我们能够深入研究这一结果，显示事后分析显示A0和A40之间没有显着差异（p = 0.277），而A80对两者都显着不同（两种情况p≤0.001）。这在图6（右）中显示，直接与编辑前的等价值进行比较（如预期的那样，没有发现显着差异）。在percFixInside中可以看到类似的趋势：A80与A0显着不同（p <0.001），但A40不是（p = 0.138）。
这种效应似乎表明，大的错位不仅会影响观众的行为，而且会影响投资回报率，也会影响投资回报率。仔细观察发现，nFix具有相同的显着差异：A80与A0相比xation的数量显着较低（p = 0.003），但A40的情况并非如此（p = 0.954）。这也在图8（顶部）中显示为雷达图，这是一个非常有趣的结果，这表明当编辑边界上存在很高的错位时，观众可能更倾向于探索场景。
在编辑类型E.有趣的是，编辑类型（E）对ROI进行编辑之后的编辑后行为没有影响（分别对于percFixInside和nFix，p = 0.674和p = 0.430）。编辑类型对scanpathError（F（1,787）= 0.038，p = 0.846）没有显着影响，但编辑类型与两种ROI配置的相互作用确实（两种情况p = 0.002） 。令人惊讶的是，编辑类型对framesToROI没有显着影响（F（1,777）= 1.373，p = 0.242），如图6所示。
关于ROI配置Rb和Ra。我们观察到这些因素对nFix没有显着影响，表明投资回报率配置不会影响观看者在编辑后看到其中一个投资回报率的探索行为（一般来说有多少观众）。然而有趣的是，Rb对percFixInside有影响，即在xating之后的编辑之后有多少观众在ROI（或多个观看者）上进行xate的比较，与该时间段内的xation的总数相比。请注意，尽管不同的投资回报率配置可能暗示内部不同数量的xation，但我们在计算percFixInside（Sec.6.2）时补偿了这个效应。具体来说，Rb显示了两者之间的差异在相同FOV和ROI（Rb，1对Rb，0，p = 0.015）中的ROIs，但在两个不同FOVs（Rb，2对Rb，0，p = 0.792）中的两个ROI没有。这可以在图8（中）看到：在编辑之前，在相同FOV中的两个ROI导致在编辑之后ROI（s）上较少的xation。我们推测这是因为编辑之前的多个ROI在编辑之后引发更多探索性行为，即使在已经对其进行编辑之后寻找更多ROI（s）。
在对scanpath wrt的偏差进行编辑Ra后，我们还发现了ROI配置的重要影响。基线scanpathError（F（2,787）= 168.569，对于Ra，p <0.001）;同时，Rb没有显着影响（F（2,787）= 1.660，Rb为0.191）。 Bonferroni事后研究显示Ra，2与其他两个显着不同（p <0.001），而Ra，0和Ra，1在它们之间并不显着（p = 0.804）。图8（下）显示了这个效果：对于Ra，2（两个不同的FOV中的两个ROI），scanpathError显着较高，表明扫描路径中存在更多变化，因为两个ROI不能同时查看。最后，Rb和Ra对framesToROI也有显着影响（F（2,787）= 6.478，Rb为p = 0.002，F（2,787）= 10.300，Ra为p <0.001）。
其他效果。另外，我们可以观察状态分布序列中的一些新的效应（图7和图9）。特别是，我们在每个剪辑的开始处找到一个探索高峰，无论是视频开始时还是编辑之后;这个峰值通常持续1-2秒左右。紧随其后的是关注高峰，持续约1-2秒。无论ROI配置和对齐如何，这个效果都会出现，并且可以在图7中观察到。这表明用户需要一些时间来了解他们的环境并在发生情景变化时稳定他们的注视模式;然而，在那个过渡状态之后，他们的目光强烈地被正在进行的行动（投资回报率）所吸引。
最后，我们更深入地分析了在（Rb，0，Ra，0）的特定情况下（从一个ROI到一个ROI编辑）两种类型编辑（E1和E2）的效果。这是最简单的情况之一，也是最相关的情况之一，因为许多当前的VR制作策略通常基于跨场景的单个ROI。在图9中，我们给出了这种特殊情况下的状态分布（Rb，0，Ra，0），用于比对A0和A80，以及两种类型的编辑。尽管我们在度量中没有发现编辑类型的重要影响，但这些图表显示我们的度量标准没有捕捉到的差异。特别是，在编辑之后，E2似乎比E1更引人注意ROI，如右栏中编辑之后的深蓝色山谷所示），并且这种效果在所有路线中都是一致的。一个可能的解释是，E2编辑前后的行为连续性起着锚点的作用。
7 DISCUSSION AND CONCLUSIONS
我们的结果可能对虚拟现实有直接的影响，通知内容创作者关于某些编辑协议可能引发观众的潜在反应。例如，对于快节奏的动作电影，我们的结果表明ROI应该跨编辑对齐，同时为了唤起更多探索性行为，推荐使用不对齐。另外，从我们探索过的所有叙述的360°电影中，我们发现了一个有趣的编辑数量和分类趋势：在VR电影中，绝大多数编辑是E1类型（动作不连续），它们是迄今为止在传统电影摄影中，E3连续性编辑最突出的频率最少。例如，红色气球有85个连续性编辑，67个空间/时间不连续性，以及仅18个动作不连续性。我们认为这是由于叙事虚拟现实的身临其境，因为过多的连续性编辑会减少自由探索的机会。在本节的其余部分，我们总结我们的主要结论，并概述未来未来工作的有趣领域。
VR中的认知和事件分割。我们首先复制了对红色气球电影进行的现有认知研究，并发现了VR中的许多相似之处。与传统的电影一样，动作不连续性在VR中主导事件分割，成为事件边界的最强预测因子。尽管跨越编辑边界的视觉不连续性，但连续性编辑在维持虚拟现实中的感知连续性方面也取得了成功。这表明，尽管观看条件差异很大，但观众建立了与观看传统电影类似的所示事件结构的心理模型。
测量连续性效应。我们的分析揭示了其他一些有趣的发现。此外，我们大多数报道的结果具有显着的p <0.01的值;这可以最大限度地减少我们结论中误报的风险。
编辑后出现ROI失配的程度与观众需要多长时间之间的关系似乎是指数级的;这可以在执行编辑时用作粗略指导。更重要的是，跨越编辑界限的巨大错位确实会改变观众的行为，即使他们已经注意到新的投资回报率。一种可能的解释是，错位促成了更多的探索性行为，因此可以用来控制注意力。即使在编辑之后找到一个投资回报率，在编辑之前，同一视野中的两个投资回报率似乎也引发了更多的探索性行为。
其他未被我们的度量标准捕捉到的效果可以通过视觉检查状态分布来推断。似乎在每个剪辑开始时处于探索高峰期，并且在编辑后立即出现类似的关注峰值，而与编辑类型无关。两者都表明用户需要一段时间才能适应新的视觉内容，然后才能注视ROI。此外，在E2编辑之后，似乎ROI吸引更多的关注比在类型E1之后，可能是因为编辑之前和之后的一致行为充当了锚点。
限制和未来的工作。正如在所有相似性质的研究中，我们的结果只对我们选择的刺激严格有效。我们专注于360°短视频，原因有几个：隔离简单行为，避免混杂因素;掌握这些参数，从而对参数空间进行系统的探索;并便于分析收集的数据。因此，我们的一些结果可能不会推广到我们研究之外的条件。
当然，在未来的工作中可以探索许多其他变量和参数，例如其他类型的电影剪辑，更长的电影，更复杂的视觉内容，声音的影响或疲劳或频繁暴露于VR内容的效果。更全面的主观数据也可能是宝贵的信息来源，以及我们的客观注视数据。我们认为，认知机制和电影技术的联合研究为开展这项研究提供了坚实的基础。
总之，我们认为我们的工作是一个及时的工作，因为VR视频是一个快速增长的新媒体，仍处于其初始探索阶段，许多内容创作者正在测试通过它传递信息的方式。我们希望我们的发现能够作为VR内容创建者（尤其是业余爱好者）在各种情况下的指南。