作者Alun

人像闭眼检测:从眼部定位到关键点判定

理解 EAR、连续帧判定与不确定状态

计算机视觉人脸识别OpenCV眼部检测图像处理
人像闭眼检测:从眼部定位到关键点判定
题图

给一组人像挑出“大家都睁着眼”的照片,听起来只需要检测一下眼睛,真正做起来却会遇到不少麻烦:有人转头,有人戴眼镜,还有人恰好被头发遮住半只眼。程序没有找到眼睛时,究竟是人闭眼了,还是模型没看清?这两个情况必须分开。

问题可以拆成两步:先确定眼睛在什么位置,再判断眼睑是否合拢。本文沿着这个思路介绍眼部关键点和 EAR,并用一个小状态机处理连续帧。示例从已经取得的关键点开始,便于先把判定过程看明白,再接入具体的人脸模型。

旧文曾尝试用眼睛检测框与人脸框的高度比判断闭眼,这个比例不能代表眼睑开合,已经移除。

1. 检测眼睛不等于识别开合

OpenCV 的 Haar 分类器适合演示人脸与眼部定位。它可能受姿态、眼镜、遮挡和光照影响,闭眼时也可能漏检。minNeighbors 等参数调整检测灵敏度,不能凭空提高模型的闭眼识别能力。

一个完整流程需要:人脸定位 → 眼部关键点 → 开合特征 → 质量检查 → 连续帧状态。多人场景还需分别跟踪每个人,不能混用不同人脸的历史状态。

六个眼部关键点和眼睛纵横比的几何定义

为什么一个检测框不够用

人脸框和眼睛框首先服务于“定位”:告诉我们某个区域可能包含目标。框的宽高还会受到检测窗口、图像缩放和模型输出方式影响,并不会严格贴住上下眼睑。一个人只是稍微侧过头,框的形状就可能变化,这时拿框高直接推断闭眼,很容易把姿态变化当成眼睛变化。

关键点提供了更具体的几何信息。只要知道眼角和上下眼睑的位置,就能比较眼睛的横向宽度与竖向开合程度。这样仍然需要可靠的模型,但判定依据变得可以解释:我们是在测量眼睑之间的距离,而不是猜测检测框的含义。

2. 眼睛纵横比 EAR

按图中顺序给单眼六个点编号 p1…p6:两个眼角为 p1、p4,上眼睑为 p2、p3,下眼睑为 p5、p6。定义:

EAR = (|p2-p6| + |p3-p5|) / (2*|p1-p4|)

这里的距离为欧氏距离。眼睛闭合时竖向距离通常减小,EAR 下降。公式来自 Soukupová 与 Čech 的眼眨动检测论文。不同关键点模型的编号不同,必须先映射到图中顺序。

可以拿一组简单坐标手算。假设两个眼角相距 4,两组上下眼睑点的距离都是 2,那么 EAR 为 (2+2)/(2×4)=0.5;眼睑距离都收窄到 0.2 时,EAR 就变成 0.05。示例里的睁眼和闭眼坐标使用的正是这组关系,方便对照代码。

用宽度做归一化,可以减小眼睛在画面中变大或变小带来的影响。把所有点等比放大两倍,分子分母会一起变成两倍,比值不变。但侧脸会改变投影后的几何形状,眼睑关键点也可能漂移,所以 EAR 并不能消除所有姿态影响。

单张照片和视频要分开考虑

对单张照片,只能根据这一帧的关键点与质量判断是否适合保留。对视频,则可以利用时间上的连续性:某一帧突然偏低,不必马上宣布闭眼;连续多帧都偏低,才增加对闭眼判断的信心。这也是下面保留 Pending 状态的原因。

Unknown 则解决另一个问题:没有证据时暂停判断。比如人转过头后关键点丢失,如果沿用前一帧的闭眼状态,界面可能在根本看不到眼睛的情况下持续显示“闭眼”。把历史计数清零,可以避免这种误导。

3. 可运行的关键点计算示例

安装 NumPy 后可直接运行下例。输入是假设的二维关键点,并非人脸模型推理结果;不包含摄像头采集、自动定位或身份跟踪。

import numpy as np


def eye_aspect_ratio(points):
    p = np.asarray(points, dtype=np.float64)
    if p.shape != (6, 2) or not np.isfinite(p).all():
        raise ValueError("需要六个有限的二维眼部关键点")
    width = np.linalg.norm(p[0] - p[3])
    if width <= 1e-6:
        raise ValueError("眼角间距过小,关键点无效")
    return float((np.linalg.norm(p[1]-p[5]) +
                  np.linalg.norm(p[2]-p[4])) / (2.0*width))


class EyeState:
    def __init__(self, threshold=0.2, min_frames=3):
        if not np.isfinite(threshold) or threshold <= 0 or min_frames < 1:
            raise ValueError("阈值必须为正,连续帧数至少为一")
        self.threshold = threshold
        self.min_frames = min_frames
        self.low_frames = 0

    def update(self, points):
        if points is None:
            self.low_frames = 0
            return "Unknown"
        try:
            ear = eye_aspect_ratio(points)
        except ValueError:
            self.low_frames = 0
            return "Unknown"
        self.low_frames = self.low_frames + 1 if ear < self.threshold else 0
        if self.low_frames >= self.min_frames:
            return "Closed"
        return "Pending" if self.low_frames else "Open"


if __name__ == "__main__":
    opened = [(0, 0), (1, -1), (3, -1), (4, 0), (3, 1), (1, 1)]
    closed = [(0, 0), (1, -0.1), (3, -0.1), (4, 0), (3, 0.1), (1, 0.1)]
    state = EyeState()
    print("EAR:", eye_aspect_ratio(opened), eye_aspect_ratio(closed))
    print([state.update(p) for p in [opened, closed, closed, closed, None]])
    # EAR: 0.5 0.05;状态:Open、Pending、Pending、Closed、Unknown。

0.2 与三帧只是演示参数,不能作为跨人群通用阈值。实际接入时应根据已知开闭状态的样本标定;帧率波动明显时,用连续持续时间替代固定帧数。图像坐标归一化时,x、y 必须使用一致尺度,否则距离比值会受图像纵横比影响。

顺着状态变化读代码

eye_aspect_ratio() 只负责几何计算,EyeState 负责时间上的判断。把两者分开后,出现错误时更容易定位:先打印 EAR,确认关键点和公式没有问题,再检查阈值和连续帧逻辑。

第一次收到低于阈值的值,计数从零变成一,返回 Pending;连续达到三帧才返回 Closed。中途只要出现正常睁眼帧,计数就归零。这种写法容易理解,也意味着它不会容忍低值序列中夹杂的单帧抖动。要不要允许短暂中断,应当由目标场景和样本决定,而不是随手再加一个常数。

三帧的实际时长还取决于采集速度。在稳定 30 帧每秒的理想情况下,三个帧周期约为 100 毫秒;掉帧时,按帧数判断就会产生不同的响应时间。应用若要区分眨眼与持续闭眼,应记录时间戳,并明确自己希望识别的是哪一种行为。

4. 验证与局限

验证集需包含正常睁眼、眨眼、长时间闭眼、转头、遮挡、眼镜、无脸和多人情况。分别记录漏检与误报,缺失或低置信度关键点输出 Unknown,不要把它归入 Closed。

在人像筛选里,还需要考虑“宁可多留一张”和“宁可错删一张”哪个代价更高。可以先自动标记可疑照片,再让人确认,而不是直接删除。这样既能利用算法缩小检查范围,也能保留对遮挡和特殊表情的人工判断。

多人合影要分别记录每张脸的结果,只有所有需要关注的人都满足条件,照片才算通过。视频中的状态还必须跟随同一个人;不能把画面左侧上一帧的人与下一帧进入的另一个人共享计数。

把示例接入摄像头之前,还需要补上采集、定位与关键点推理。OpenCV 的定位入门可参考 Haar 人脸与眼部检测说明;实际关键点模型的依赖、许可、编号和推理精度应在接入时单独说明。文中的关键点图用于解释几何关系,实际效果还需结合所选模型与输入检查。

评论