针对两条相邻波长λ和λ δλ的光谱线，有多小的δλ可以区分出这两个光谱的能力称为分辨率。通常，衍射光栅的衍射光具有由衍射极限定义的有限宽度。根据rayleigh criterion标准，如图3所示，波长λ δλ的光谱最大值出现在波长λ的光谱第1极小值的位置上，此时是可分解的界限。把衍射光栅的宽度设定为w时，分辨率λ/δλ表示如下：
图 3 光栅分辨率
其中，n×w表示光栅中的刻线总数。
实际上衍射光栅与其他光学元件并用时，比如安装在分光器光路中，由于其他光学元件(例如镜头，镜片)的像差和幸能局限，或者光源及狭缝的大小，光谱线会进一步变宽。可分辨的光谱波长差δλ增大，因此光学系统中的分辨率如公式(6)表示的，要比衍射光栅本身的分辨率差。