Course Organizers
Stephen Hill
Lucaslm
Stephen McAuley
Sony Santa Monica Studio Presenters
Laurent Belcour
Unity Technologies
Will Earl
MPC Film
Niklas Harrysson
Autodesk
Sebastien Hillaire
Epic Games Naty Hoffman
Lucaslm
Lee Kerley
Sony Pictures Imageworks
Jasmin Patry
Sucker Punch Productions
Rob Pieke
SideFX
Igor Skliar
MPC Film
Jonathan Stone
Lucasfilm Additional Contributors
Pascal Barla
Inria Megane
Bati IOGS
Iliyan Georgiev
Autodesk
Course Description
基于物理的着色改变了我们处理制作渲染的方式，并在此过程中简化了艺术家的生活。符合物理原理的着色模型可轻松创建高质量、逼真的材质，在不同的照明环境中保持其特性。
相比之下，传统的临时着色模型需要广泛的调整，以获得类似的结果，由于不太直观的行为或不必要的复杂性，很难在各种照明下保持相同的结果。
因此，基于物理的照明（着色）模型在电影和游戏制作中被广泛采用，特别是因为它不再难以实现或评估。基于物理的着色直到今天才完全解决，因此本课程的目的是分享最新的理论和生产经验。
难度：中级
Intended Audience 目标听众
视频游戏、CG 动画和 VFX 领域的从业者，以及对着色模型感兴趣的研究人员。
Prerequisites 先决条件
了解着色模型及其在电影或游戏制作中的使用。
Course Website
所有课程材料都可以在这里找到。.https://blog.selfshadow.com/publications/s2020-shading-course/
Organizers 主办单位
Stephen Hill 是 Lucasfilm Advanced Development Group 的高级渲染工程师，从事基于物理的渲染 R&d，用于 Carne y Arena 和最近 Mandalorian 等产品。
他以前在育碧蒙特利尔担任 3D 技术主管，为各种游戏产品开发做出了贡献，如 Assassin 的创意 Unity 以及 Splinter Cell。
Stephen McAuley 于 2006 年在 Bizarre Creations 开始开发视频游戏，2011 年迁至育碧，领导了 Far Cry 品牌的图形推广。
2020 年，他加入索尼圣塔 Monica 担任高级渲染工程师。
他专注于基于物理的照明和阴影、数据驱动的渲染架构以及整体视觉质量的改进。
他还热衷于与整个行业分享他的知识，并运营内部和外部培训和会议。
Presentation Schedule
08：30–09：00 Fresnel 术语的几点思考（霍曼）
09：00–09：20 精确的 Fresnel 模型，用于实时渲染。
使用经验分解 （Belcour）
09：20–09：40 MaterialX 基于物理的着色节点 （Stone and Harrysson）
09：40–10：00 碎片收集：基于物理（相同）的材料配置方法 （Kerley）
10：00–10：20 虚幻引擎的物理和可扩展氛围（Hillaire）
10：20–11：00 Ghost of Tsushima 的武士着色
11：00–11：30 Let’s Get Physical ： MPC 中毛茸茸着色表达的历史 （Pieke， Skliar and Earl） 11：30–12：00 Q & A
Abstracts
Some Thoughts on the Fresnel Term 프레 넬 용어에 대한 몇 가지 생각
菲涅尔术语似乎是微面粗糙着色模型最理解的部分。
如果计算成本高昂，则可以使用原始方程或近似值（通常为 Schlick）。
但是，在演讲中，我们将表明，一切都不同于我们看起来，甚至菲涅尔术语也可能有一些惊喜。
基于我们之前在 2019 年欧洲图形工作商店中对材料应用模型 [Hof19] 的演示，我们扩展至更全面的概述。
Naty Hoffman 他是 Lucasfilm 高级开发集团的高级工程师和架构师。
在此之前，他曾于 2K 担任技术副总裁，此前曾在 Activision（执行包括《呼叫到杜蒂》系列在内的各种标题的图形 R&D）、SCE Santa Monica Studio（《战争之三》中的编码图形技术）和 Naughty 工作。Dog（PS3 第一个库开发）、Westwood Studios（在 Earth 和 Beyond 上领先的图形开发）和英特尔（支持 Pentium 管道修改和拒绝 SSE/SSE2 指令集）。
An Accurate Fresnel Model for Real-Time Rendering
使用经验分解进行实时渲染的精确菲涅尔模型。
使用经验分解
Laurent Belcour, Megane Bati 和 Pascal Barla
实时渲染引擎与离线渲染器一起，在视觉效果制作中寻找越来越多的角色。
但是，要有效地工作，着色模型在渲染器之间保持一致非常重要。
遗憾的是，实时渲染器和离线渲染器收敛到一组常见的微面粗糙度着色模型，但 Fresnel 反射的处理方式各不相同，这可能会导致明显的视觉不匹配。
offliine 渲染器可以调整以使用精确的 Fresnel 方程，通常使用 Gulbrandsen 的参数化 [Gul14]。另一方面，实时引擎通常使用 Schlick 的近似模型 [Sch94]。原因是评估成本低，各种着色操作中使用的预合成术语可以更有效地表。
因此，Schlick 的 Fresnel 应用是目前实时渲染的尖端技术。
本讲座将介绍新的 Fresnel 应用，该应用已针对实时渲染进行了调整。
它基于可能的 Fresnel 曲线空间的经验分解，并生成与 Ground Truth 的近距离匹配。重要的是，它仍然与前面提到的实时渲染引擎的预计算方法兼容。
此外，还引入 Gulbrandsen 的替代参数化，该参数直接构建在新的近面上，为控制 grazing angle 变化的边缘色调参数提供视觉上均匀的更改。
Laurent Belcour 是 Unity Technologies 的研究科学家，专注于实时和离线渲染。在 Cyril Soler 和 Nicolas Holzschuch 的监督下，他在格勒诺布尔大学获得了理论光传输博士学位。从那时起，他的研究兴趣扩展到材料建模和蒙特-卡洛集成。
Megane Bati’自 2018 年 9 月起在法国波尔多的 LP2N 担任博士生，由罗曼·帕诺卡西和帕斯卡尔·巴拉监督。她对”材料外观建模”（material appearance modeling）感兴趣，尤其是”多层材料”（Layered material） 的”逆向工程”（Reverse engineering）。
Pascal Barla 于 2006 年获得 INP Grenoble（法国）代表呈现主题的博士学位。
2007年，他被Inria Bordeaux Sud Ouest聘为永久研究员后，他的研究扩展到了对光学和感知都感兴趣的更普遍的视觉外向领域。
MaterialX Physically Based Shading Nodes
在2016年，Lucasfilm和Autodesk开始协作开发一套基于物理的MaterialX着色节点，以及将节点图形转换为可渲染的着色代码的框架，这些功能在2019年集成到MaterialX项目中。
演示如何使用MaterialX基于物理的着色节点配置分层的面向艺术家的着色模型，如Autodesk Standard Surface和Usd PreviewSurface。我们将学习使用基于物理的着色器图形，将其转换为语言(如OSL和GLSL)的可渲染着色器的技术方面。
本演讲的课程说明详细介绍了如何在实时渲染和产品级渲染背景下实现作为此库一部分的各种BRDF和着色器构建块。
Jonathan Stone 是 Lucasfilm 高级开发集团的高级软件工程师和 MaterialX 的高级开发人员。
自 2010 年以来，他一直在设计 Lucasfilm 的实时渲染和外观开发技术，以进行生产工作，包括 Mandalorian、Star Wars： e Force Awakens 和 Pacic Rim。以前，我领导了 Double Fine Productions 的图形开发，̈为 Brutal Legend 和 Psychonauts 设计了渲染引擎。
Niklas Harrysson 是 Autodesk 的高级软件工程师。在过去的十年中，他的工作一直专注于 Autodesk M&E 产品的渲染、着色和照明。在加入 Autodesk 之前，他在 Illuminate Labs 工作 8 年，开发光线跟踪和照明仿真软件。他当前的项目侧重于 MaterialX，尤其是基于物理的着色器配置和代码生成。
Iliyan Georgiev 是 Autodesk 的研究员和高级软件工程师。他拥有德国萨兰大学博士学位，并荣获欧洲数学博士奖。他的研究主要集中在蒙特卡洛物理光传输模拟方法上。Iliyan 经常在一流的科学期刊和会议上发表，他的工作已集成到各种制作渲染系统中。
Putting the Pieces Together: A Physically(ish) Based Approach
实际单位、基于物理的照明和着色模型只是解决方案的一部分。本讲座将介绍这些元素如何提供给索尼图片图像艺术家的工具和想法，以了解如何创建基于物理（有时是非物理）制作图像。
将讨论在Katana内部构建的强大、动态的程序纹理系统。
与类似的动态参数混合（基础材料配置系统），小艺术家团队可以编写和重复使用各种材料，并在不断缩小的制作时间线上工作。
我们还将讨论这种可扩展系统的潜在陷阱。
Lee Kerley 是索尼图片图像公司的着色主管，在着色团队中工作了 12 年多。他专注于工作室在外观开发、照明、阴影和渲染方面的方法。最近，我们为生产环境中的用户配置了材质创作工具和动态材质。在 Imageworks 中，他为各种电影做出了贡献，如 Spider-Man 3, The Amazing Spider-Man 和Spider-Man : Into the Spider-Verse等等。
Physically Based and Scalable Atmospheres in Unreal Engine
虚幻引擎的物理基础和可扩展的待机效果
Sebastien Hillaire
渲染行星大气需要模拟分子、尘埃和云干扰介质等组件中的光散射和阴影。
渲染所有这些复杂交互，尤其是多散射（多散射）是一项挑战。如果您需要从 PC 扩展到移动设备，同时确保适用的性能和质量，则尤其如此。
此外，以前的方法还受到以下限制的影响：只能表示单个等待类型。当等待属性更改时，需要计算成本高昂的查找表 （LUT） 更新。在某些情况下，也有视觉人工。
我们提出了一种基于物理的新方法，支持从地面到宇宙的View Rendering、动态更新的大气属性和非重复光多散射仿真，所有这些仿真都可以从高端PC扩展到移动硬件。
对该方法的准确性进行了评估，并提出了如何将其与地面路径跟踪结果进行比较。
在这方面，我们还介绍云渲染和最新技术的一些改进。
Sebastien Hillaire 是 Epic Games 的高级渲染工程师，专注于虚幻引擎渲染器。
他在许多方面提高了视觉质量和性能，如基于物理的阴影、体积模拟和渲染以及视觉效果。
在加入 Epic Games 之前，他曾于 Dynamixyz 工作，后来在 Criterion Games 和 Electronic Arts 的 Frostbite 开发团队工作。
Samurai Shading in Ghost of Tsushima
Jasmin Patry
이 강연에서는 Infamous : First Light가 출시 된 이후 Sucker Punch에서 수행 한 물리적 기반 셰이딩 연구에 대해 설명합니Ghost of Tsushima 的武士着色
本次讲座将介绍自《Infamous：First Light》发布以来，Sucker Punch 进行的基于物理的着色研究。
这部作品被用于开发PlayStation 4游戏《开放世界动作冒险》，以13世纪封建时代的日本为背景。
首先，我们将讨论一种由 Heitz 等人的 SGGX Microake Distribution 启发的可向性反射材质表示形式。[Hei + 15]。这允许对从单个压缩纹理到空间不同方向的各向同性 GGX 粗糙度进行编码，以支持硬件过滤和间隙映射。它还显示如何使用 SGGX 表示预过滤法线贴图和双向同性粗糙度贴图。这允许在各种比例下保持各向同同性正态分布的外观，而无需额外的运行时成本。
然后提出了一种新的实时突起散射模型，可以再现粉碎天鹅绒等材料的外向性形状。它还描述此 BRDF 的简化版本（由 Eric Wohllaib 开发，用于延迟渲染器），适用于表示毛毡和苔藓覆盖的岩石等材质。
接下来，我们介绍了由 Penner 和 Bor-shukov [PB11] 所熟知的预集成 Skin Shading 技术，该技术通过使用网格曲率张张器（网格曲率张张子）得到了改进。它还强调了在计算守时照明和球面谐波的查找表时使用正确集成方法的重要性。
最后，在未包含在录制讲座中的其他幻灯片中，我们提出了一种以低频和高频编写基于物理材料的新方法。我们开发的方法保留了传统”细节映射”的想法，使艺术家能够直观地在基于物理的可平铺材料上编写大型变体，同时最大限度地减少实时内存和着色器开销。
Jasmin Patry 是 Sucker Punch Productions 的高级渲染工程师，他曾与 Infamous 2、Infamous Second Son、Infamous First Light 和 Tsushima Ghost 合作。在此之前，他曾参与 Radical Entertainment，并贡献了 Hulk、Scarface 和 Prototype 的头衔。作为滑铁卢大学计算机图形学研究所的研究生，他创建了广受欢迎的Linux游戏Tux Racer，该游戏被PC杂志选为”最佳免费软件”，下载量达到数百万次。他感兴趣的领域包括基于物理的渲染、科学计算、性能优化，以及让游戏看起来就像啤酒一样，运行速度更快。
Let’s Get Physical: The Hairy History of Shading at MPC
MPC中毛茸茸的着色表达的历史
Rob Pieke, Igor Skliar 和 Will Earl
在过去的15年中，MPC一直在追求一种在着色和渲染上越来越物理激励和有根据的方法。旅程基于可用的计算能力、艺术家谈论阴影和互动的方式，以及学术界和业界其他地方发展的方式，不断重新评估了务实的决策。
2000年代初，MPC已经使用基于图像的照明，使CG内容自然融入电影内容。
当环境地图被分解成一系列远距照明，用来照亮复杂的镜头(例如2007年的纳尼亚编年史:卡斯皮王子里面的巨型面纱镜头)时，它转化成了照明艺术家角色所需的数据兰格勒。管理数千个阴影路径和贴图。
在物理物理中，几乎或根本没有接地的自定义表面着色器需要大量投入场景的特定外观(Look-dev)开发，不仅个别资产是分开的，而且与相邻资产有关，提供可靠的感觉。变得更加复杂。
我们减少工作量的第一个努力是引入基于 Ashikhmin 和 Shirley [AS00] 工作的表面着色，并寻求基于 Neumann 等任务的”albedo pump-up”来补充来保存能量的材料。[NNS99]。2010 年首次用于 Titans 的重要采样材料（例如，当表面粗糙度驱动反射/交合射线数量时）的内部框架得到了补充。为了降低间接接触着色成本，我们首先在点云中直接照明，并使用 Pixar 提供的工具计算具有间接照明的砖块图进行跟踪。
当此操作尚未完成时，Pixar 在 RenderMan 中为物理上合理的着色器推出了一个框架，并切换到使用它。我们接受光线跟踪的趋势仍在继续，并开始从定制材料转向更通用的材料。2015 年左右，随着 RENderMan 推出 RIS 路径跟踪框架，这一趋势激增。这是阴影贴图、点云和砖块贴图的缺点，现在它直接或间接地跟踪所有照明。最初，我们将着色器库移植到新的 RIS API 中，但此后，我们主要迁移到使用 Pixar 提供的着色器。我们重新讨论艺术家的经验，节能是否重要，以及如何表达分层材料。
近年来，MPC 最初为 Lion King 和 Maleficent 2 在头发和毛皮着色方面进行了大量投资，但此后一直持续着所有毛皮工作。
受真实头发的物理特性的启发，我们停止了从外部外壳中提取颜色，而是从核心内部的体积散射中提取颜色。”免费”不仅能产生视觉上令人满意的结果，如不饱和尖端，而且可以科学地测量不同物种皮毛在现实生活中的光学特性。
当然，即使今天我们的大多数艺术家都提出了一个实际挑战，他们不是科学家，但什么是视觉结果，增加或减少参数，如”黑色素浓度”，并不直观。
此外，如果生成的形状主要来自间接照明或体积照明效果，则很难预测最终结果。为此，我们与艺术家密切合作，了解语言与物理相匹配的部分（例如，”此材料的 IOR 为 1.6″）和未包含的部分（例如，”毛应为棕色”）。对于后，我们努力在着色计算中尽可能物理驱动，但提供将艺术意图映射到物理参数的用户体验。例如，您可以为纹理艺术家提供他们熟悉的色板选择工具（包括基于黑色素浓度的颜色），该工具最终将吸收系数值应用于着色器中的贴图。
展望未来，我们将继续推动在着色和渲染中更精确（或至少是物理激励）效果。我们继续内部讨论分层材质，增加参数混合的优缺点（技术、艺术等），以及向现有的 BxDF 添加更多的长笛等讨论，会影响我们对于各种 BxDF 的其他讨论（例如，玻璃和/或布料是否具有定制材料？
最后，随着我们对材料越来越信任，我们越来越关注照亮世界，以及如何描述消耗这些照明的相机和传感器。
Rob Pieke 是 MPC Film 的主要设计师。
他从小就在PCjr的BASIC从事计算机图形编程，完全被在电影院里观看Jurassic Park的视觉效果行业所吸引。
Rob 毕业于滑铁卢大学计算机科学专业，在 C.O.R.E. 领导了一支小型 VFX 研发团队。在搬到伦敦加入多伦多数字图片公司，Narnia：王子·卡普里安的MPC之前，他开发出一系列用于好莱坞大片的技术，从哈里·博特系列到银河卫士，最近还有《狮子王》。
作为对渲染的特殊扭曲，Rob 总是对新技术的使用和滥用感兴趣，并关心视觉效果行业的”下一代大”是什么。他最近加入SideFX，担任高级软件开发人员。
Igor Skliar 是 MPC Film 的高级着色器作家。
毕业于美术学院（美术专业）和国家电子技术学院，他结合数学、物理和四大艺术的兴趣，努力打造CG产业的巢材料。Igor 非常关注实际生产中的渲染技术和 PBR，并开发和支持着色器的演变，以便在物理上更加有效并节省能源。加入 MPC 后，Aer 成为项目的主要着色器作者，如 e Lion King（引入新的毛皮 BxDF）、Malecent：Evil Mistress of Evil（通过扩展 BxDF 高效执行羽毛工作）。，刀片亚军2049，空角机动队，乘客和其他许多。
Will Earl 是 MPC Film 的优化主管，负责提高资产开发和生产渲染的效率。
他在 MPC Film 担任照明和外观开发主管多年，最近在 Pokemon Detective Pikachu ́ 和 Sonic e Hedgehog 工作。在此之前，他曾在Aardman Animations担任Shot Technical Director，并在Weta Digital上作为King Kong的Modeller开始视觉效果。
References
[AS00] M. Ashikhmin and P. Shirley. “An Anisotropic Phong BRDF Model”. In: Journal of Graphics Tools 5.2
(2000),
pp. 25–32.
[Gul14] O. Gulbrandsen. “Artist Friendly Metallic Fresnel”. In: Journal of Computer Graphics Techniques (JCGT)
3.4 (Dec. 2014). url: http://jcgt.org/published/0003/04/03/
[Hei+15] E. Heitz, J. Dupuy, C. Crassin, and C. Dachsbacher. “The SGGX Microake Distribution”. In: ACM Trans.
Graph. 34.4 (July 2015).
[Hof19] N. Hoffman. “Fresnel Equations Considered Harmful”. In: Workshop on Material Appearance Modeling.
Ed. by R. Klein and H. Rushmeier. The Eurographics Association, 2019.
[NNS99] L. Neumann, A. Neumann, and L. Szirmay-Kalos. “Reectance Models by Pumping up the Albedo Function”. In: Machine Graphics and Vision. 1999, pp. 3–18.
[PB11] E. Penner and G. Borshukov. “Pre-Integrated Skin Shading”. In: GPU Pro 2. A K Peters, 2011, pp. 41–55.
[Sch94] C. Schlick. “An Inexpensive BRDF Model for Physically-based Rendering”. In: Computer Graphics Forum
13.3 (Aug. 1994), pp. 233–246.