Phim hoạt hình "Killtopia" phá vỡ nền tảng mới trong sản xuất ảo dò tia thời gian thực. Hãy nhìn vào công nghệ đáng kinh ngạc đằng sau nó.
Trong tám năm qua, chúng tôi đã chú ý đến sự phát triển của sản xuất ảo (Virtual Production). Và bằng cách sản xuất ảo, chúng tôi không có nghĩa là VFX trong máy ảnh, chẳng hạn như tường LED. Chúng tôi đang nói đến là chụp chuyển động của máy ảnh ảo có hoặc không có tác nhân bên trong khối lượng chụp chuyển động. Mặc dù sản xuất ảo đã phát triển nhảy vọt, nhưng nó đã thiếu một thành phần quan trọng mà Chaos Labs đã khám phá từ năm 2014: dò tia trực tiếp (live ray tracing)
Cho phép dò tia trực tiếp sẽ thực hiện một số việc: giảm nhu cầu phát triển giao diện dự phòng cho các trình kết xuất khác nhau, giảm lượng thời gian cần thiết để giả mạo thực tế với kết xuất rasterized và nó sẽ cho phép bạn nhìn thấy một cái gì đó gần hơn với khung hình cuối cùng cho phép các lựa chọn được thực hiện trong sản xuất thay vì hậu kỳ.
Bài đăng trên blog này sẽ minh họa hành trình mà Chaos Labs đã thực hiện để khám phá những ý tưởng chính xác này. Chúng tôi đã hợp tác với studio khởi nghiệp Voltaku, công ty đã giành được Epic MegaGrant, cũng như NVIDIA, Lenovo, KitBash3D và Foundry. Cùng nhau, chúng tôi đã có thể liên kết trực tiếp Chaos Vantage với Unreal Engine và cung cấp trải nghiệm dò tia đầy đủ cùng với một nhân vật có hình học biến dạng lên đến 30 khung hình mỗi giây (FPS). Kỹ thuật này đã được sử dụng để làm cho hoạt hình bằng chứng khái niệm của Voltaku ngắn gọn cho Killtopia.
Mặc dù đây vẫn là một ý tưởng công nghệ, chúng tôi cảm thấy rằng nó sẽ mở ra cánh cửa cho nhiều hơn nữa trong sản xuất ảo. Chúng tôi tin rằng nó sẽ cho phép các nhà làm phim nhìn thấy một cái gì đó gần hơn với khung hình cuối cùng mà không cần thỏa hiệp.
Cách dò tia thời gian thực với Chaos Vantage đến Unreal có thể cách mạng hóa sản xuất ảo như thế nào
Nhiệm vụ: Khung cuối cùng
Theo nhiều cách, dự án này là sự kế thừa tinh thần cho XÂY DỰNG của Kevin Margo. Trở lại năm 2014, những gì bắt đầu như một cuộc khám phá dò tia khung hình cuối cùng với GPU V-Ray, đã nở rộ thành một khám phá về dò tia trực tiếp để sản xuất ảo bằng cách sử dụng bản dựng V-Ray tùy chỉnh bên trong Autodesk MotionBuilder.
Kể từ khi ra mắt CONSTRUCT, ngăn xếp công nghệ đã tiếp tục thay đổi, làm cho việc dò tia đầy đủ theo thời gian thực trong sản xuất ảo trở nên dễ dàng hơn nhiều. Công cụ trò chơi đã thay thế phần lớn MotionBuilder để sản xuất ảo; Các nghệ sĩ hiện có quyền truy cập vào GPU NVIDIA RTX™ giúp tăng tốc đáng kể các hoạt động dò tia; và các công ty như Lenovo đang sản xuất các máy trạm mạnh mẽ, nơi bạn có thể làm những điều lớn lao trên trang web.
Cũng kể từ đó, chúng tôi đã giới thiệu Vantage, công cụ theo dõi tia đầy đủ theo thời gian thực của chúng tôi có thể tận dụng tất cả những tiến bộ này trong phần cứng. Ví dụ, những gì từng có bốn máy chủ thiết bị điện toán trực quan (VCA) với 32 GPU kết hợp 6 năm trước giờ đây có thể đạt được bằng cách sử dụng một máy trạm di động duy nhất với Lenovo ThinkPad P1 được hỗ trợ bởi GPU Máy tính xách tay NVIDIA RTX A5000. Đối với những người tìm kiếm hiệu suất cao hơn nữa, Lenovo P620 ThinkStation kết hợp với GPU RTX A6000 kép mang lại tốc độ tăng rất lớn.
Vậy tại sao Vantage lại nâng cấp?
Bởi vì mặc dù chúng tôi có tất cả công nghệ mạnh mẽ này, vẫn còn thiếu liên kết. Ví dụ: các nhà làm phim, người dẫn chương trình và nghệ sĩ thích phản hồi tức thì mà bạn nhận được với công cụ trò chơi, nhưng kết xuất rasterized của công cụ trò chơi sẽ không khớp với khung hình cuối cùng sẽ được hiển thị bằng cách sử dụng dò tia.
"V-Ray và Vantage có thể đóng vai trò là cầu nối cho phép chúng tôi sử dụng cùng một tài sản và lookdev từ tiền sản xuất, đến ảo và hậu kỳ."
Chris Nichols, Chaos
Tôi đã ám chỉ điều này trước đây, nhưng vấn đề đối với hầu hết là đồ họa rasterized (hay còn gọi là công cụ trò chơi) không thể đạt được độ trung thực trực quan của kết xuất ngoại tuyến, điều đó có nghĩa là nếu bạn đang sử dụng khung hình cuối cùng, bạn đang mã hóa một loạt các cách giải quyết để đạt được sự cân bằng với các phương pháp ngoại tuyến hoặc bạn đang đăng ký một làn sóng redos theo bất cứ nơi nào bạn hạ cánh trong quá trình phát triển giao diện. Về cơ bản, bạn đang buộc nhóm sản xuất của mình xây dựng tài sản của mình hai lần: một lần cho sản xuất ảo và một lần nữa cho sản xuất cuối cùng. V-Ray và Vantage có thể đóng vai trò là cầu nối cho phép chúng tôi sử dụng cùng một tài sản và lookdev từ tiền sản xuất, đến ảo và hậu kỳ.
Ý tưởng lớn của Killtopia
Mối quan tâm mới đối với việc dò tia thời gian thực cho sản xuất ảo đến từ Charles Borland, Giám đốc điều hành của Voltaku, người đã đến với chúng tôi và muốn xây dựng trên đường ống CONSTRUCT. Charles vừa lựa chọn một số IP và muốn lấy IP đáng chú ý nhất của họ (Killtopia) và xem liệu Voltaku có thể tạo ra một dự án đầu cuối bằng cách sử dụng sản xuất ảo hay không. Unreal Engine sẽ là trung tâm, nhưng ông cũng muốn dò tia đầy đủ và đã được trao một Epic MegaGrant để giúp xây dựng đường ống lai này. Ông muốn xem liệu chúng tôi có thể xây dựng cây cầu cho phép giải pháp theo dõi tia từ đầu đến cuối hay không.
Dự án cũng rất vui! Killtopia giống như Blade Runner gặp Battle Royale và dựa trên một loạt tiểu thuyết đồ họa được tạo ra bởi Dave Cook và Craig Paton. Trong thế giới này, mọi người theo chân một thợ săn tiền thưởng và phụ tá robot của anh ta qua Neo Tokyo khi họ đối phó với yakuza, mech và một bệnh dịch nano chết người. Vì vậy, như bạn có thể tưởng tượng, có rất nhiều thứ để làm việc.
Để chứng minh khái niệm, nhóm nghiên cứu muốn làm nổi bật một trong những nhân vật sống động nhất của Killtopia, Stiletto, vì cô ấy có một cuộc qua lại táo bạo với một người quay phim robot yêu cola. Khi chúng tôi bắt đầu, các tài sản Killtopia đã được phát triển. Voltaku đã hợp tác với David Levy tại Pitch Dev Studios để thực hiện tất cả các khái niệm nghệ thuật và phát triển tài sản, và nhóm của ông đã tạo ra một bố cục vị trí chung.
Chúng tôi cũng đã làm việc với bạn bè của chúng tôi tại KitBash3D, những người đã cung cấp một số bộ dụng cụ tuyệt vời cho chúng tôi (Aftermath, New Tokyo II, City Street và Cyber Streets, nếu bạn đang tìm kiếm). Tất cả các tài sản đã được xem xét và thực hiện trong V-Ray. Từ đó, chúng tôi có thể xuất chúng dưới dạng tệp vrscene và nhập tất cả hình học, đèn và bộ đổ bóng của chúng tôi vào Unreal thông qua plugin V-Ray for Unreal.
Rào cản chính là tìm ra cách lấy dữ liệu từ Unreal Engine để hiển thị trực tiếp với Vantage. Chúng tôi đã sử dụng V-Ray cho khả năng kết xuất phân tán của Unreal, định tuyến lại nó để sử dụng khả năng liên kết trực tiếp của Vantage. Điều này cho phép chúng tôi lấy dữ liệu từ Unreal Engine để hiển thị trực tiếp với Vantage mà không làm mất độ trung thực.
Đây là nơi chúng tôi gặp phải một vài trở ngại.
Các tệp Vrscene chủ yếu được thiết kế để mang lại hình học, máy ảnh, đèn và bộ đổ bóng - không phải hoạt hình hoặc gian lận. Tuy nhiên, chúng tôi cần Stiletto gian lận trong Unreal Engine để ghi lại chuyển động, và có vẻ như cách duy nhất để làm điều đó là sử dụng Unreal Skeletal Mesh. Đáng buồn thay, V-Ray không hỗ trợ Skeletal Meshes vào thời điểm đó. Vì vậy, nhóm phát triển đã làm việc, không chỉ thêm hỗ trợ đó mà còn gỡ lỗi một số vấn đề về hiệu suất liên kết trực tiếp đang làm chậm mọi thứ. Kết quả được cho là hiệu suất liên kết trực tiếp tốt nhất của bất kỳ ứng dụng DCC nào mà chúng tôi đã thử nghiệm cho đến nay.
Một điều khác mà chúng tôi phải đối mặt là đảm bảo hình học biến dạng được tổ chức. Để liên kết trực tiếp hoạt động, Vantage phải được cung cấp dữ liệu xác định những thay đổi giữa các tiểu bang. Ví dụ: nếu bạn chỉ di chuyển máy ảnh xung quanh, dữ liệu duy nhất được gửi là vị trí của máy ảnh đó. Không giống như các robot của CONSTRUCT, toàn bộ cơ thể của Stiletto thay đổi từ khung này sang khung khác, điều đó có nghĩa là mọi đỉnh của hình học của cô ấy cần được cập nhật. Vì vậy, thay vì vài chục biến đổi - như chúng tôi rất thích trên CONSTRUCT - chúng tôi cần chuyển 300.000+ biến đổi chỉ riêng cho Stiletto. Với phương pháp mới này, chúng ta vẫn có thể có được 20 đến 30 khung hình mỗi giây.
Các phương pháp hay nhất để sản xuất ảo được dò tia
Sau khi làm việc thông qua quá trình này, đây là một cách tiếp cận hoạt động tốt cho chúng tôi.
- Xây dựng tài sản của bạn một lần: Vì chúng tôi sẽ sử dụng V-Ray từ đầu đến cuối, nên việc xây dựng nội dung cuối cùng ngay từ đầu là điều hợp lý. Chúng tôi đã có thể mang tài sản đó bao gồm các shader của nó, từ khái niệm ban đầu đến sản xuất ảo và kết xuất cuối cùng.
- Sử dụng V-Ray cho Unreal làm cầu nối của bạn: Đưa tất cả các tài sản đó vào và khi mọi thứ được nhập, sản xuất của bạn có thể bắt đầu chiếu sáng trước. Điều đó có nghĩa là bạn có thể bắt đầu di chuyển đèn xung quanh và thiết lập cảnh của bạn chính xác theo cách bạn muốn. Sau đó, chúng ta có thể bắt đầu cái được gọi là bộ phận nghệ thuật ảo, hoặc VAD, để thiết lập trang phục và chiếu sáng cảnh.
- Bắt đầu mocap: Khi bạn đã sẵn sàng cho mocap, hãy sử dụng Take Recorder trong Unreal Engine. Nó có thể ghi lại hiệu suất và máy ảnh mà không cần thả liên kết trực tiếp của bạn đến Vantage. Với nhiều thông tin hình ảnh hơn, bạn có thể điều chỉnh ánh sáng, điều chỉnh độ sâu trường ảnh bằng Máy ảnh vật lý V-Ray và hơn thế nữa. Và bạn không cần phải thiết kế bất kỳ bản hack nào để vượt qua rasterization - mọi thứ đều được truy tìm hoàn toàn.
- Sử dụng chế độ ngoại tuyến của Vantage: Mặc dù Vantage rất nhanh, nhưng khung hình không ồn ào vẫn chỉ có thể đạt được trong thời gian thực thông qua khử nhiễu. Như một số bạn đã biết, khung hình khử nhiễu có thể xuất hiện một chút bị rửa trôi. Nhưng nếu bạn cho Vantage vài giây để hiển thị khung hình thay vì 1/30 giây, bạn có thể có được một hình ảnh rất sạch sẽ mà không bị nhiễu. Nếu bạn muốn khung hình sắc nét hơn, bạn có thể sử dụng chế độ "ngoại tuyến" mới, cho phép bạn chọn các lần chụp đã chọn và Vantage hiển thị chúng ở chất lượng cao hơn nhiều trong nền. Việc chụp 500 khung hình có thể được thực hiện trong quá trình thay đổi hoặc nghỉ thiết lập 15 phút, sau đó được gửi trực tiếp đến biên tập để thêm vào vết cắt. Ưu điểm khác ở đây là vì kết xuất dựa trên một chuỗi đã biết, Vantage có thể thêm chuyển động mờ, điều này rất khó thực hiện trong thời gian thực.
- Lên bài đăng: Khi bạn có tất cả các bức ảnh bạn muốn, bạn có thể thiết lập chúng để sản xuất hậu kỳ. Nếu bạn chọn ở lại Unreal, bạn có thể thiết lập tất cả kết xuất V-Ray của mình để thực hiện ở đó hoặc bạn có thể chuyển hiệu suất sang DCC khác bằng FBX. Tại thời điểm này, bạn cũng có thể thiết lập tất cả các AOV cần thiết để soạn.
- Kết xuất nó: Mọi thứ tốt để đi? Với cùng một sự phát triển giao diện mà bạn đã sử dụng trong suốt, bạn có thể hiển thị các khung hình cuối cùng của mình trong V-Ray.
Hai điểm cuối cùng đó rất quan trọng ngay bây giờ. Mặc dù một số người có thể cảm thấy rằng bạn nên (hoặc có thể) làm mọi thứ trong thời gian thực, nhưng sự thật là rất nhiều thứ vẫn được thực hiện trong quá trình hậu kỳ - bao gồm kết xuất ngoại tuyến và mô phỏng chất lượng cao như tóc, vải và chất lỏng. Điều này có nghĩa là, ngay bây giờ, chúng tôi chủ yếu tập trung vào một vài điều: mở ra các lần lặp lại sáng tạo tốt hơn trong thời điểm này và giảm sự dư thừa khiến bạn phải làm lại mọi thứ. Ngày càng nhiều, tôi nghĩ rằng tất cả chúng ta đang cố gắng đạt đến một điểm mà ánh sáng và giao diện dev mà bạn đang sử dụng trong quá trình sản xuất ảo có thể được sử dụng nhiều hơn.
Một lý do khác khiến bạn vẫn có thể sử dụng kết xuất ngoại tuyến là bạn có thể cần sử dụng nhiều AOV đặc biệt để đạt được vẻ ngoài phức tạp. Đây là trường hợp của Killtopia. Chúng tôi đã làm việc chặt chẽ với Foundry và đang sử dụng NUKE, để mang lại hương vị của truyện tranh. Và điều đó có nghĩa là chúng tôi cần sử dụng nhiều AOV tiện ích đặc biệt; Đây sẽ là một thách thức để làm với kết xuất thời gian thực.
Lời kết
Công nghệ - ở dạng tốt nhất - là về việc mở cửa. Khi bạn loại bỏ các ràng buộc, các nghệ sĩ có thể khám phá những ý tưởng bất chợt mới và phân phối nhanh hơn. Điều đó luôn luôn mạnh mẽ. Nhưng điều đáng kinh ngạc về sản xuất ảo là nó mang lại bao nhiêu sức mạnh cho các nhà làm phim. Khi bạn có thể thấy những gì bạn từng chỉ có thể tưởng tượng, không có câu hỏi nào về ý định của đạo diễn. Họ có thể đưa ra lựa chọn trên phim trường. Họ có thể nhận được phản hồi từ những người sáng tạo khác xung quanh họ. Và họ có thể thấy hậu quả ngay lập tức của quyết định của họ.
Không có gì lạ khi sản xuất ảo đã đáp ứng được sự nhiệt tình như vậy. Mọi người thích nhìn thấy những bức tường sụp đổ, và họ đang có! Phần tốt từ góc độ công nghệ là chúng ta biết nơi chúng ta cần phải đi. Nếu mọi người đang cố gắng để có được sản xuất ảo khung hình cuối cùng, thì phải tham gia dò tia.
Điều thú vị về dự án Killtopia này là nó cho phép chúng tôi thử nghiệm những ý tưởng có thể đẩy mọi người xuống đường. Và đó luôn là mục tiêu.
