Hiểu về Virtual Production trong Unreal Engine

Virtual Production đang thay đổi bộ mặt storymaking trên toàn ngành truyền thông và giải trí. Nó đang định hình lại cách tạo ra các bộ phim, chương trình và sự kiện trực tuyến. Kết hợp các phương pháp truyền thống với các cải tiến kỹ thuật số tận dụng công cụ thời gian thực, Virtual Production đã và đang tác động đến tất cả mọi người từ nhà sản xuất, đạo diễn, diễn viên đến khán giả. Dù đang cách mạng hóa cả ngành rầm rộ nhưng trên thực tế vẫn còn khá nhiều câu hỏi tồn tại xung quanh Virtual Production trong Unreal Engine. 

Trong bài viết hôm nay, chúng ta sẽ đi sâu tìm hiểu về Virtual Production và vai trò của Unreal Engine trong lĩnh vực này.

Virtual Production dùng công nghệ để kết nối thế giới kỹ thuật số với thế giới thật trong thời gian thực. Nó kết hợp các kỹ thuật làm phim truyền thống với công nghệ hiện đại để giúp các nhà sáng tạo chinh phục tầm nhìn. 

Virtual Production đã được sử dụng trong ngành phát thanh truyền hình trong nhiều năm qua để tạo ra đồ họa trực tiếp real-time, như trên các chương trình thể thao và đưa tin về bầu cử, nơi dữ liệu đầu vào liên tục thay đổi và đồ họa phải được cập nhật nhanh chóng.

Ngày nay, những tiến bộ công nghệ trong các công cụ thời gian thực như Unreal Engine đã góp phần làm cho đồ họa chân thực real-time trở thành một phần quan trọng không chỉ cho render các hình ảnh cuối cùng cho các sự kiện và chương trình phát sóng trực tiếp, mà còn để tạo nội dung hoạt hình và dùng trong tất cả quá trình sản xuất phim live-action (trong phim trường và cả hậu trường). 

Virtual Production gồm previs, pitchvis, techvis, stuntvis (còn gọi là action design), postvis, và live compositing (còn gọi là Simulcam), cũng như virtual scouting, VR location scouting, và in-camera VFX (còn gọi là on-set virtual production). Chúng ta sẽ tìm hiểu về từng loại trong nội dung dưới đây.

Sản xuất phim truyền thống là một quy trình tuyến tính chuyển từ tiền sản xuất (lên ý tưởng và lập kế hoạch), qua sản xuất (quay phim) và cuối cùng đến hậu kỳ (chỉnh sửa, phân loại màu sắc và hiệu ứng hình ảnh). Vì chúng ta không thể thấy tất cả các bước kết hợp với nhau như thế nào cho đến khi kết thúc quá trình trên, nên việc thực hiện các thay đổi rất tốn thời gian và tốn kém; đôi khi chúng ta thậm chí phải bắt đầu lại từ đầu. Do vậy, các nhà làm phim sẽ bị hạn chế khi đưa ra các quyết định sáng tạo một cách nhanh chóng. 

Ngược lại, virtual production thu hẹp ranh giới giữa tiền sản xuất và kết quả cuối cùng, từ đó cho phép đạo diễn, nhà quay phim và nhà sản xuất thấy được hình ảnh hoàn thiện sớm hơn nhiều trong quá trình sản xuất. Kết quả là họ có thể tinh chỉnh nội dung để phản ánh đúng mục đích sáng tạo của mình, tạo ra các nội dung hấp dẫn hơn và đồng thời tiết kiệm thời gian cũng như chi phí sản xuất. 

Virtual Production cho phép các nhà làm phim trực quan hóa các khía cạnh khác nhau của bộ phim (các thành phần live-action, hiệu ứng hình ảnh, và nội dung hoạt hóa) trước, trong và sau khi sản xuất. Các quá trình trực quan hóa này bao gồm:

• • • Previs
    • Pitchvis
    • Techvis
    • Stuntvis (action design)
    • Postvis
    • Live compositing (Simulcam)

Previs, viết tắt của previsualization, đã tồn tại dưới một số hình thức hoặc tồn tại lâu hơn so với sản xuất ảo hiện đại. 3D previsualization là bước tiếp theo của bảng phân cảnh vẽ tay.

Nói một cách đơn giản, nó có nghĩa là sử dụng hình ảnh do máy tính tạo ra (CGI) để phác thảo các hình ảnh và hành động chính trước khi bắt đầu quay nhằm xác định cách trình bày kịch bản một cách trực quan và thử các kịch bản khác nhau. Trong một cảnh hành động có ít lời thoại, previs cũng trình bày chi tiết các yếu tố dẫn dắt câu chuyện.

Previs cung cấp tài liệu tham khảo về những gì cần được quay trực tiếp. Nó cũng cung cấp cơ sở cho việc đấu thầu VFX, nơi các studio cạnh tranh với nhau để giành được hợp đồng thực hiện một số hoặc tất cả các cảnh quay.

Ban đầu, các nhân vật và nội dung có độ phân giải thấp được render nhanh trong các gói phần mềm ngoại tuyến trước khi được cắt ghép lại với nhau. Ngày nay với khả năng của các các công cụ game như Unreal Engine trong việc render các nội dung cảnh thực, có độ phân giải đầy đủ trong real-time, các nhà làm phim có thể thấy tầm nhìn của họ trở nên sống động hơn, lặp lại nhanh chóng và kết quả là đưa ra quyết định tốt hơn.

Previs, cùng với nhiều giai đoạn khác, có thể sử dụng đến các camera ảo (VCam). Điều này cho phép các nhà làm phim điều khiển camera  trong Unreal Engine từ một thiết bị bên ngoài, thường là iPad và ghi lại chuyển động đó. Các chuyển động của camera thu được có thể được sử dụng để chặn khi chúng là điểm bắt đầu để điều chỉnh thủ công; để cung cấp bản xem trước depth-of-field, đưa ra quyết định cài đặt camera cho hành động trực tiếp; và thậm chí là những chiếc camera cuối cùng được thực hiện từ khâu hậu kỳ.

Nhiều nhà làm phim thấy làm việc với một thiết bị vật lý cảm giác quen thuộc hơn nhiều so với việc phải tương tác thông qua giao diện người dùng phần mềm và điều đó mang lại những chuyển động camera chân thực hơn trong thế giới kỹ thuật số.

Pitchvis là một dạng previs thường xảy ra trước khi một dự án được duyệt. Nó được thiết kế để thu hút sự tham gia của các bên liên quan bằng cách thể hiện giao diện dự kiến ​​​​của một dự án trước khi cam kết đầu tư lớn vào nó.

Unreal Engine đã được sử dụng để giới thiệu thành công các dự án lớn như series “Battlesuit”của HaZ Dulull hay “The Call of the Wild”, bản 2020 của Christopher Sanders, một dự án vốn đang bị tạm dừng vào thời điểm đó được đưa trở lại vào sản xuất:

Techvis được dùng để đưa ra các yêu cầu kỹ thuật chính xác cho các cảnh quay thực tế và kỹ thuật số trước khi giao cho đoàn làm phim và thiết bị, bao gồm camera, cần cẩu và giàn điều khiển chuyển động, vào ngày sản xuất. Techvis có thể được sử dụng để khám phá tính khả thi của các thiết kế cảnh quay trong giới hạn của một địa điểm cụ thể, ví dụ như nơi cần cẩu sẽ đi hoặc thậm chí liệu nó có phù hợp với trường quay hay không, cũng như việc chặn các yếu tố ảo. 

Techvis thường dùng nhiều nội dung cơ bản hơn so với previs vì nó không được sử dụng để đưa ra các quyết định sáng tạo. Giá trị thực sự của nó là cung cấp thông tin thực tế mà đoàn làm phim có thể dựa vào để thực hiện cảnh quay hiệu quả hơn.

Stuntvis, còn được gọi là action design, là sự kết hợp giữa previs và techvis cho công việc đóng thế vật lý và các chuỗi hành động. Nó đòi hỏi độ chính xác cao để các nhà thiết kế hành động có thể biên đạo các cảnh quay một cách chính xác, sáng tạo và duy trì mức độ an toàn cao cho diễn viên đóng thế và diễn viên chính.

Unreal Engine kết hợp mô phỏng vật lý trong thế giới thực, cho phép các đội đóng thế diễn tập và thực hiện các cảnh quay mô phỏng phản ánh thực tế đầy đủ nhất có thể. Điều này mang lại hiệu quả cao hơn nhiều trong quá trình sản xuất, đồng nghĩa với việc cần ít ngày quay hơn.

Dưới đây là bài thuyết trình từ Guy và Harrison Norris, nhà sáng lập PROXi Virtual Production. Cùng tìm hiểu cách họ sử dụng các kỹ thuật tiên tiến trong Unreal Engine để thiết kế hành động và kỹ thuật trên các bộ phim như The Suicide Squad.

Postvis diễn ra sau khi quá trình quay thực tế kết thúc. Nó được sử dụng khi một cảnh quay sẽ có thêm hiệu ứng hình ảnh vào cảnh người thật đóng, nhưng những cảnh quay đó vẫn chưa hoàn thiện (hoặc trong một số trường hợp, thậm chí còn chưa bắt đầu). Những cảnh quay này thường có phông nền xanh sẽ được thay thế bằng CGI trong sản phẩm cuối. Postvis thường sử dụng lại bản previs gốc của các yếu tố VFX, kết hợp nó với cảnh quay thực tế.

Postvis có thể cung cấp góc nhìn của nhà làm phim cho nhóm hiệu ứng hình ảnh, cũng như cung cấp phiên bản chính xác hơn của bất kỳ cảnh quay chuyên sâu về VFX nào chưa hoàn thiện cho người dựng phim. Thông qua Postvis, các nhà làm phim có thể đánh giá phần cắt bằng tham chiếu trực qua, ngay cả khi VFX cuối cùng vẫn còn lâu mới hoàn thành, và đảm bảo sự đồng thuận từ tất cả các bên liên quan. Chúng ta thậm chí có thể dùng Postvis để thực hiện các buổi chiếu thử nghiệm sớm.

Về cơ bản, Live Compositing giống postvis ở chỗ nó kết hợp cảnh quay người thật đóng với hình ảnh CGI làm tham khảo. Tuy nhiên, Live Compositing xảy ra trong quá trình quay. 

Một trong những ứng dụng sớm nhất của live compositing trên phim trường là trong the making of Avatar của James Cameron. Ông cũng là người đã đặt ra thuật ngữ “Simulcam” cho nó. Với kỹ thuật này, nhà làm phim có thể thấy sự thể hiện của các yếu tố CG được tổng hợp trên hành động trực tiếp khi họ quay. Vì vậy, họ hiểu rõ hơn về những gì đang được ghi lại.

Live compositing thường được dùng để hiển thị các nhân vật đồ họa được điều khiển bởi  dữ liệu performance capture, có thể là trực tiếp, được ghi trước hoặc cả hai. Performance capture là một hình thức ghi lại chuyển động, trong đó màn trình diễn của diễn viên, bao gồm các chuyển động tinh tế trên khuôn mặt và ngón tay, được ghi lại bằng các hệ thống chuyên dụng và sau đó có thể chuyển sang các nhân vật đồ họa. Nhiều quy trình sản xuất ảo liên quan đến việc sử dụng hình thức này. Một ví dụ về việc sử dụng nó với live compositing là chương trình Netflix Dance Monsters. Nó cũng được sử dụng rất hiệu quả trong tác phẩm “Welcome to Marwen” của Robert Zemeckis.

Một khía cạnh khác của virtual production là Virtual scouting. Công cụ này cho phép những người sáng tạo chủ chốt như đạo diễn, nhà quay phim và nhà thiết kế sản xuất xem xét một địa điểm ảo trong thực tế ảo (VR), để họ có thể hòa mình vào bối cảnh và cảm nhận thực tế về quy mô của nó.

Điều này có thể giúp các nhóm thiết kế những bối cảnh đặc biệt khó khăn và dàn dựng những cảnh phức tạp, như đã được thực hiện trong John Wick: Chương 3 – Parabellum, như có thể thấy bên dưới.

Một cách sử dụng phổ biến khác của virtual scouting là trang bị sẵn: các team có thể di chuyển nội dung kỹ thuật số xung quanh trong khi trải nghiệm môi trường ở quy mô thực tế.

Các phiên virtual scouting thường mang tính cộng tác và có sự tham gia của nhiều bên liên quan tham gia đánh giá cùng một lúc. Họ có thể cùng nhau khám phá bối cảnh, xác định và đôi khi đánh dấu các khu vực được quan tâm đặc biệt để quay một số cảnh nhất định. Họ cũng có thể chỉ ra những đạo cụ nào có thể được xây dựng về mặt vật lý và những gì sẽ là ảo.

VR location scouting là một phần mở rộng của virtual scouting. Trong VR location scouting, bối cảnh là một địa điểm có thật. Một thành viên trong nhóm có thể được cử đi trước để chụp cảnh bằng các công cụ đo ảnh như RealityCapture, sau đó các thành viên khác trong nhóm có thể xem lại từ xa bằng cách sử dụng virtual scouting trong Unreal Engine. Điều này có thể tiết kiệm đáng kể thời gian và chi phí khi đi lại, đặc biệt là khi có nhiều địa điểm để lựa chọn.

In-camera VFX (ICVFX), đôi khi còn được gọi là on-set virtual production hoặc OSVP, là một hình thức sản xuất ảo khá nổi gần đây, được sử dụng trong nhiều chương trình nổi tiếng, trong đó phải kể đến The Mandalorian. Với kỹ thuật này, quá trình quay phim người thật diễn ra trên sân khấu đèn LED khổng lồ, hoặc volume nơi hiển thị môi trường do công cụ real-time tạo ra trên tường và trần nhà. Các khối đèn LED phức tạp nhất là các mái vòm hình bán cầu bao quanh toàn sân khấu. Các sân khấu đơn giản hơn có thể có hình nửa khối hoặc thậm chí chỉ là một bức tường.

Không chỉ đơn thuần là thay thế nền; cảnh real-time là trực tiếp và có tính tương tác. Đồng thời, nó di chuyển liên quan đến camera để tạo ra hiệu ứng thị sai chân thực, nhờ đó mọi thứ xuất hiện ở góc nhìn chính xác. Màn hình LED cũng tạo ra ánh sáng và phản chiếu chân thực lên các diễn viên, để họ có thể hoàn toàn đắm chìm trong khung cảnh.

Lợi ích của  In-camera VFX:

Trong sản xuất truyền thống, nơi cảnh quay người thật đóng cuối cùng sẽ được kết hợp với hình ảnh do máy tính tạo ra (CGI), các diễn viên được quay trên nền phông xanh. Nền này sau đó có thể được thay thế bằng các yếu tố kỹ thuật số trong khâu hậu kỳ. Các diễn viên và đạo diễn phải tưởng tượng môi trường cuối cùng. Ngược lại, với on-set virtual production, dàn diễn viên và đoàn làm phim đang làm việc trong bối cảnh, giúp dễ dàng mang đến những màn trình diễn thuyết phục và đưa ra quyết định sáng tạo tốt hơn.

Trong một số trường hợp, để có những cảnh quay VFX dễ dàng, in-camera VFX thực sự có thể tạo ra các pixel cuối mà không cần phải xử lý hậu kỳ, tiết kiệm cả thời gian và chi phí: cảnh quay người thật đóng và CGI được kết hợp và quay qua camera để sản xuất các frame hoàn thiện. 

Trong các trường hợp khác, in-camera VFX có thể có nghĩa là những cảnh quay có độ khó trung bình chỉ yêu cầu một lượng nhỏ công việc hậu kỳ và nếu không thì những cảnh quay khó sẽ tốn ít thời gian hơn để hoàn thành ở giai đoạn hậu kỳ so với trước đây.

Một lợi ích lớn khác khi làm việc trên sân khấu LED là có thể dễ dàng kiểm soát ánh sáng và thời gian trong ngày, không còn phải chờ giờ vàng hay thời tiết lý tưởng nữa. Tính liên tục cũng dễ dàng hơn: các cảnh có thể được dựng ở trạng thái giống hệt như lúc chúng còn lại và chỉ trong vài phút chứ không phải hàng giờ.

Unreal Engine cung cấp bộ công cụ hoàn chỉnh để hỗ trợ ICVFX:

iRender cung cấp máy chủ (server) cấu hình cao với 1x RTX 4090 cho render Unreal Engine. Với CPU khỏe là AMD Ryzen™ Threadripper™ PRO 3955WX @ 3.9 – 4.2GHz, bộ nhớ RAM 256GB và dung lượng ổ cứng NVMe SSD 2T, server của chúng tôi có thể xử lý hầu hết mọi mức độ phức tạp của các dự án Unreal Engine.

Đối với các dự án có deadline gần và cần render nhanh, bạn có thể sử dụng đồng thời nhiều server. iRender cho phép người dùng sử dụng nhiều server trên một tài khoản cùng lúc để đẩy nhanh tiến độ render. Việc cài đặt cũng rất đơn giản: Chỉ cần thiết lập Unreal Engine trên một máy và clone máy này ra thành nhiều máy khác (khi đó, môi trường làm việc của bạn sẽ y nguyên máy gốc, bạn không cần cài đặt lại bất kỳ thứ gì.)

Cùng theo dõi video chúng tôi test hiệu suất render của máy 1 card RTX 4090 này trong Unreal Engine: 

Để biết thêm thông tin, xin vui lòng liên hệ với chúng tôi qua email [email protected] hoặc số điện thoại +84915875500.

iRender – Happy Rendering!

Nguồn tham khảo: unrealengine.com