「この生成モデルは、人、動物、物体が物理世界とどのように相互作用するかを理解し、高品質な動画を生成するのだという。これにより、優れたキャラクターの一貫性と正確な物理特性を備えた動画の生成が可能だ。また、シーンの感情や内容に合わせて、滑らかで映画のような自然なカメラモーションを無限に試すことができる。Dream Machineの構築には、Amazon Web Services(AWS)と、AWSのH100トレーニングインフラストラクチャ「SageMaker HyperPod」を使用しているとのこと。」
"Today we are releasing Dream Machine, an AI model that makes high quality, realistic and fantastical videos from text instructions and images. We have built Dream Machine on a scalable, efficient, and multimodal transformer architecture and trained it directly on videos. This makes it capable of generating physically accurate, consistent and action-packed scenes."
"To build Dream Machine we worked with Amazon Web Services (AWS) and their best-in-class H100 training infrastructure SageMaker HyperPod. Early feedback on the model has been enthusiastic and gives us the feeling of a thousand creative minds getting unshackled."