Tentang GPU

Untuk mempercepat workload tertentu di Compute Engine, Anda dapat men-deploy VM yang dioptimalkan akselerator yang telah memasang GPU, atau melampirkan GPU ke VM tujuan umum N1.

Dokumen ini menjelaskan fitur dan batasan GPU yang berjalan di Compute Engine.

GPU dan seri mesin

GPU didukung untuk seri mesin yang dioptimalkan akselerator (A4X, A4, A3, A2, dan G2) dan seri mesin tujuan umum N1. Untuk VM yang menggunakan jenis mesin yang dioptimalkan akselerator, GPU akan otomatis terpasang saat Anda membuat VM. Untuk VM yang menggunakan jenis mesin N1, Anda perlu memasang GPU ke VM selama atau setelah pembuatan VM. GPU tidak dapat digunakan dengan seri mesin lainnya.

Seri mesin yang dioptimalkan akselerator

Setiap jenis mesin yang dioptimalkan akselerator memiliki model GPU NVIDIA tertentu yang terpasang.

  • Untuk jenis mesin A4X, superchip NVIDIA GB200 terpasang.
  • Untuk jenis mesin A4, GPU NVIDIA B200 terpasang.
  • Untuk jenis mesin A3, GPU NVIDIA H100 80 GB atau NVIDIA H200 141 GB terpasang. Jenis mesin ini tersedia dalam opsi berikut:
    • A3 Ultra: jenis mesin ini memiliki GPU H200 141 GB yang terpasang
    • A3 Mega: jenis mesin ini memiliki GPU H100 80 GB yang terpasang
    • A3 High: jenis mesin ini memiliki GPU H100 80 GB yang terpasang
    • A3 Edge: jenis mesin ini memiliki GPU H100 80 GB yang terpasang
  • Untuk jenis mesin A2, GPU NVIDIA A100 terpasang. Jenis mesin ini tersedia dalam opsi berikut:
    • A2 Ultra: jenis mesin ini memiliki GPU A100 80 GB yang terpasang
    • A2 Standard: jenis mesin ini memiliki GPU A100 40 GB yang terpasang
  • Untuk jenis mesin G2, GPU NVIDIA L4 terpasang.

Untuk informasi selengkapnya, lihat Seri mesin yang dioptimalkan akselerator.

Seri mesin tujuan umum N1

Untuk semua jenis GPU lainnya, Anda dapat menggunakan sebagian besar jenis mesin N1 kecuali inti bersama N1 (f1-micro dan g1-small).

Untuk seri mesin ini, Anda dapat menggunakan jenis mesin yang telah ditentukan atau kustom.

GPU di Spot VM

Anda dapat menambahkan GPU ke Spot VM dengan harga spot yang lebih rendah untuk GPU tersebut. GPU yang terpasang ke Spot VM berfungsi seperti GPU normal, tetapi hanya bertahan selama masa pakai VM. Spot VM dengan GPU mengikuti proses preemption yang sama seperti semua VM Spot.

Sebaiknya minta kuota Preemptible GPU khusus untuk digunakan dengan GPU di Spot VM. Untuk mengetahui informasi lebih lanjut, baca Kuota untuk Spot VM.

Selama peristiwa pemeliharaan, Spot VM dengan GPU di-preempt secara default dan tidak dapat dimulai ulang secara otomatis. Jika Anda ingin membuat ulang VM setelah di-preempt, gunakan grup instance terkelola. Grup instance terkelola akan membuat ulang instance VM Anda jika resource vCPU, memori, dan GPU tersedia.

Jika Anda ingin diberi tahu sebelum VM di-preempt, atau ingin mengonfigurasi VM agar otomatis dimulai ulang setelah peristiwa pemeliharaan, gunakan VM standar dengan GPU. Untuk VM standar dengan GPU, Compute Engine memberikan pemberitahuan awal satu jam sebelum preemption.

Compute Engine tidak mengenakan biaya untuk GPU jika VM-nya di-preempt dalam menit pertama setelah mulai berjalan.

Untuk mempelajari cara membuat Spot VM dengan GPU terpasang, baca Membuat VM dengan GPU yang terpasang dan Membuat Spot VM. Misalnya, lihat artikel Membuat instance A3 Ultra atau A4 menggunakan Spot VM.

GPU di VM dengan waktu operasi yang telah ditentukan

VM yang menggunakan model penyediaan standar biasanya tidak dapat menggunakan kuota alokasi preemptible. Kuota yang dapat dihentikan ditujukan untuk workload sementara dan biasanya lebih tersedia. Jika project Anda tidak memiliki kuota preemptible, dan Anda tidak pernah memintanya, semua VM dalam project Anda akan menggunakan kuota alokasi standar.

Jika Anda meminta kuota alokasi preemptible, VM yang menggunakan model penyediaan standar harus memenuhi semua kriteria berikut untuk menggunakan kuota alokasi preemptible:

Saat menggunakan alokasi yang dapat dihentikan untuk beban kerja GPU yang dibatasi waktu, Anda dapat mendapatkan manfaat dari waktu proses yang tidak terganggu dan ketersediaan tinggi kuota alokasi yang dapat dihentikan. Untuk mengetahui informasi selengkapnya, lihat Kuota preemptible.

GPU dan Confidential VM

Anda dapat menggunakan GPU dengan instance Confidential VM menggunakan Intel TDX pada seri mesin A3. Untuk mengetahui informasi selengkapnya, lihat konfigurasi yang didukung VM Rahasia. Untuk mempelajari cara membuat instance Confidential VM dengan GPU, lihat Membuat instance Confidential VM dengan GPU.

GPU dan block storage

Saat membuat VM di platform GPU, Anda dapat menambahkan persistent block storage atau temporary block storage ke VM. Untuk menyimpan data non-ephemeral, gunakan penyimpanan blok persisten seperti Hyperdisk atau Persistent Disk karena disk tersebut tidak bergantung pada siklus proses VM. Data di penyimpanan persisten dapat dipertahankan meskipun setelah Anda menghapus VM.

Untuk penyimpanan sementara atau cache, gunakan penyimpanan blok sementara dengan menambahkan Disk SSD Lokal saat Anda membuat VM.

Penyimpanan blok persisten dengan volume Persistent Disk dan Hyperdisk

Anda dapat memasang Persistent Disk dan memilih volume Hyperdisk dengan VM yang mengaktifkan GPU.

Untuk beban kerja pelatihan dan penayangan machine learning, Google merekomendasikan penggunaan volume Hyperdisk ML, yang menawarkan throughput tinggi dan waktu pemuatan data yang lebih singkat. Hal ini menjadikan Hyperdisk ML sebagai opsi yang lebih hemat biaya untuk beban kerja ML karena menawarkan waktu tidak ada aktivitas GPU yang lebih rendah.

Volume Hyperdisk ML menyediakan dukungan multi-lampiran hanya baca, sehingga Anda dapat memasang disk yang sama ke beberapa VM, yang memberi setiap VM akses ke data yang sama.

Untuk informasi selengkapnya tentang jenis disk yang didukung untuk seri mesin yang mendukung GPU, lihat halaman seri mesin N1 dan yang dioptimalkan akselerator.

Disk SSD lokal

Disk SSD lokal menyediakan penyimpanan sementara yang cepat untuk caching, pemrosesan data, atau data sementara lainnya. Disk SSD lokal adalah penyimpanan cepat karena terpasang secara fisik ke server yang menghosting VM Anda. Data ini bersifat sementara karena data akan hilang jika VM dimulai ulang.

Anda tidak boleh menyimpan data dengan persyaratan persistensi yang kuat di disk SSD Lokal. Untuk menyimpan data non-sementara, gunakan penyimpanan persisten.

Jika menghentikan VM dengan GPU secara manual, Anda dapat mempertahankan data SSD Lokal, dengan batasan tertentu. Lihat Dokumentasi SSD lokal untuk mengetahui detail selengkapnya.

Untuk dukungan regional SSD Lokal dengan jenis GPU, lihat Ketersediaan SSD lokal menurut region dan zona GPU.

Pemeliharaan GPU dan host

VM dengan GPU yang terpasang selalu dihentikan saat Compute Engine melakukan peristiwa pemeliharaan pada VM. Jika VM telah memasang disk SSD Lokal, data SSD Lokal akan hilang setelah VM berhenti.

Untuk informasi tentang cara menangani peristiwa pemeliharaan, lihat Menangani peristiwa pemeliharaan host GPU.

Penentuan harga GPU

Untuk VM yang memiliki GPU yang terpasang, Anda akan dikenai biaya sebagai berikut:

Untuk mengetahui harga per jam dan bulanan untuk GPU, lihat halaman harga GPU.

Melakukan reservasi GPU dengan diskon abonemen

Untuk mencadangkan resource GPU di zona tertentu, lihat Memilih jenis reservasi.

Guna menerima diskon abonemen untuk GPU di zona tertentu, Anda harus membeli komitmen berbasis resource untuk GPU dan juga melampirkan reservasi yang menentukan GPU yang cocok dengan komitmen Anda. Untuk informasi selengkapnya, lihat Melampirkan reservasi ke komitmen berbasis resource.

Pembatasan dan batasan GPU

Untuk VM dengan GPU yang terpasang, pembatasan dan batasan berikut berlaku:

  • GPU hanya didukung dengan jenis mesin N1 tujuan umum atau yang dioptimalkan akselerator (A4X, A4, A3, A2, dan G2).

  • Untuk melindungi sistem dan pengguna Compute Engine, project baru memiliki kuota GPU global, yang membatasi jumlah total GPU yang dapat Anda buat di zona mana pun yang didukung. Saat meminta kuota GPU, Anda harus meminta kuota untuk model GPU yang ingin dibuat di setiap region, dan kuota global tambahan untuk jumlah total semua jenis GPU di semua zona.

  • VM dengan satu atau beberapa GPU memiliki jumlah vCPU maksimum untuk setiap GPU yang Anda tambahkan ke VM. Informasi tentang rentang vCPU dan memori yang tersedia untuk berbagai konfigurasi GPU tersedia di daftar GPU.

  • GPU memerlukan driver perangkat agar berfungsi dengan baik. GPU NVIDIA yang berjalan di Compute Engine harus menggunakan versi driver minimum. Untuk informasi selengkapnya tentang versi driver, lihat Versi driver NVIDIA yang diperlukan.

  • VM dengan model GPU terpasang tercakup dalam SLA Compute Engine hanya jika model GPU yang terpasang tersebut tersedia secara umum.

    Untuk region yang memiliki beberapa zona, SLA Compute Engine hanya mencakup VM jika model GPU tersedia di lebih dari satu zona dalam region tersebut. Untuk model GPU menurut region, lihat Region dan zona GPU.

  • Compute Engine mendukung pengoperasian 1 pengguna serentak per GPU.

  • Lihat juga batasan untuk setiap jenis mesin dengan GPU terpasang.

Apa langkah selanjutnya?