Jetson Orin 64GB Benchmark

Seit gestern besitze ich einen Jetson Orin 64GB. Als erstes habe ich mal getestet, wie gut die Performance der GPU ist. Dafür habe erst mal Tensorflow 2.9.1 mit GPU-Unterstützung installiert und einen Benchmark laufen lassen, den ich hier kopiert habe.

Hier das Benchmark Skript das ich für meinen Test genutzt habe.

import tensorflow as tf

def matmul_transpose(x, y):
    return tf.matmul(x, y, transpose_b=True)

def get_args(i=1024, j=1024, k=1024):
    return tf.random.normal((i, j)), tf.random.normal((k, j))

def benchmark_matmul_impl(f, **kwargs):
    with tf.Graph().as_default() as graph:
        x, y = get_args(**kwargs)
        output = f(x, y)
        with tf.compat.v1.Session(graph=graph) as sess:
            bm = tf.test.Benchmark()
            bm_result = bm.run_op_benchmark(sess, output)
    return bm_result

results = benchmark_matmul_impl(matmul_transpose)

print(results)

Die folgenden System habe ich miteinander verglichen.

Jetson Orin 64GB – Mode = MAX

entry {
  name: "TensorFlowBenchmark.run_op_benchmark"
  iters: 10
  wall_time: 0.003049612045288086
  extras {
    key: "allocator_maximum_num_bytes_GPU_0_bfc"
    value {
      double_value: 12582912.0
    }
  }
  extras {
    key: "allocator_maximum_num_bytes_gpu_host_bfc"
    value {
      double_value: 8.0
    }
  }
}

Google Colab T4 GPU

entry {
  name: "TensorFlowBenchmark.run_op_benchmark"
  iters: 10
  wall_time: 0.001888871192932129
  extras {
    key: "allocator_maximum_num_bytes_GPU_0_bfc"
    value {
      double_value: 12582912.0
    }
  }
  extras {
    key: "allocator_maximum_num_bytes_gpu_host_bfc"
    value {
      double_value: 8.0
    }
  }
}

Google Colab ohne GPU (Nur CPU)

entry {
  name: "TensorFlowBenchmark.run_op_benchmark"
  iters: 10
  wall_time: 0.19856202602386475
  extras {
    key: "allocator_maximum_num_bytes_cpu"
    value {
      double_value: 12582912.0
    }
  }
}

NVIDIA GeForce RTX 3080 Laptop GPU (Windows)

entry {
  name: "TensorFlowBenchmark.run_op_benchmark"
  iters: 10
  wall_time: 0.001000523567199707
  extras {
    key: "allocator_maximum_num_bytes_GPU_0_bfc"
    value {
      double_value: 12582912.0
    }
  }
  extras {
    key: "allocator_maximum_num_bytes_gpu_host_bfc"
    value {
      double_value: 8.0
    }
  }
}

Fazit

Wie man sieht, ist die Performance des Jetson Orion 64BG bei weitem nicht so gut, wie die T4 GPU in Google Colab bzw. die RTX3080 allerdings ist der 64GB RAM schon etwas Besonderes in der Consumer-GPU Klasse. Also dann mal sehen, was man damit noch so alles anstellen kann 🙂 ….