Описание проблемы

RuntimeError: ошибка CUDA: неопределенная ошибка запуска.
Ошибка возникает в любом обучающем сценарии. Возникновение не является детерминированным. Может произойти в любой момент во время тренировки.
Все коды отлично работают на RTX 3090.

/lib/python3.8/site-packages/torch/autograd/ init .py
Variable._execution_engine.run_backward(
RuntimeError: ошибка CUDA: неуказанный сбой запуска

Системная информация

Версия PyTorch: 1.10.2+cu113
Является отладочной сборкой: False
CUDA используется для сборки PyTorch: 11.3
ROCM используется для сборки PyTorch: н/д

ОС: Pop!_OS 20.04 LTS (x86_64)
Версия GCC: (Ubuntu 9.3.0-17ubuntu1~20.04) 9.3.0
Версия Clang: не удалось собрать
версию CMake: не удалось собрать
версию Libc: glibc-2.31

Версия Python: 3.8.10 (по умолчанию, 26 ноября 2021 г., 20:14:08) [GCC 9.3.0] (64-разрядная среда выполнения)
Платформа Python: Linux-5.15.15-76051515-generic-x86_64-with-glibc2. 29
Доступна ли CUDA: Настоящая
версия среды выполнения CUDA: 11.2.67
Модели и конфигурация GPU:
GPU 0: NVIDIA RTX A6000
GPU 1: NVIDIA RTX A6000

Версия драйвера Nvidia: 470.86
Версия cuDNN: Вероятно, одна из следующих:
/usr/lib/cuda-11.2/targets/x86_64-linux/lib/libcudnn.so.8.1.1
/usr/lib/cuda-11.2/targets/x86_64 -linux/lib/libcudnn_adv_infer.so.8.1.1
/usr/lib/cuda-11.2/targets/x86_64-linux/lib/libcudnn_adv_train.so.8.1.1
/usr/lib/cuda-11.2/targets/x86_64-linux /lib/libcudnn_cnn_infer.so.8.1.1
/usr/lib/cuda-11.2/targets/x86_64-linux/lib/libcudnn_cnn_train.so.8.1.1
/usr/lib/cuda-11.2/targets/x86_64-linux/lib /libcudnn_ops_infer.so.8.1.1
/usr/lib/cuda-11.2/targets/x86_64-linux/lib/libcudnn_ops_train.so.8.1.1
Версия среды выполнения HIP: Н/Д
Версия среды выполнения MIOpen: Н/Д
Доступен ли XNNPACK: Истинный

Версии соответствующих библиотек:
[pip3] numpy==1.22.3
[pip3] torch==1.10.2+cu113
[pip3] torchaudio==0.10.2+cu113
[pip3] torchvision==0.11.3+cu113
[conda] Не удалось собрать

- PyTorch or Caffe2: PyTorch
- How you installed PyTorch (conda, pip, source): pip
- Build command you used (if compiling from source):
- OS: Pop OS 20.04
- PyTorch version: '1.10.2+cu113'
- Python version: 3.8
- CUDA/cuDNN version: 11.3
- GPU models and configuration: A6000
- GCC version (if compiling from source):
- CMake version:
- Versions of any other relevant libraries:


cc @csarofeen @ptrblck @xwang233 @ngimel