Я работаю над реализацией шаблона графика fprop Fused Attention. На данный момент я комбинирую только два матричных умножения, то есть g3 и g4 пусты. Я считаю, что я также выполнил все требования для этого графика, но ни одна из конфигураций механизма, предусмотренных эвристикой механизма, не работает при передаче в план выполнения. При завершении плана выполнения с использованием любой из конфигураций движка возвращается статус CUDNN_STATUS_NOT_SUPPORTED.
Я вставил используемую реализацию, а также формы и шаги всех тензоров. б/у.
qshape: 4: 1 1 10 64
qstride: 4: 640 640 64 1
kshape: 4: 1 1 64 10
kstride: 4: 640 640 1 64
sshape: 4: 1 1 10 10
sstride: 4: 100 100 10 1
vshape: 4: 1 1 10 64
vstride: 4: 640 640 64 1
oshape: 4: 1 1 10 64
ostride: 4: 640 640 64 1
#include
#include
#include
#define CUDNN_CHECK(status) \
{ \
if (status != CUDNN_STATUS_SUCCESS) { \
fprintf(stderr, "cuDNN error: %s:%d:%s\n", __FILE__, __LINE__, \
cudnnGetErrorString(status)); \
std::exit(EXIT_FAILURE); \
} \
}
void print_vector(const std::vector &v, std::string name) {
std::cout
Подробнее здесь: https://stackoverflow.com/questions/793 ... ed-attenti
