我在使用vector intrinsics(AVX)时遇到了以下问题,但这个问题可能也适用于顺序编程。 它涉及restrict
关键字的使用。 该关键字在C99中可用,但在C++中不可用(大多数编译器提供的特殊关键字除外)。 我的问题是:我可以通过将数据从非restriction
指针参数复制到局部变量来避免使用restriction
吗? 在我的例子中它是有效的,但是这种行为是保证的吗?
下面是我的4个不同版本的SIMD向量加法的代码。 第一个版本vecadd1()
将参数作为restrict
指针传递。 所有其他版本都使用普通(非限制
)指针作为参数。 第二个版本vecadd2()
没有进一步的代码修改。 第三个版本vecadd3()
将每个结构的data
指针复制到局部变量中。 第四个版本vecadd4()
也对大小n
执行同样的操作。
#include <stdio.h>
#include <x86intrin.h>
#define N 8 // 8 floats per AVX vector
#define SIZE 1000 // 1000 floats per data vector
typedef struct { int n; float *data; } Vec;
void vecCreate(int size, Vec *v) {
v->n = size;
posix_memalign((void**)&(v->data), 32, size * sizeof(float));
}
void vecAdd1(Vec * restrict a, Vec * restrict b, Vec * restrict c) {
__m256 va, vb, vc;
for (int i = 0; i <= (a->n - N); i += N) {
va = _mm256_load_ps(a->data + i);
vb = _mm256_load_ps(b->data + i);
vc = _mm256_add_ps(va, vb);
_mm256_store_ps(c->data + i, vc);
}
}
void vecAdd2(Vec *a, Vec *b, Vec *c) {
__m256 va, vb, vc;
for (int i = 0; i <= (a->n - N); i += N) {
va = _mm256_load_ps(a->data + i);
vb = _mm256_load_ps(b->data + i);
vc = _mm256_add_ps(va, vb);
_mm256_store_ps(c->data + i, vc);
}
}
void vecAdd3(Vec *a, Vec *b, Vec *c) {
__m256 va, vb, vc;
float *pa = a->data, *pb = b->data, *pc = c->data;
for (int i = 0; i <= (a->n - N); i += N) {
va = _mm256_load_ps(pa + i);
vb = _mm256_load_ps(pb + i);
vc = _mm256_add_ps(va, vb);
_mm256_store_ps(pc + i, vc);
}
}
void vecAdd4(Vec *a, Vec *b, Vec *c) {
__m256 va, vb, vc;
float *pa = a->data, *pb = b->data, *pc = c->data;
int ae = a->n - N;
for (int i = 0; i <= ae; i += N) {
va = _mm256_load_ps(pa + i);
vb = _mm256_load_ps(pb + i);
vc = _mm256_add_ps(va, vb);
_mm256_store_ps(pc + i, vc);
}
}
int
main()
{
Vec a, b, c;
vecCreate(1000, &a);
vecCreate(1000, &b);
vecCreate(1000, &c);
vecAdd1(&a, &b, &c);
vecAdd2(&a, &b, &c);
vecAdd3(&a, &b, &c);
vecAdd4(&a, &b, &c);
printf("%g\n", c.data[123]);
return 0;
}
(只是一个注释:-n
和<=
用于将处理限制在可以加载和存储整个SIMD向量的部分。我省略了顺序后同步码。)
以下是编译器调用:
gcc -O3 -mno-avx256-split-unaligned-load -mno-avx256-split-unaligned-store -march=native -masm=intel -save-temps -std=c99 -Wall -o vecadd vecadd.c
我用的是7.5.0版本。 在下面的内容中,我只展示了vecadd.s
中汇编代码的相关部分。
在vecadd1()
中,循环有一个非常高效的实现:加载一个SIMD向量,添加第二个,存储到结果,前进指针,检查循环结束:
.L5:
vmovaps ymm0, YMMWORD PTR [rdi+rax]
vaddps ymm0, ymm0, YMMWORD PTR [rsi+rax]
vmovaps YMMWORD PTR [rcx+rax], ymm0
add rax, 32
cmp rdx, rax
jne .L5
如果我在vecadd2()
的参数列表中省略了restrict
关键字,循环的效率就会变得非常低:在循环中,每次在加载,处理和存储SIMD向量之前,都会重新加载三个data
指针和大小n
,并检查循环条件:
.L10:
mov r10, QWORD PTR 8[rdi]
mov r9, QWORD PTR 8[rsi]
add r8d, 8
mov rcx, QWORD PTR 8[rdx]
vmovaps ymm0, YMMWORD PTR [r10+rax]
vaddps ymm0, ymm0, YMMWORD PTR [r9+rax]
vmovaps YMMWORD PTR [rcx+rax], ymm0
mov ecx, DWORD PTR [rdi]
add rax, 32
sub ecx, 7
cmp ecx, r8d
jg .L10
在vecadd3()
版本中,data
指针不会重新加载(它们在循环之前加载一次),但会重新加载大小n
:
.L15:
vmovaps ymm0, YMMWORD PTR -32[r8+rax*4]
mov ecx, eax
vaddps ymm0, ymm0, YMMWORD PTR -32[rsi+rax*4]
vmovaps YMMWORD PTR -32[r9+rax*4], ymm0
mov edx, DWORD PTR [rdi]
add rax, 8
sub edx, 7
cmp edx, ecx
jg .L15
只有将所有data
指针和n
复制到vecadd4()
中的局部变量时,代码才与vecadd1()
中的代码类似:
.L20:
vmovaps ymm0, YMMWORD PTR [rcx+rax]
vaddps ymm0, ymm0, YMMWORD PTR [rsi+rax]
vmovaps YMMWORD PTR [r8+rax], ymm0
add rax, 32
cmp rdx, rax
jne .L20
因此,重复我的问题:假设我想避免C++中特定于编译器的restrict
替换。 因此,我使用非restrict
参数,但将它们复制到本地(也是非restrict
)变量。 是否保证编译器不会假设局部变量可以别名(即使函数参数可以)?
(附带问题:我复制struct组件是否与此问题相关?)
一般来说,局部变量不能实现像restricte
这样的别名指令那样的优化功能。
例如。 假设vecadd4
中的循环由编译器展开:
for (int i = 0; i <= ae / 2; i += 2*N) {
va_1 = _mm256_load_ps(pa + i);
vb_1 = _mm256_load_ps(pb + i);
vc_1 = _mm256_add_ps(va_1, vb_1);
_mm256_store_ps(pc + i, vc_1);
va_2 = _mm256_load_ps(pa + i + 1);
vb_2 = _mm256_load_ps(pb + i + 1);
vc_2 = _mm256_add_ps(va_2, vb_2);
_mm256_store_ps(pc + i + 1, vc_2);
}
在这种情况下,由于PA+I
和VA2
和VA3
负载在第一个_mm256_store_ps
内部负载之前无法移动(以隐藏延迟),因为在PA+I
和PC+I
之间可能存在混叠。
假设所有a
,b
,c
,pa
,pb
和pc
都没有别名,我建议将它们标记为别名:
void vecAdd5(Vec * restrict a, Vec * restrict b, Vec * restrict c) {
__m256 va, vb, vc;
float * restrict pa = a->data, * restrict pb = b->data, * restrict pc = c->data;
for (int i = 0; i <= a->n - N; i += N) {
va = _mm256_load_ps(pa + i);
vb = _mm256_load_ps(pb + i);
vc = _mm256_add_ps(va, vb);
_mm256_store_ps(pc + i, vc);
}
}
这实现了与Vecadd4
相同的程序集,而手工操作要少得多:
vmovaps ymm1, YMMWORD PTR [rcx+rax*4]
vaddps ymm0, ymm1, YMMWORD PTR [rsi+rax*4]
vmovaps YMMWORD PTR [rdi+rax*4], ymm0
add rax, 8
cmp edx, eax
jg .L3