9#include <botan/internal/sha2_64.h>
11#include <botan/internal/isa_extn.h>
12#include <botan/internal/sha2_64_f.h>
20void BOTAN_FN_ISA_SHA512 SHA_512::compress_digest_armv8(digest_type& digest,
21 std::span<const uint8_t> input8,
24 uint64x2_t STATE0 = vld1q_u64(&digest[0]);
25 uint64x2_t STATE1 = vld1q_u64(&digest[2]);
26 uint64x2_t STATE2 = vld1q_u64(&digest[4]);
27 uint64x2_t STATE3 = vld1q_u64(&digest[6]);
29 const uint8_t* input = input8.data();
33 const uint64x2_t AB_SAVE = STATE0;
34 const uint64x2_t CD_SAVE = STATE1;
35 const uint64x2_t EF_SAVE = STATE2;
36 const uint64x2_t GH_SAVE = STATE3;
38 uint64x2_t MSG0 = vreinterpretq_u64_u8(vld1q_u8(input + 0));
39 uint64x2_t MSG1 = vreinterpretq_u64_u8(vld1q_u8(input + 16));
40 uint64x2_t MSG2 = vreinterpretq_u64_u8(vld1q_u8(input + 32));
41 uint64x2_t MSG3 = vreinterpretq_u64_u8(vld1q_u8(input + 48));
42 uint64x2_t MSG4 = vreinterpretq_u64_u8(vld1q_u8(input + 64));
43 uint64x2_t MSG5 = vreinterpretq_u64_u8(vld1q_u8(input + 80));
44 uint64x2_t MSG6 = vreinterpretq_u64_u8(vld1q_u8(input + 96));
45 uint64x2_t MSG7 = vreinterpretq_u64_u8(vld1q_u8(input + 112));
47 MSG0 = vreinterpretq_u64_u8(vrev64q_u8(vreinterpretq_u8_u64(MSG0)));
48 MSG1 = vreinterpretq_u64_u8(vrev64q_u8(vreinterpretq_u8_u64(MSG1)));
49 MSG2 = vreinterpretq_u64_u8(vrev64q_u8(vreinterpretq_u8_u64(MSG2)));
50 MSG3 = vreinterpretq_u64_u8(vrev64q_u8(vreinterpretq_u8_u64(MSG3)));
51 MSG4 = vreinterpretq_u64_u8(vrev64q_u8(vreinterpretq_u8_u64(MSG4)));
52 MSG5 = vreinterpretq_u64_u8(vrev64q_u8(vreinterpretq_u8_u64(MSG5)));
53 MSG6 = vreinterpretq_u64_u8(vrev64q_u8(vreinterpretq_u8_u64(MSG6)));
54 MSG7 = vreinterpretq_u64_u8(vrev64q_u8(vreinterpretq_u8_u64(MSG7)));
61 MSG_K = vaddq_u64(MSG0, vld1q_u64(&
SHA512_K[2 * 0]));
62 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE3);
63 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE2, STATE3, 1), vextq_u64(STATE1, STATE2, 1));
64 STATE3 = vsha512h2q_u64(TSTATE1, STATE1, STATE0);
65 STATE1 = vaddq_u64(STATE1, TSTATE1);
66 MSG0 = vsha512su1q_u64(vsha512su0q_u64(MSG0, MSG1), MSG7, vextq_u64(MSG4, MSG5, 1));
69 MSG_K = vaddq_u64(MSG1, vld1q_u64(&
SHA512_K[2 * 1]));
70 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE2);
71 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE1, STATE2, 1), vextq_u64(STATE0, STATE1, 1));
72 STATE2 = vsha512h2q_u64(TSTATE1, STATE0, STATE3);
73 STATE0 = vaddq_u64(STATE0, TSTATE1);
74 MSG1 = vsha512su1q_u64(vsha512su0q_u64(MSG1, MSG2), MSG0, vextq_u64(MSG5, MSG6, 1));
77 MSG_K = vaddq_u64(MSG2, vld1q_u64(&
SHA512_K[2 * 2]));
78 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE1);
79 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE0, STATE1, 1), vextq_u64(STATE3, STATE0, 1));
80 STATE1 = vsha512h2q_u64(TSTATE1, STATE3, STATE2);
81 STATE3 = vaddq_u64(STATE3, TSTATE1);
82 MSG2 = vsha512su1q_u64(vsha512su0q_u64(MSG2, MSG3), MSG1, vextq_u64(MSG6, MSG7, 1));
85 MSG_K = vaddq_u64(MSG3, vld1q_u64(&
SHA512_K[2 * 3]));
86 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE0);
87 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE3, STATE0, 1), vextq_u64(STATE2, STATE3, 1));
88 STATE0 = vsha512h2q_u64(TSTATE1, STATE2, STATE1);
89 STATE2 = vaddq_u64(STATE2, TSTATE1);
90 MSG3 = vsha512su1q_u64(vsha512su0q_u64(MSG3, MSG4), MSG2, vextq_u64(MSG7, MSG0, 1));
93 MSG_K = vaddq_u64(MSG4, vld1q_u64(&
SHA512_K[2 * 4]));
94 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE3);
95 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE2, STATE3, 1), vextq_u64(STATE1, STATE2, 1));
96 STATE3 = vsha512h2q_u64(TSTATE1, STATE1, STATE0);
97 STATE1 = vaddq_u64(STATE1, TSTATE1);
98 MSG4 = vsha512su1q_u64(vsha512su0q_u64(MSG4, MSG5), MSG3, vextq_u64(MSG0, MSG1, 1));
101 MSG_K = vaddq_u64(MSG5, vld1q_u64(&
SHA512_K[2 * 5]));
102 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE2);
103 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE1, STATE2, 1), vextq_u64(STATE0, STATE1, 1));
104 STATE2 = vsha512h2q_u64(TSTATE1, STATE0, STATE3);
105 STATE0 = vaddq_u64(STATE0, TSTATE1);
106 MSG5 = vsha512su1q_u64(vsha512su0q_u64(MSG5, MSG6), MSG4, vextq_u64(MSG1, MSG2, 1));
109 MSG_K = vaddq_u64(MSG6, vld1q_u64(&
SHA512_K[2 * 6]));
110 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE1);
111 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE0, STATE1, 1), vextq_u64(STATE3, STATE0, 1));
112 STATE1 = vsha512h2q_u64(TSTATE1, STATE3, STATE2);
113 STATE3 = vaddq_u64(STATE3, TSTATE1);
114 MSG6 = vsha512su1q_u64(vsha512su0q_u64(MSG6, MSG7), MSG5, vextq_u64(MSG2, MSG3, 1));
117 MSG_K = vaddq_u64(MSG7, vld1q_u64(&
SHA512_K[2 * 7]));
118 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE0);
119 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE3, STATE0, 1), vextq_u64(STATE2, STATE3, 1));
120 STATE0 = vsha512h2q_u64(TSTATE1, STATE2, STATE1);
121 STATE2 = vaddq_u64(STATE2, TSTATE1);
122 MSG7 = vsha512su1q_u64(vsha512su0q_u64(MSG7, MSG0), MSG6, vextq_u64(MSG3, MSG4, 1));
125 MSG_K = vaddq_u64(MSG0, vld1q_u64(&
SHA512_K[2 * 8]));
126 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE3);
127 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE2, STATE3, 1), vextq_u64(STATE1, STATE2, 1));
128 STATE3 = vsha512h2q_u64(TSTATE1, STATE1, STATE0);
129 STATE1 = vaddq_u64(STATE1, TSTATE1);
130 MSG0 = vsha512su1q_u64(vsha512su0q_u64(MSG0, MSG1), MSG7, vextq_u64(MSG4, MSG5, 1));
133 MSG_K = vaddq_u64(MSG1, vld1q_u64(&
SHA512_K[2 * 9]));
134 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE2);
135 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE1, STATE2, 1), vextq_u64(STATE0, STATE1, 1));
136 STATE2 = vsha512h2q_u64(TSTATE1, STATE0, STATE3);
137 STATE0 = vaddq_u64(STATE0, TSTATE1);
138 MSG1 = vsha512su1q_u64(vsha512su0q_u64(MSG1, MSG2), MSG0, vextq_u64(MSG5, MSG6, 1));
141 MSG_K = vaddq_u64(MSG2, vld1q_u64(&
SHA512_K[2 * 10]));
142 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE1);
143 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE0, STATE1, 1), vextq_u64(STATE3, STATE0, 1));
144 STATE1 = vsha512h2q_u64(TSTATE1, STATE3, STATE2);
145 STATE3 = vaddq_u64(STATE3, TSTATE1);
146 MSG2 = vsha512su1q_u64(vsha512su0q_u64(MSG2, MSG3), MSG1, vextq_u64(MSG6, MSG7, 1));
149 MSG_K = vaddq_u64(MSG3, vld1q_u64(&
SHA512_K[2 * 11]));
150 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE0);
151 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE3, STATE0, 1), vextq_u64(STATE2, STATE3, 1));
152 STATE0 = vsha512h2q_u64(TSTATE1, STATE2, STATE1);
153 STATE2 = vaddq_u64(STATE2, TSTATE1);
154 MSG3 = vsha512su1q_u64(vsha512su0q_u64(MSG3, MSG4), MSG2, vextq_u64(MSG7, MSG0, 1));
157 MSG_K = vaddq_u64(MSG4, vld1q_u64(&
SHA512_K[2 * 12]));
158 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE3);
159 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE2, STATE3, 1), vextq_u64(STATE1, STATE2, 1));
160 STATE3 = vsha512h2q_u64(TSTATE1, STATE1, STATE0);
161 STATE1 = vaddq_u64(STATE1, TSTATE1);
162 MSG4 = vsha512su1q_u64(vsha512su0q_u64(MSG4, MSG5), MSG3, vextq_u64(MSG0, MSG1, 1));
165 MSG_K = vaddq_u64(MSG5, vld1q_u64(&
SHA512_K[2 * 13]));
166 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE2);
167 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE1, STATE2, 1), vextq_u64(STATE0, STATE1, 1));
168 STATE2 = vsha512h2q_u64(TSTATE1, STATE0, STATE3);
169 STATE0 = vaddq_u64(STATE0, TSTATE1);
170 MSG5 = vsha512su1q_u64(vsha512su0q_u64(MSG5, MSG6), MSG4, vextq_u64(MSG1, MSG2, 1));
173 MSG_K = vaddq_u64(MSG6, vld1q_u64(&
SHA512_K[2 * 14]));
174 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE1);
175 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE0, STATE1, 1), vextq_u64(STATE3, STATE0, 1));
176 STATE1 = vsha512h2q_u64(TSTATE1, STATE3, STATE2);
177 STATE3 = vaddq_u64(STATE3, TSTATE1);
178 MSG6 = vsha512su1q_u64(vsha512su0q_u64(MSG6, MSG7), MSG5, vextq_u64(MSG2, MSG3, 1));
181 MSG_K = vaddq_u64(MSG7, vld1q_u64(&
SHA512_K[2 * 15]));
182 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE0);
183 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE3, STATE0, 1), vextq_u64(STATE2, STATE3, 1));
184 STATE0 = vsha512h2q_u64(TSTATE1, STATE2, STATE1);
185 STATE2 = vaddq_u64(STATE2, TSTATE1);
186 MSG7 = vsha512su1q_u64(vsha512su0q_u64(MSG7, MSG0), MSG6, vextq_u64(MSG3, MSG4, 1));
189 MSG_K = vaddq_u64(MSG0, vld1q_u64(&
SHA512_K[2 * 16]));
190 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE3);
191 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE2, STATE3, 1), vextq_u64(STATE1, STATE2, 1));
192 STATE3 = vsha512h2q_u64(TSTATE1, STATE1, STATE0);
193 STATE1 = vaddq_u64(STATE1, TSTATE1);
194 MSG0 = vsha512su1q_u64(vsha512su0q_u64(MSG0, MSG1), MSG7, vextq_u64(MSG4, MSG5, 1));
197 MSG_K = vaddq_u64(MSG1, vld1q_u64(&
SHA512_K[2 * 17]));
198 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE2);
199 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE1, STATE2, 1), vextq_u64(STATE0, STATE1, 1));
200 STATE2 = vsha512h2q_u64(TSTATE1, STATE0, STATE3);
201 STATE0 = vaddq_u64(STATE0, TSTATE1);
202 MSG1 = vsha512su1q_u64(vsha512su0q_u64(MSG1, MSG2), MSG0, vextq_u64(MSG5, MSG6, 1));
205 MSG_K = vaddq_u64(MSG2, vld1q_u64(&
SHA512_K[2 * 18]));
206 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE1);
207 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE0, STATE1, 1), vextq_u64(STATE3, STATE0, 1));
208 STATE1 = vsha512h2q_u64(TSTATE1, STATE3, STATE2);
209 STATE3 = vaddq_u64(STATE3, TSTATE1);
210 MSG2 = vsha512su1q_u64(vsha512su0q_u64(MSG2, MSG3), MSG1, vextq_u64(MSG6, MSG7, 1));
213 MSG_K = vaddq_u64(MSG3, vld1q_u64(&
SHA512_K[2 * 19]));
214 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE0);
215 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE3, STATE0, 1), vextq_u64(STATE2, STATE3, 1));
216 STATE0 = vsha512h2q_u64(TSTATE1, STATE2, STATE1);
217 STATE2 = vaddq_u64(STATE2, TSTATE1);
218 MSG3 = vsha512su1q_u64(vsha512su0q_u64(MSG3, MSG4), MSG2, vextq_u64(MSG7, MSG0, 1));
221 MSG_K = vaddq_u64(MSG4, vld1q_u64(&
SHA512_K[2 * 20]));
222 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE3);
223 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE2, STATE3, 1), vextq_u64(STATE1, STATE2, 1));
224 STATE3 = vsha512h2q_u64(TSTATE1, STATE1, STATE0);
225 STATE1 = vaddq_u64(STATE1, TSTATE1);
226 MSG4 = vsha512su1q_u64(vsha512su0q_u64(MSG4, MSG5), MSG3, vextq_u64(MSG0, MSG1, 1));
229 MSG_K = vaddq_u64(MSG5, vld1q_u64(&
SHA512_K[2 * 21]));
230 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE2);
231 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE1, STATE2, 1), vextq_u64(STATE0, STATE1, 1));
232 STATE2 = vsha512h2q_u64(TSTATE1, STATE0, STATE3);
233 STATE0 = vaddq_u64(STATE0, TSTATE1);
234 MSG5 = vsha512su1q_u64(vsha512su0q_u64(MSG5, MSG6), MSG4, vextq_u64(MSG1, MSG2, 1));
237 MSG_K = vaddq_u64(MSG6, vld1q_u64(&
SHA512_K[2 * 22]));
238 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE1);
239 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE0, STATE1, 1), vextq_u64(STATE3, STATE0, 1));
240 STATE1 = vsha512h2q_u64(TSTATE1, STATE3, STATE2);
241 STATE3 = vaddq_u64(STATE3, TSTATE1);
242 MSG6 = vsha512su1q_u64(vsha512su0q_u64(MSG6, MSG7), MSG5, vextq_u64(MSG2, MSG3, 1));
245 MSG_K = vaddq_u64(MSG7, vld1q_u64(&
SHA512_K[2 * 23]));
246 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE0);
247 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE3, STATE0, 1), vextq_u64(STATE2, STATE3, 1));
248 STATE0 = vsha512h2q_u64(TSTATE1, STATE2, STATE1);
249 STATE2 = vaddq_u64(STATE2, TSTATE1);
250 MSG7 = vsha512su1q_u64(vsha512su0q_u64(MSG7, MSG0), MSG6, vextq_u64(MSG3, MSG4, 1));
253 MSG_K = vaddq_u64(MSG0, vld1q_u64(&
SHA512_K[2 * 24]));
254 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE3);
255 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE2, STATE3, 1), vextq_u64(STATE1, STATE2, 1));
256 STATE3 = vsha512h2q_u64(TSTATE1, STATE1, STATE0);
257 STATE1 = vaddq_u64(STATE1, TSTATE1);
258 MSG0 = vsha512su1q_u64(vsha512su0q_u64(MSG0, MSG1), MSG7, vextq_u64(MSG4, MSG5, 1));
261 MSG_K = vaddq_u64(MSG1, vld1q_u64(&
SHA512_K[2 * 25]));
262 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE2);
263 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE1, STATE2, 1), vextq_u64(STATE0, STATE1, 1));
264 STATE2 = vsha512h2q_u64(TSTATE1, STATE0, STATE3);
265 STATE0 = vaddq_u64(STATE0, TSTATE1);
266 MSG1 = vsha512su1q_u64(vsha512su0q_u64(MSG1, MSG2), MSG0, vextq_u64(MSG5, MSG6, 1));
269 MSG_K = vaddq_u64(MSG2, vld1q_u64(&
SHA512_K[2 * 26]));
270 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE1);
271 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE0, STATE1, 1), vextq_u64(STATE3, STATE0, 1));
272 STATE1 = vsha512h2q_u64(TSTATE1, STATE3, STATE2);
273 STATE3 = vaddq_u64(STATE3, TSTATE1);
274 MSG2 = vsha512su1q_u64(vsha512su0q_u64(MSG2, MSG3), MSG1, vextq_u64(MSG6, MSG7, 1));
277 MSG_K = vaddq_u64(MSG3, vld1q_u64(&
SHA512_K[2 * 27]));
278 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE0);
279 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE3, STATE0, 1), vextq_u64(STATE2, STATE3, 1));
280 STATE0 = vsha512h2q_u64(TSTATE1, STATE2, STATE1);
281 STATE2 = vaddq_u64(STATE2, TSTATE1);
282 MSG3 = vsha512su1q_u64(vsha512su0q_u64(MSG3, MSG4), MSG2, vextq_u64(MSG7, MSG0, 1));
285 MSG_K = vaddq_u64(MSG4, vld1q_u64(&
SHA512_K[2 * 28]));
286 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE3);
287 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE2, STATE3, 1), vextq_u64(STATE1, STATE2, 1));
288 STATE3 = vsha512h2q_u64(TSTATE1, STATE1, STATE0);
289 STATE1 = vaddq_u64(STATE1, TSTATE1);
290 MSG4 = vsha512su1q_u64(vsha512su0q_u64(MSG4, MSG5), MSG3, vextq_u64(MSG0, MSG1, 1));
293 MSG_K = vaddq_u64(MSG5, vld1q_u64(&
SHA512_K[2 * 29]));
294 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE2);
295 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE1, STATE2, 1), vextq_u64(STATE0, STATE1, 1));
296 STATE2 = vsha512h2q_u64(TSTATE1, STATE0, STATE3);
297 STATE0 = vaddq_u64(STATE0, TSTATE1);
298 MSG5 = vsha512su1q_u64(vsha512su0q_u64(MSG5, MSG6), MSG4, vextq_u64(MSG1, MSG2, 1));
301 MSG_K = vaddq_u64(MSG6, vld1q_u64(&
SHA512_K[2 * 30]));
302 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE1);
303 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE0, STATE1, 1), vextq_u64(STATE3, STATE0, 1));
304 STATE1 = vsha512h2q_u64(TSTATE1, STATE3, STATE2);
305 STATE3 = vaddq_u64(STATE3, TSTATE1);
306 MSG6 = vsha512su1q_u64(vsha512su0q_u64(MSG6, MSG7), MSG5, vextq_u64(MSG2, MSG3, 1));
309 MSG_K = vaddq_u64(MSG7, vld1q_u64(&
SHA512_K[2 * 31]));
310 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE0);
311 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE3, STATE0, 1), vextq_u64(STATE2, STATE3, 1));
312 STATE0 = vsha512h2q_u64(TSTATE1, STATE2, STATE1);
313 STATE2 = vaddq_u64(STATE2, TSTATE1);
314 MSG7 = vsha512su1q_u64(vsha512su0q_u64(MSG7, MSG0), MSG6, vextq_u64(MSG3, MSG4, 1));
317 MSG_K = vaddq_u64(MSG0, vld1q_u64(&
SHA512_K[2 * 32]));
318 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE3);
319 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE2, STATE3, 1), vextq_u64(STATE1, STATE2, 1));
320 STATE3 = vsha512h2q_u64(TSTATE1, STATE1, STATE0);
321 STATE1 = vaddq_u64(STATE1, TSTATE1);
324 MSG_K = vaddq_u64(MSG1, vld1q_u64(&
SHA512_K[2 * 33]));
325 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE2);
326 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE1, STATE2, 1), vextq_u64(STATE0, STATE1, 1));
327 STATE2 = vsha512h2q_u64(TSTATE1, STATE0, STATE3);
328 STATE0 = vaddq_u64(STATE0, TSTATE1);
331 MSG_K = vaddq_u64(MSG2, vld1q_u64(&
SHA512_K[2 * 34]));
332 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE1);
333 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE0, STATE1, 1), vextq_u64(STATE3, STATE0, 1));
334 STATE1 = vsha512h2q_u64(TSTATE1, STATE3, STATE2);
335 STATE3 = vaddq_u64(STATE3, TSTATE1);
338 MSG_K = vaddq_u64(MSG3, vld1q_u64(&
SHA512_K[2 * 35]));
339 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE0);
340 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE3, STATE0, 1), vextq_u64(STATE2, STATE3, 1));
341 STATE0 = vsha512h2q_u64(TSTATE1, STATE2, STATE1);
342 STATE2 = vaddq_u64(STATE2, TSTATE1);
345 MSG_K = vaddq_u64(MSG4, vld1q_u64(&
SHA512_K[2 * 36]));
346 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE3);
347 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE2, STATE3, 1), vextq_u64(STATE1, STATE2, 1));
348 STATE3 = vsha512h2q_u64(TSTATE1, STATE1, STATE0);
349 STATE1 = vaddq_u64(STATE1, TSTATE1);
352 MSG_K = vaddq_u64(MSG5, vld1q_u64(&
SHA512_K[2 * 37]));
353 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE2);
354 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE1, STATE2, 1), vextq_u64(STATE0, STATE1, 1));
355 STATE2 = vsha512h2q_u64(TSTATE1, STATE0, STATE3);
356 STATE0 = vaddq_u64(STATE0, TSTATE1);
359 MSG_K = vaddq_u64(MSG6, vld1q_u64(&
SHA512_K[2 * 38]));
360 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE1);
361 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE0, STATE1, 1), vextq_u64(STATE3, STATE0, 1));
362 STATE1 = vsha512h2q_u64(TSTATE1, STATE3, STATE2);
363 STATE3 = vaddq_u64(STATE3, TSTATE1);
366 MSG_K = vaddq_u64(MSG7, vld1q_u64(&
SHA512_K[2 * 39]));
367 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE0);
368 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE3, STATE0, 1), vextq_u64(STATE2, STATE3, 1));
369 STATE0 = vsha512h2q_u64(TSTATE1, STATE2, STATE1);
370 STATE2 = vaddq_u64(STATE2, TSTATE1);
373 STATE0 = vaddq_u64(STATE0, AB_SAVE);
374 STATE1 = vaddq_u64(STATE1, CD_SAVE);
375 STATE2 = vaddq_u64(STATE2, EF_SAVE);
376 STATE3 = vaddq_u64(STATE3, GH_SAVE);
383 vst1q_u64(&digest[0], STATE0);
384 vst1q_u64(&digest[2], STATE1);
385 vst1q_u64(&digest[4], STATE2);
386 vst1q_u64(&digest[6], STATE3);
constexpr uint64_t SHA512_K[80]