Botan 3.14.1
Crypto and TLS for C&
sha2_64_armv8.cpp
Go to the documentation of this file.
1/*
2* SHA-512 using CPU instructions in ARMv8
3*
4* (C) 2023 René Fischer
5*
6* Botan is released under the Simplified BSD License (see license.txt)
7*/
8
9#include <botan/internal/sha2_64.h>
10
11#include <botan/internal/isa_extn.h>
12#include <botan/internal/sha2_64_f.h>
13#include <arm_neon.h>
14
15namespace Botan {
16
17/*
18* SHA-512 using CPU instructions in ARMv8
19*/
20void BOTAN_FN_ISA_SHA512 SHA_512::compress_digest_armv8(digest_type& digest,
21 std::span<const uint8_t> input8,
22 size_t blocks) {
23 // Load initial values
24 uint64x2_t STATE0 = vld1q_u64(&digest[0]); // ab NOLINT(*-container-data-pointer)
25 uint64x2_t STATE1 = vld1q_u64(&digest[2]); // cd
26 uint64x2_t STATE2 = vld1q_u64(&digest[4]); // ef
27 uint64x2_t STATE3 = vld1q_u64(&digest[6]); // gh
28
29 const uint8_t* input = input8.data();
30
31 while(blocks > 0) {
32 // Save current state
33 const uint64x2_t AB_SAVE = STATE0;
34 const uint64x2_t CD_SAVE = STATE1;
35 const uint64x2_t EF_SAVE = STATE2;
36 const uint64x2_t GH_SAVE = STATE3;
37
38 uint64x2_t MSG0 = vreinterpretq_u64_u8(vld1q_u8(input + 0));
39 uint64x2_t MSG1 = vreinterpretq_u64_u8(vld1q_u8(input + 16));
40 uint64x2_t MSG2 = vreinterpretq_u64_u8(vld1q_u8(input + 32));
41 uint64x2_t MSG3 = vreinterpretq_u64_u8(vld1q_u8(input + 48));
42 uint64x2_t MSG4 = vreinterpretq_u64_u8(vld1q_u8(input + 64));
43 uint64x2_t MSG5 = vreinterpretq_u64_u8(vld1q_u8(input + 80));
44 uint64x2_t MSG6 = vreinterpretq_u64_u8(vld1q_u8(input + 96));
45 uint64x2_t MSG7 = vreinterpretq_u64_u8(vld1q_u8(input + 112));
46
47 MSG0 = vreinterpretq_u64_u8(vrev64q_u8(vreinterpretq_u8_u64(MSG0)));
48 MSG1 = vreinterpretq_u64_u8(vrev64q_u8(vreinterpretq_u8_u64(MSG1)));
49 MSG2 = vreinterpretq_u64_u8(vrev64q_u8(vreinterpretq_u8_u64(MSG2)));
50 MSG3 = vreinterpretq_u64_u8(vrev64q_u8(vreinterpretq_u8_u64(MSG3)));
51 MSG4 = vreinterpretq_u64_u8(vrev64q_u8(vreinterpretq_u8_u64(MSG4)));
52 MSG5 = vreinterpretq_u64_u8(vrev64q_u8(vreinterpretq_u8_u64(MSG5)));
53 MSG6 = vreinterpretq_u64_u8(vrev64q_u8(vreinterpretq_u8_u64(MSG6)));
54 MSG7 = vreinterpretq_u64_u8(vrev64q_u8(vreinterpretq_u8_u64(MSG7)));
55
56 uint64x2_t MSG_K;
57 uint64x2_t TSTATE0;
58 uint64x2_t TSTATE1;
59
60 // Rounds 0-1
61 MSG_K = vaddq_u64(MSG0, vld1q_u64(&SHA512_K[2 * 0]));
62 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE3);
63 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE2, STATE3, 1), vextq_u64(STATE1, STATE2, 1));
64 STATE3 = vsha512h2q_u64(TSTATE1, STATE1, STATE0);
65 STATE1 = vaddq_u64(STATE1, TSTATE1);
66 MSG0 = vsha512su1q_u64(vsha512su0q_u64(MSG0, MSG1), MSG7, vextq_u64(MSG4, MSG5, 1));
67
68 // Rounds 2-3
69 MSG_K = vaddq_u64(MSG1, vld1q_u64(&SHA512_K[2 * 1]));
70 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE2);
71 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE1, STATE2, 1), vextq_u64(STATE0, STATE1, 1));
72 STATE2 = vsha512h2q_u64(TSTATE1, STATE0, STATE3);
73 STATE0 = vaddq_u64(STATE0, TSTATE1);
74 MSG1 = vsha512su1q_u64(vsha512su0q_u64(MSG1, MSG2), MSG0, vextq_u64(MSG5, MSG6, 1));
75
76 // Rounds 4-5
77 MSG_K = vaddq_u64(MSG2, vld1q_u64(&SHA512_K[2 * 2]));
78 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE1);
79 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE0, STATE1, 1), vextq_u64(STATE3, STATE0, 1));
80 STATE1 = vsha512h2q_u64(TSTATE1, STATE3, STATE2);
81 STATE3 = vaddq_u64(STATE3, TSTATE1);
82 MSG2 = vsha512su1q_u64(vsha512su0q_u64(MSG2, MSG3), MSG1, vextq_u64(MSG6, MSG7, 1));
83
84 // Rounds 6-7
85 MSG_K = vaddq_u64(MSG3, vld1q_u64(&SHA512_K[2 * 3]));
86 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE0);
87 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE3, STATE0, 1), vextq_u64(STATE2, STATE3, 1));
88 STATE0 = vsha512h2q_u64(TSTATE1, STATE2, STATE1);
89 STATE2 = vaddq_u64(STATE2, TSTATE1);
90 MSG3 = vsha512su1q_u64(vsha512su0q_u64(MSG3, MSG4), MSG2, vextq_u64(MSG7, MSG0, 1));
91
92 // Rounds 8-9
93 MSG_K = vaddq_u64(MSG4, vld1q_u64(&SHA512_K[2 * 4]));
94 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE3);
95 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE2, STATE3, 1), vextq_u64(STATE1, STATE2, 1));
96 STATE3 = vsha512h2q_u64(TSTATE1, STATE1, STATE0);
97 STATE1 = vaddq_u64(STATE1, TSTATE1);
98 MSG4 = vsha512su1q_u64(vsha512su0q_u64(MSG4, MSG5), MSG3, vextq_u64(MSG0, MSG1, 1));
99
100 // Rounds 10-11
101 MSG_K = vaddq_u64(MSG5, vld1q_u64(&SHA512_K[2 * 5]));
102 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE2);
103 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE1, STATE2, 1), vextq_u64(STATE0, STATE1, 1));
104 STATE2 = vsha512h2q_u64(TSTATE1, STATE0, STATE3);
105 STATE0 = vaddq_u64(STATE0, TSTATE1);
106 MSG5 = vsha512su1q_u64(vsha512su0q_u64(MSG5, MSG6), MSG4, vextq_u64(MSG1, MSG2, 1));
107
108 // Rounds 12-13
109 MSG_K = vaddq_u64(MSG6, vld1q_u64(&SHA512_K[2 * 6]));
110 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE1);
111 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE0, STATE1, 1), vextq_u64(STATE3, STATE0, 1));
112 STATE1 = vsha512h2q_u64(TSTATE1, STATE3, STATE2);
113 STATE3 = vaddq_u64(STATE3, TSTATE1);
114 MSG6 = vsha512su1q_u64(vsha512su0q_u64(MSG6, MSG7), MSG5, vextq_u64(MSG2, MSG3, 1));
115
116 // Rounds 14-15
117 MSG_K = vaddq_u64(MSG7, vld1q_u64(&SHA512_K[2 * 7]));
118 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE0);
119 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE3, STATE0, 1), vextq_u64(STATE2, STATE3, 1));
120 STATE0 = vsha512h2q_u64(TSTATE1, STATE2, STATE1);
121 STATE2 = vaddq_u64(STATE2, TSTATE1);
122 MSG7 = vsha512su1q_u64(vsha512su0q_u64(MSG7, MSG0), MSG6, vextq_u64(MSG3, MSG4, 1));
123
124 // Rounds 16-17
125 MSG_K = vaddq_u64(MSG0, vld1q_u64(&SHA512_K[2 * 8]));
126 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE3);
127 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE2, STATE3, 1), vextq_u64(STATE1, STATE2, 1));
128 STATE3 = vsha512h2q_u64(TSTATE1, STATE1, STATE0);
129 STATE1 = vaddq_u64(STATE1, TSTATE1);
130 MSG0 = vsha512su1q_u64(vsha512su0q_u64(MSG0, MSG1), MSG7, vextq_u64(MSG4, MSG5, 1));
131
132 // Rounds 18-19
133 MSG_K = vaddq_u64(MSG1, vld1q_u64(&SHA512_K[2 * 9]));
134 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE2);
135 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE1, STATE2, 1), vextq_u64(STATE0, STATE1, 1));
136 STATE2 = vsha512h2q_u64(TSTATE1, STATE0, STATE3);
137 STATE0 = vaddq_u64(STATE0, TSTATE1);
138 MSG1 = vsha512su1q_u64(vsha512su0q_u64(MSG1, MSG2), MSG0, vextq_u64(MSG5, MSG6, 1));
139
140 // Rounds 20-21
141 MSG_K = vaddq_u64(MSG2, vld1q_u64(&SHA512_K[2 * 10]));
142 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE1);
143 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE0, STATE1, 1), vextq_u64(STATE3, STATE0, 1));
144 STATE1 = vsha512h2q_u64(TSTATE1, STATE3, STATE2);
145 STATE3 = vaddq_u64(STATE3, TSTATE1);
146 MSG2 = vsha512su1q_u64(vsha512su0q_u64(MSG2, MSG3), MSG1, vextq_u64(MSG6, MSG7, 1));
147
148 // Rounds 22-23
149 MSG_K = vaddq_u64(MSG3, vld1q_u64(&SHA512_K[2 * 11]));
150 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE0);
151 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE3, STATE0, 1), vextq_u64(STATE2, STATE3, 1));
152 STATE0 = vsha512h2q_u64(TSTATE1, STATE2, STATE1);
153 STATE2 = vaddq_u64(STATE2, TSTATE1);
154 MSG3 = vsha512su1q_u64(vsha512su0q_u64(MSG3, MSG4), MSG2, vextq_u64(MSG7, MSG0, 1));
155
156 // Rounds 24-25
157 MSG_K = vaddq_u64(MSG4, vld1q_u64(&SHA512_K[2 * 12]));
158 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE3);
159 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE2, STATE3, 1), vextq_u64(STATE1, STATE2, 1));
160 STATE3 = vsha512h2q_u64(TSTATE1, STATE1, STATE0);
161 STATE1 = vaddq_u64(STATE1, TSTATE1);
162 MSG4 = vsha512su1q_u64(vsha512su0q_u64(MSG4, MSG5), MSG3, vextq_u64(MSG0, MSG1, 1));
163
164 // Rounds 26-27
165 MSG_K = vaddq_u64(MSG5, vld1q_u64(&SHA512_K[2 * 13]));
166 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE2);
167 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE1, STATE2, 1), vextq_u64(STATE0, STATE1, 1));
168 STATE2 = vsha512h2q_u64(TSTATE1, STATE0, STATE3);
169 STATE0 = vaddq_u64(STATE0, TSTATE1);
170 MSG5 = vsha512su1q_u64(vsha512su0q_u64(MSG5, MSG6), MSG4, vextq_u64(MSG1, MSG2, 1));
171
172 // Rounds 28-29
173 MSG_K = vaddq_u64(MSG6, vld1q_u64(&SHA512_K[2 * 14]));
174 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE1);
175 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE0, STATE1, 1), vextq_u64(STATE3, STATE0, 1));
176 STATE1 = vsha512h2q_u64(TSTATE1, STATE3, STATE2);
177 STATE3 = vaddq_u64(STATE3, TSTATE1);
178 MSG6 = vsha512su1q_u64(vsha512su0q_u64(MSG6, MSG7), MSG5, vextq_u64(MSG2, MSG3, 1));
179
180 // Rounds 30-31
181 MSG_K = vaddq_u64(MSG7, vld1q_u64(&SHA512_K[2 * 15]));
182 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE0);
183 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE3, STATE0, 1), vextq_u64(STATE2, STATE3, 1));
184 STATE0 = vsha512h2q_u64(TSTATE1, STATE2, STATE1);
185 STATE2 = vaddq_u64(STATE2, TSTATE1);
186 MSG7 = vsha512su1q_u64(vsha512su0q_u64(MSG7, MSG0), MSG6, vextq_u64(MSG3, MSG4, 1));
187
188 // Rounds 32-33
189 MSG_K = vaddq_u64(MSG0, vld1q_u64(&SHA512_K[2 * 16]));
190 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE3);
191 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE2, STATE3, 1), vextq_u64(STATE1, STATE2, 1));
192 STATE3 = vsha512h2q_u64(TSTATE1, STATE1, STATE0);
193 STATE1 = vaddq_u64(STATE1, TSTATE1);
194 MSG0 = vsha512su1q_u64(vsha512su0q_u64(MSG0, MSG1), MSG7, vextq_u64(MSG4, MSG5, 1));
195
196 // Rounds 34-35
197 MSG_K = vaddq_u64(MSG1, vld1q_u64(&SHA512_K[2 * 17]));
198 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE2);
199 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE1, STATE2, 1), vextq_u64(STATE0, STATE1, 1));
200 STATE2 = vsha512h2q_u64(TSTATE1, STATE0, STATE3);
201 STATE0 = vaddq_u64(STATE0, TSTATE1);
202 MSG1 = vsha512su1q_u64(vsha512su0q_u64(MSG1, MSG2), MSG0, vextq_u64(MSG5, MSG6, 1));
203
204 // Rounds 36-37
205 MSG_K = vaddq_u64(MSG2, vld1q_u64(&SHA512_K[2 * 18]));
206 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE1);
207 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE0, STATE1, 1), vextq_u64(STATE3, STATE0, 1));
208 STATE1 = vsha512h2q_u64(TSTATE1, STATE3, STATE2);
209 STATE3 = vaddq_u64(STATE3, TSTATE1);
210 MSG2 = vsha512su1q_u64(vsha512su0q_u64(MSG2, MSG3), MSG1, vextq_u64(MSG6, MSG7, 1));
211
212 // Rounds 38-39
213 MSG_K = vaddq_u64(MSG3, vld1q_u64(&SHA512_K[2 * 19]));
214 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE0);
215 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE3, STATE0, 1), vextq_u64(STATE2, STATE3, 1));
216 STATE0 = vsha512h2q_u64(TSTATE1, STATE2, STATE1);
217 STATE2 = vaddq_u64(STATE2, TSTATE1);
218 MSG3 = vsha512su1q_u64(vsha512su0q_u64(MSG3, MSG4), MSG2, vextq_u64(MSG7, MSG0, 1));
219
220 // Rounds 40-41
221 MSG_K = vaddq_u64(MSG4, vld1q_u64(&SHA512_K[2 * 20]));
222 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE3);
223 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE2, STATE3, 1), vextq_u64(STATE1, STATE2, 1));
224 STATE3 = vsha512h2q_u64(TSTATE1, STATE1, STATE0);
225 STATE1 = vaddq_u64(STATE1, TSTATE1);
226 MSG4 = vsha512su1q_u64(vsha512su0q_u64(MSG4, MSG5), MSG3, vextq_u64(MSG0, MSG1, 1));
227
228 // Rounds 42-43
229 MSG_K = vaddq_u64(MSG5, vld1q_u64(&SHA512_K[2 * 21]));
230 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE2);
231 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE1, STATE2, 1), vextq_u64(STATE0, STATE1, 1));
232 STATE2 = vsha512h2q_u64(TSTATE1, STATE0, STATE3);
233 STATE0 = vaddq_u64(STATE0, TSTATE1);
234 MSG5 = vsha512su1q_u64(vsha512su0q_u64(MSG5, MSG6), MSG4, vextq_u64(MSG1, MSG2, 1));
235
236 // Rounds 44-45
237 MSG_K = vaddq_u64(MSG6, vld1q_u64(&SHA512_K[2 * 22]));
238 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE1);
239 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE0, STATE1, 1), vextq_u64(STATE3, STATE0, 1));
240 STATE1 = vsha512h2q_u64(TSTATE1, STATE3, STATE2);
241 STATE3 = vaddq_u64(STATE3, TSTATE1);
242 MSG6 = vsha512su1q_u64(vsha512su0q_u64(MSG6, MSG7), MSG5, vextq_u64(MSG2, MSG3, 1));
243
244 // Rounds 46-47
245 MSG_K = vaddq_u64(MSG7, vld1q_u64(&SHA512_K[2 * 23]));
246 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE0);
247 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE3, STATE0, 1), vextq_u64(STATE2, STATE3, 1));
248 STATE0 = vsha512h2q_u64(TSTATE1, STATE2, STATE1);
249 STATE2 = vaddq_u64(STATE2, TSTATE1);
250 MSG7 = vsha512su1q_u64(vsha512su0q_u64(MSG7, MSG0), MSG6, vextq_u64(MSG3, MSG4, 1));
251
252 // Rounds 48-49
253 MSG_K = vaddq_u64(MSG0, vld1q_u64(&SHA512_K[2 * 24]));
254 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE3);
255 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE2, STATE3, 1), vextq_u64(STATE1, STATE2, 1));
256 STATE3 = vsha512h2q_u64(TSTATE1, STATE1, STATE0);
257 STATE1 = vaddq_u64(STATE1, TSTATE1);
258 MSG0 = vsha512su1q_u64(vsha512su0q_u64(MSG0, MSG1), MSG7, vextq_u64(MSG4, MSG5, 1));
259
260 // Rounds 50-51
261 MSG_K = vaddq_u64(MSG1, vld1q_u64(&SHA512_K[2 * 25]));
262 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE2);
263 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE1, STATE2, 1), vextq_u64(STATE0, STATE1, 1));
264 STATE2 = vsha512h2q_u64(TSTATE1, STATE0, STATE3);
265 STATE0 = vaddq_u64(STATE0, TSTATE1);
266 MSG1 = vsha512su1q_u64(vsha512su0q_u64(MSG1, MSG2), MSG0, vextq_u64(MSG5, MSG6, 1));
267
268 // Rounds 52-53
269 MSG_K = vaddq_u64(MSG2, vld1q_u64(&SHA512_K[2 * 26]));
270 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE1);
271 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE0, STATE1, 1), vextq_u64(STATE3, STATE0, 1));
272 STATE1 = vsha512h2q_u64(TSTATE1, STATE3, STATE2);
273 STATE3 = vaddq_u64(STATE3, TSTATE1);
274 MSG2 = vsha512su1q_u64(vsha512su0q_u64(MSG2, MSG3), MSG1, vextq_u64(MSG6, MSG7, 1));
275
276 // Rounds 54-55
277 MSG_K = vaddq_u64(MSG3, vld1q_u64(&SHA512_K[2 * 27]));
278 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE0);
279 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE3, STATE0, 1), vextq_u64(STATE2, STATE3, 1));
280 STATE0 = vsha512h2q_u64(TSTATE1, STATE2, STATE1);
281 STATE2 = vaddq_u64(STATE2, TSTATE1);
282 MSG3 = vsha512su1q_u64(vsha512su0q_u64(MSG3, MSG4), MSG2, vextq_u64(MSG7, MSG0, 1));
283
284 // Rounds 56-57
285 MSG_K = vaddq_u64(MSG4, vld1q_u64(&SHA512_K[2 * 28]));
286 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE3);
287 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE2, STATE3, 1), vextq_u64(STATE1, STATE2, 1));
288 STATE3 = vsha512h2q_u64(TSTATE1, STATE1, STATE0);
289 STATE1 = vaddq_u64(STATE1, TSTATE1);
290 MSG4 = vsha512su1q_u64(vsha512su0q_u64(MSG4, MSG5), MSG3, vextq_u64(MSG0, MSG1, 1));
291
292 // Rounds 58-59
293 MSG_K = vaddq_u64(MSG5, vld1q_u64(&SHA512_K[2 * 29]));
294 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE2);
295 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE1, STATE2, 1), vextq_u64(STATE0, STATE1, 1));
296 STATE2 = vsha512h2q_u64(TSTATE1, STATE0, STATE3);
297 STATE0 = vaddq_u64(STATE0, TSTATE1);
298 MSG5 = vsha512su1q_u64(vsha512su0q_u64(MSG5, MSG6), MSG4, vextq_u64(MSG1, MSG2, 1));
299
300 // Rounds 60-61
301 MSG_K = vaddq_u64(MSG6, vld1q_u64(&SHA512_K[2 * 30]));
302 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE1);
303 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE0, STATE1, 1), vextq_u64(STATE3, STATE0, 1));
304 STATE1 = vsha512h2q_u64(TSTATE1, STATE3, STATE2);
305 STATE3 = vaddq_u64(STATE3, TSTATE1);
306 MSG6 = vsha512su1q_u64(vsha512su0q_u64(MSG6, MSG7), MSG5, vextq_u64(MSG2, MSG3, 1));
307
308 // Rounds 62-63
309 MSG_K = vaddq_u64(MSG7, vld1q_u64(&SHA512_K[2 * 31]));
310 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE0);
311 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE3, STATE0, 1), vextq_u64(STATE2, STATE3, 1));
312 STATE0 = vsha512h2q_u64(TSTATE1, STATE2, STATE1);
313 STATE2 = vaddq_u64(STATE2, TSTATE1);
314 MSG7 = vsha512su1q_u64(vsha512su0q_u64(MSG7, MSG0), MSG6, vextq_u64(MSG3, MSG4, 1));
315
316 // Rounds 64-65
317 MSG_K = vaddq_u64(MSG0, vld1q_u64(&SHA512_K[2 * 32]));
318 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE3);
319 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE2, STATE3, 1), vextq_u64(STATE1, STATE2, 1));
320 STATE3 = vsha512h2q_u64(TSTATE1, STATE1, STATE0);
321 STATE1 = vaddq_u64(STATE1, TSTATE1);
322
323 // Rounds 66-67
324 MSG_K = vaddq_u64(MSG1, vld1q_u64(&SHA512_K[2 * 33]));
325 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE2);
326 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE1, STATE2, 1), vextq_u64(STATE0, STATE1, 1));
327 STATE2 = vsha512h2q_u64(TSTATE1, STATE0, STATE3);
328 STATE0 = vaddq_u64(STATE0, TSTATE1);
329
330 // Rounds 68-69
331 MSG_K = vaddq_u64(MSG2, vld1q_u64(&SHA512_K[2 * 34]));
332 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE1);
333 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE0, STATE1, 1), vextq_u64(STATE3, STATE0, 1));
334 STATE1 = vsha512h2q_u64(TSTATE1, STATE3, STATE2);
335 STATE3 = vaddq_u64(STATE3, TSTATE1);
336
337 // Rounds 70-71
338 MSG_K = vaddq_u64(MSG3, vld1q_u64(&SHA512_K[2 * 35]));
339 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE0);
340 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE3, STATE0, 1), vextq_u64(STATE2, STATE3, 1));
341 STATE0 = vsha512h2q_u64(TSTATE1, STATE2, STATE1);
342 STATE2 = vaddq_u64(STATE2, TSTATE1);
343
344 // Rounds 72-73
345 MSG_K = vaddq_u64(MSG4, vld1q_u64(&SHA512_K[2 * 36]));
346 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE3);
347 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE2, STATE3, 1), vextq_u64(STATE1, STATE2, 1));
348 STATE3 = vsha512h2q_u64(TSTATE1, STATE1, STATE0);
349 STATE1 = vaddq_u64(STATE1, TSTATE1);
350
351 // Rounds 74-75
352 MSG_K = vaddq_u64(MSG5, vld1q_u64(&SHA512_K[2 * 37]));
353 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE2);
354 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE1, STATE2, 1), vextq_u64(STATE0, STATE1, 1));
355 STATE2 = vsha512h2q_u64(TSTATE1, STATE0, STATE3);
356 STATE0 = vaddq_u64(STATE0, TSTATE1);
357
358 // Rounds 76-77
359 MSG_K = vaddq_u64(MSG6, vld1q_u64(&SHA512_K[2 * 38]));
360 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE1);
361 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE0, STATE1, 1), vextq_u64(STATE3, STATE0, 1));
362 STATE1 = vsha512h2q_u64(TSTATE1, STATE3, STATE2);
363 STATE3 = vaddq_u64(STATE3, TSTATE1);
364
365 // Rounds 78-79
366 MSG_K = vaddq_u64(MSG7, vld1q_u64(&SHA512_K[2 * 39]));
367 TSTATE0 = vaddq_u64(vextq_u64(MSG_K, MSG_K, 1), STATE0);
368 TSTATE1 = vsha512hq_u64(TSTATE0, vextq_u64(STATE3, STATE0, 1), vextq_u64(STATE2, STATE3, 1));
369 STATE0 = vsha512h2q_u64(TSTATE1, STATE2, STATE1);
370 STATE2 = vaddq_u64(STATE2, TSTATE1);
371
372 // Add back to state
373 STATE0 = vaddq_u64(STATE0, AB_SAVE);
374 STATE1 = vaddq_u64(STATE1, CD_SAVE);
375 STATE2 = vaddq_u64(STATE2, EF_SAVE);
376 STATE3 = vaddq_u64(STATE3, GH_SAVE);
377
378 input += 128;
379 blocks--;
380 }
381
382 // Save state
383 vst1q_u64(&digest[0], STATE0); // NOLINT(*-container-data-pointer)
384 vst1q_u64(&digest[2], STATE1);
385 vst1q_u64(&digest[4], STATE2);
386 vst1q_u64(&digest[6], STATE3);
387}
388
389} // namespace Botan
constexpr uint64_t SHA512_K[80]
Definition sha2_64_f.h:19