Botan  2.6.0
Crypto and TLS for C++11
sha2_32_x86.cpp
Go to the documentation of this file.
1 /*
2 * Support for SHA-256 x86 instrinsic
3 * Based on public domain code by Sean Gulley
4 * (https://github.com/mitls/hacl-star/tree/master/experimental/hash)
5 *
6 * Botan is released under the Simplified BSD License (see license.txt)
7 */
8 
9 #include <botan/sha2_32.h>
10 #include <immintrin.h>
11 
12 namespace Botan {
13 
14 // called from sha2_32.cpp
15 #if defined(BOTAN_HAS_SHA2_32_X86)
16 BOTAN_FUNC_ISA("sha,sse4.1,ssse3")
17 void SHA_256::compress_digest_x86(secure_vector<uint32_t>& digest, const uint8_t input[], size_t blocks)
18  {
19  __m128i STATE0, STATE1;
20  __m128i MSG, TMP, MASK;
21  __m128i TMSG0, TMSG1, TMSG2, TMSG3;
22  __m128i ABEF_SAVE, CDGH_SAVE;
23 
24  uint32_t* state = &digest[0];
25 
26  const __m128i* input_mm = reinterpret_cast<const __m128i*>(input);
27 
28  // Load initial values
29  TMP = _mm_loadu_si128(reinterpret_cast<__m128i*>(&state[0]));
30  STATE1 = _mm_loadu_si128(reinterpret_cast<__m128i*>(&state[4]));
31  MASK = _mm_set_epi64x(0x0c0d0e0f08090a0bULL, 0x0405060700010203ULL);
32 
33  TMP = _mm_shuffle_epi32(TMP, 0xB1); // CDAB
34  STATE1 = _mm_shuffle_epi32(STATE1, 0x1B); // EFGH
35  STATE0 = _mm_alignr_epi8(TMP, STATE1, 8); // ABEF
36  STATE1 = _mm_blend_epi16(STATE1, TMP, 0xF0); // CDGH
37 
38  while (blocks)
39  {
40  // Save current hash
41  ABEF_SAVE = STATE0;
42  CDGH_SAVE = STATE1;
43 
44  // Rounds 0-3
45  MSG = _mm_loadu_si128(input_mm);
46  TMSG0 = _mm_shuffle_epi8(MSG, MASK);
47  MSG = _mm_add_epi32(TMSG0, _mm_set_epi64x(0xE9B5DBA5B5C0FBCFULL, 0x71374491428A2F98ULL));
48  STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
49  MSG = _mm_shuffle_epi32(MSG, 0x0E);
50  STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
51 
52  // Rounds 4-7
53  TMSG1 = _mm_loadu_si128(input_mm + 1);
54  TMSG1 = _mm_shuffle_epi8(TMSG1, MASK);
55  MSG = _mm_add_epi32(TMSG1, _mm_set_epi64x(0xAB1C5ED5923F82A4ULL, 0x59F111F13956C25BULL));
56  STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
57  MSG = _mm_shuffle_epi32(MSG, 0x0E);
58  STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
59  TMSG0 = _mm_sha256msg1_epu32(TMSG0, TMSG1);
60 
61  // Rounds 8-11
62  TMSG2 = _mm_loadu_si128(input_mm + 2);
63  TMSG2 = _mm_shuffle_epi8(TMSG2, MASK);
64  MSG = _mm_add_epi32(TMSG2, _mm_set_epi64x(0x550C7DC3243185BEULL, 0x12835B01D807AA98ULL));
65  STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
66  MSG = _mm_shuffle_epi32(MSG, 0x0E);
67  STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
68  TMSG1 = _mm_sha256msg1_epu32(TMSG1, TMSG2);
69 
70  // Rounds 12-15
71  TMSG3 = _mm_loadu_si128(input_mm + 3);
72  TMSG3 = _mm_shuffle_epi8(TMSG3, MASK);
73  MSG = _mm_add_epi32(TMSG3, _mm_set_epi64x(0xC19BF1749BDC06A7ULL, 0x80DEB1FE72BE5D74ULL));
74  STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
75  TMP = _mm_alignr_epi8(TMSG3, TMSG2, 4);
76  TMSG0 = _mm_add_epi32(TMSG0, TMP);
77  TMSG0 = _mm_sha256msg2_epu32(TMSG0, TMSG3);
78  MSG = _mm_shuffle_epi32(MSG, 0x0E);
79  STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
80  TMSG2 = _mm_sha256msg1_epu32(TMSG2, TMSG3);
81 
82  // Rounds 16-19
83  MSG = _mm_add_epi32(TMSG0, _mm_set_epi64x(0x240CA1CC0FC19DC6ULL, 0xEFBE4786E49B69C1ULL));
84  STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
85  TMP = _mm_alignr_epi8(TMSG0, TMSG3, 4);
86  TMSG1 = _mm_add_epi32(TMSG1, TMP);
87  TMSG1 = _mm_sha256msg2_epu32(TMSG1, TMSG0);
88  MSG = _mm_shuffle_epi32(MSG, 0x0E);
89  STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
90  TMSG3 = _mm_sha256msg1_epu32(TMSG3, TMSG0);
91 
92  // Rounds 20-23
93  MSG = _mm_add_epi32(TMSG1, _mm_set_epi64x(0x76F988DA5CB0A9DCULL, 0x4A7484AA2DE92C6FULL));
94  STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
95  TMP = _mm_alignr_epi8(TMSG1, TMSG0, 4);
96  TMSG2 = _mm_add_epi32(TMSG2, TMP);
97  TMSG2 = _mm_sha256msg2_epu32(TMSG2, TMSG1);
98  MSG = _mm_shuffle_epi32(MSG, 0x0E);
99  STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
100  TMSG0 = _mm_sha256msg1_epu32(TMSG0, TMSG1);
101 
102  // Rounds 24-27
103  MSG = _mm_add_epi32(TMSG2, _mm_set_epi64x(0xBF597FC7B00327C8ULL, 0xA831C66D983E5152ULL));
104  STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
105  TMP = _mm_alignr_epi8(TMSG2, TMSG1, 4);
106  TMSG3 = _mm_add_epi32(TMSG3, TMP);
107  TMSG3 = _mm_sha256msg2_epu32(TMSG3, TMSG2);
108  MSG = _mm_shuffle_epi32(MSG, 0x0E);
109  STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
110  TMSG1 = _mm_sha256msg1_epu32(TMSG1, TMSG2);
111 
112  // Rounds 28-31
113  MSG = _mm_add_epi32(TMSG3, _mm_set_epi64x(0x1429296706CA6351ULL, 0xD5A79147C6E00BF3ULL));
114  STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
115  TMP = _mm_alignr_epi8(TMSG3, TMSG2, 4);
116  TMSG0 = _mm_add_epi32(TMSG0, TMP);
117  TMSG0 = _mm_sha256msg2_epu32(TMSG0, TMSG3);
118  MSG = _mm_shuffle_epi32(MSG, 0x0E);
119  STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
120  TMSG2 = _mm_sha256msg1_epu32(TMSG2, TMSG3);
121 
122  // Rounds 32-35
123  MSG = _mm_add_epi32(TMSG0, _mm_set_epi64x(0x53380D134D2C6DFCULL, 0x2E1B213827B70A85ULL));
124  STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
125  TMP = _mm_alignr_epi8(TMSG0, TMSG3, 4);
126  TMSG1 = _mm_add_epi32(TMSG1, TMP);
127  TMSG1 = _mm_sha256msg2_epu32(TMSG1, TMSG0);
128  MSG = _mm_shuffle_epi32(MSG, 0x0E);
129  STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
130  TMSG3 = _mm_sha256msg1_epu32(TMSG3, TMSG0);
131 
132  // Rounds 36-39
133  MSG = _mm_add_epi32(TMSG1, _mm_set_epi64x(0x92722C8581C2C92EULL, 0x766A0ABB650A7354ULL));
134  STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
135  TMP = _mm_alignr_epi8(TMSG1, TMSG0, 4);
136  TMSG2 = _mm_add_epi32(TMSG2, TMP);
137  TMSG2 = _mm_sha256msg2_epu32(TMSG2, TMSG1);
138  MSG = _mm_shuffle_epi32(MSG, 0x0E);
139  STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
140  TMSG0 = _mm_sha256msg1_epu32(TMSG0, TMSG1);
141 
142  // Rounds 40-43
143  MSG = _mm_add_epi32(TMSG2, _mm_set_epi64x(0xC76C51A3C24B8B70ULL, 0xA81A664BA2BFE8A1ULL));
144  STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
145  TMP = _mm_alignr_epi8(TMSG2, TMSG1, 4);
146  TMSG3 = _mm_add_epi32(TMSG3, TMP);
147  TMSG3 = _mm_sha256msg2_epu32(TMSG3, TMSG2);
148  MSG = _mm_shuffle_epi32(MSG, 0x0E);
149  STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
150  TMSG1 = _mm_sha256msg1_epu32(TMSG1, TMSG2);
151 
152  // Rounds 44-47
153  MSG = _mm_add_epi32(TMSG3, _mm_set_epi64x(0x106AA070F40E3585ULL, 0xD6990624D192E819ULL));
154  STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
155  TMP = _mm_alignr_epi8(TMSG3, TMSG2, 4);
156  TMSG0 = _mm_add_epi32(TMSG0, TMP);
157  TMSG0 = _mm_sha256msg2_epu32(TMSG0, TMSG3);
158  MSG = _mm_shuffle_epi32(MSG, 0x0E);
159  STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
160  TMSG2 = _mm_sha256msg1_epu32(TMSG2, TMSG3);
161 
162  // Rounds 48-51
163  MSG = _mm_add_epi32(TMSG0, _mm_set_epi64x(0x34B0BCB52748774CULL, 0x1E376C0819A4C116ULL));
164  STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
165  TMP = _mm_alignr_epi8(TMSG0, TMSG3, 4);
166  TMSG1 = _mm_add_epi32(TMSG1, TMP);
167  TMSG1 = _mm_sha256msg2_epu32(TMSG1, TMSG0);
168  MSG = _mm_shuffle_epi32(MSG, 0x0E);
169  STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
170  TMSG3 = _mm_sha256msg1_epu32(TMSG3, TMSG0);
171 
172  // Rounds 52-55
173  MSG = _mm_add_epi32(TMSG1, _mm_set_epi64x(0x682E6FF35B9CCA4FULL, 0x4ED8AA4A391C0CB3ULL));
174  STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
175  TMP = _mm_alignr_epi8(TMSG1, TMSG0, 4);
176  TMSG2 = _mm_add_epi32(TMSG2, TMP);
177  TMSG2 = _mm_sha256msg2_epu32(TMSG2, TMSG1);
178  MSG = _mm_shuffle_epi32(MSG, 0x0E);
179  STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
180 
181  // Rounds 56-59
182  MSG = _mm_add_epi32(TMSG2, _mm_set_epi64x(0x8CC7020884C87814ULL, 0x78A5636F748F82EEULL));
183  STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
184  TMP = _mm_alignr_epi8(TMSG2, TMSG1, 4);
185  TMSG3 = _mm_add_epi32(TMSG3, TMP);
186  TMSG3 = _mm_sha256msg2_epu32(TMSG3, TMSG2);
187  MSG = _mm_shuffle_epi32(MSG, 0x0E);
188  STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
189 
190  // Rounds 60-63
191  MSG = _mm_add_epi32(TMSG3, _mm_set_epi64x(0xC67178F2BEF9A3F7ULL, 0xA4506CEB90BEFFFAULL));
192  STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
193  MSG = _mm_shuffle_epi32(MSG, 0x0E);
194  STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
195 
196  // Add values back to state
197  STATE0 = _mm_add_epi32(STATE0, ABEF_SAVE);
198  STATE1 = _mm_add_epi32(STATE1, CDGH_SAVE);
199 
200  input_mm += 4;
201  blocks--;
202  }
203 
204  TMP = _mm_shuffle_epi32(STATE0, 0x1B); // FEBA
205  STATE1 = _mm_shuffle_epi32(STATE1, 0xB1); // DCHG
206  STATE0 = _mm_blend_epi16(TMP, STATE1, 0xF0); // DCBA
207  STATE1 = _mm_alignr_epi8(STATE1, TMP, 8); // ABEF
208 
209  // Save state
210  _mm_storeu_si128(reinterpret_cast<__m128i*>(&state[0]), STATE0);
211  _mm_storeu_si128(reinterpret_cast<__m128i*>(&state[4]), STATE1);
212  }
213 #endif
214 
215 }
#define BOTAN_FUNC_ISA(isa)
Definition: compiler.h:75
Definition: alg_id.cpp:13
std::vector< T, secure_allocator< T > > secure_vector
Definition: secmem.h:88