Botan 3.6.1
Crypto and TLS for C&
sha1_x86.cpp
Go to the documentation of this file.
1/*
2* SHA-1 using Intel SHA intrinsic
3*
4* Based on public domain code by Sean Gulley
5* (https://github.com/mitls/hacl-star/tree/master/experimental/hash)
6* Adapted to Botan by Jeffrey Walton.
7*
8* Further changes
9*
10* (C) 2017 Jack Lloyd
11*
12* Botan is released under the Simplified BSD License (see license.txt)
13*/
14
15#include <botan/internal/sha1.h>
16#include <immintrin.h>
17
18namespace Botan {
19
20BOTAN_FUNC_ISA("sha,ssse3,sse4.1")
21void SHA_1::sha1_compress_x86(digest_type& digest, std::span<const uint8_t> input, size_t blocks) {
22 const __m128i MASK = _mm_set_epi64x(0x0001020304050607, 0x08090a0b0c0d0e0f);
23 const __m128i* input_mm = reinterpret_cast<const __m128i*>(input.data());
24
25 uint32_t* state = digest.data();
26
27 // Load initial values
28 __m128i ABCD = _mm_loadu_si128(reinterpret_cast<__m128i*>(state));
29 __m128i E0 = _mm_set_epi32(state[4], 0, 0, 0);
30 ABCD = _mm_shuffle_epi32(ABCD, 0x1B);
31
32 while(blocks) {
33 // Save current hash
34 const __m128i ABCD_SAVE = ABCD;
35 const __m128i E0_SAVE = E0;
36
37 __m128i MSG0, MSG1, MSG2, MSG3;
38 __m128i E1;
39
40 // Rounds 0-3
41 MSG0 = _mm_loadu_si128(input_mm + 0);
42 MSG0 = _mm_shuffle_epi8(MSG0, MASK);
43 E0 = _mm_add_epi32(E0, MSG0);
44 E1 = ABCD;
45 ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 0);
46
47 // Rounds 4-7
48 MSG1 = _mm_loadu_si128(input_mm + 1);
49 MSG1 = _mm_shuffle_epi8(MSG1, MASK);
50 E1 = _mm_sha1nexte_epu32(E1, MSG1);
51 E0 = ABCD;
52 ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 0);
53 MSG0 = _mm_sha1msg1_epu32(MSG0, MSG1);
54
55 // Rounds 8-11
56 MSG2 = _mm_loadu_si128(input_mm + 2);
57 MSG2 = _mm_shuffle_epi8(MSG2, MASK);
58 E0 = _mm_sha1nexte_epu32(E0, MSG2);
59 E1 = ABCD;
60 ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 0);
61 MSG1 = _mm_sha1msg1_epu32(MSG1, MSG2);
62 MSG0 = _mm_xor_si128(MSG0, MSG2);
63
64 // Rounds 12-15
65 MSG3 = _mm_loadu_si128(input_mm + 3);
66 MSG3 = _mm_shuffle_epi8(MSG3, MASK);
67 E1 = _mm_sha1nexte_epu32(E1, MSG3);
68 E0 = ABCD;
69 MSG0 = _mm_sha1msg2_epu32(MSG0, MSG3);
70 ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 0);
71 MSG2 = _mm_sha1msg1_epu32(MSG2, MSG3);
72 MSG1 = _mm_xor_si128(MSG1, MSG3);
73
74 // Rounds 16-19
75 E0 = _mm_sha1nexte_epu32(E0, MSG0);
76 E1 = ABCD;
77 MSG1 = _mm_sha1msg2_epu32(MSG1, MSG0);
78 ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 0);
79 MSG3 = _mm_sha1msg1_epu32(MSG3, MSG0);
80 MSG2 = _mm_xor_si128(MSG2, MSG0);
81
82 // Rounds 20-23
83 E1 = _mm_sha1nexte_epu32(E1, MSG1);
84 E0 = ABCD;
85 MSG2 = _mm_sha1msg2_epu32(MSG2, MSG1);
86 ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 1);
87 MSG0 = _mm_sha1msg1_epu32(MSG0, MSG1);
88 MSG3 = _mm_xor_si128(MSG3, MSG1);
89
90 // Rounds 24-27
91 E0 = _mm_sha1nexte_epu32(E0, MSG2);
92 E1 = ABCD;
93 MSG3 = _mm_sha1msg2_epu32(MSG3, MSG2);
94 ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 1);
95 MSG1 = _mm_sha1msg1_epu32(MSG1, MSG2);
96 MSG0 = _mm_xor_si128(MSG0, MSG2);
97
98 // Rounds 28-31
99 E1 = _mm_sha1nexte_epu32(E1, MSG3);
100 E0 = ABCD;
101 MSG0 = _mm_sha1msg2_epu32(MSG0, MSG3);
102 ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 1);
103 MSG2 = _mm_sha1msg1_epu32(MSG2, MSG3);
104 MSG1 = _mm_xor_si128(MSG1, MSG3);
105
106 // Rounds 32-35
107 E0 = _mm_sha1nexte_epu32(E0, MSG0);
108 E1 = ABCD;
109 MSG1 = _mm_sha1msg2_epu32(MSG1, MSG0);
110 ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 1);
111 MSG3 = _mm_sha1msg1_epu32(MSG3, MSG0);
112 MSG2 = _mm_xor_si128(MSG2, MSG0);
113
114 // Rounds 36-39
115 E1 = _mm_sha1nexte_epu32(E1, MSG1);
116 E0 = ABCD;
117 MSG2 = _mm_sha1msg2_epu32(MSG2, MSG1);
118 ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 1);
119 MSG0 = _mm_sha1msg1_epu32(MSG0, MSG1);
120 MSG3 = _mm_xor_si128(MSG3, MSG1);
121
122 // Rounds 40-43
123 E0 = _mm_sha1nexte_epu32(E0, MSG2);
124 E1 = ABCD;
125 MSG3 = _mm_sha1msg2_epu32(MSG3, MSG2);
126 ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 2);
127 MSG1 = _mm_sha1msg1_epu32(MSG1, MSG2);
128 MSG0 = _mm_xor_si128(MSG0, MSG2);
129
130 // Rounds 44-47
131 E1 = _mm_sha1nexte_epu32(E1, MSG3);
132 E0 = ABCD;
133 MSG0 = _mm_sha1msg2_epu32(MSG0, MSG3);
134 ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 2);
135 MSG2 = _mm_sha1msg1_epu32(MSG2, MSG3);
136 MSG1 = _mm_xor_si128(MSG1, MSG3);
137
138 // Rounds 48-51
139 E0 = _mm_sha1nexte_epu32(E0, MSG0);
140 E1 = ABCD;
141 MSG1 = _mm_sha1msg2_epu32(MSG1, MSG0);
142 ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 2);
143 MSG3 = _mm_sha1msg1_epu32(MSG3, MSG0);
144 MSG2 = _mm_xor_si128(MSG2, MSG0);
145
146 // Rounds 52-55
147 E1 = _mm_sha1nexte_epu32(E1, MSG1);
148 E0 = ABCD;
149 MSG2 = _mm_sha1msg2_epu32(MSG2, MSG1);
150 ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 2);
151 MSG0 = _mm_sha1msg1_epu32(MSG0, MSG1);
152 MSG3 = _mm_xor_si128(MSG3, MSG1);
153
154 // Rounds 56-59
155 E0 = _mm_sha1nexte_epu32(E0, MSG2);
156 E1 = ABCD;
157 MSG3 = _mm_sha1msg2_epu32(MSG3, MSG2);
158 ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 2);
159 MSG1 = _mm_sha1msg1_epu32(MSG1, MSG2);
160 MSG0 = _mm_xor_si128(MSG0, MSG2);
161
162 // Rounds 60-63
163 E1 = _mm_sha1nexte_epu32(E1, MSG3);
164 E0 = ABCD;
165 MSG0 = _mm_sha1msg2_epu32(MSG0, MSG3);
166 ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 3);
167 MSG2 = _mm_sha1msg1_epu32(MSG2, MSG3);
168 MSG1 = _mm_xor_si128(MSG1, MSG3);
169
170 // Rounds 64-67
171 E0 = _mm_sha1nexte_epu32(E0, MSG0);
172 E1 = ABCD;
173 MSG1 = _mm_sha1msg2_epu32(MSG1, MSG0);
174 ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 3);
175 MSG3 = _mm_sha1msg1_epu32(MSG3, MSG0);
176 MSG2 = _mm_xor_si128(MSG2, MSG0);
177
178 // Rounds 68-71
179 E1 = _mm_sha1nexte_epu32(E1, MSG1);
180 E0 = ABCD;
181 MSG2 = _mm_sha1msg2_epu32(MSG2, MSG1);
182 ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 3);
183 MSG3 = _mm_xor_si128(MSG3, MSG1);
184
185 // Rounds 72-75
186 E0 = _mm_sha1nexte_epu32(E0, MSG2);
187 E1 = ABCD;
188 MSG3 = _mm_sha1msg2_epu32(MSG3, MSG2);
189 ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 3);
190
191 // Rounds 76-79
192 E1 = _mm_sha1nexte_epu32(E1, MSG3);
193 E0 = ABCD;
194 ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 3);
195
196 // Add values back to state
197 E0 = _mm_sha1nexte_epu32(E0, E0_SAVE);
198 ABCD = _mm_add_epi32(ABCD, ABCD_SAVE);
199
200 input_mm += 4;
201 blocks--;
202 }
203
204 // Save state
205 ABCD = _mm_shuffle_epi32(ABCD, 0x1B);
206 _mm_storeu_si128(reinterpret_cast<__m128i*>(state), ABCD);
207 state[4] = _mm_extract_epi32(E0, 3);
208}
209
210} // namespace Botan
Botan::SHA_1
Definition sha1.h:18
Botan::SHA_1::digest_type
secure_vector< uint32_t > digest_type
Definition sha1.h:20
BOTAN_FUNC_ISA
#define BOTAN_FUNC_ISA(isa)
Definition compiler.h:92
Generated by doxygen 1.12.0