Merge pull request #190 from gm4tr1x/fixLoopsAccelV3
[hashcat.git] / OpenCL / m00000_a0.cl
1 /**
2  * Author......: Jens Steube <jens.steube@gmail.com>
3  * License.....: MIT
4  */
5
6 #define _MD5_
7
8 #define NEW_SIMD_CODE
9
10 #include "include/constants.h"
11 #include "include/kernel_vendor.h"
12
13 #define DGST_R0 0
14 #define DGST_R1 3
15 #define DGST_R2 2
16 #define DGST_R3 1
17
18 #include "include/kernel_functions.c"
19 #include "OpenCL/types_ocl.c"
20 #include "OpenCL/common.c"
21 #include "include/rp_kernel.h"
22 #include "OpenCL/rp.c"
23 #include "OpenCL/simd.c"
24
25 __kernel void m00000_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
26 {
27   /**
28    * modifier
29    */
30
31   const u32 lid = get_local_id (0);
32
33   /**
34    * base
35    */
36
37   const u32 gid = get_global_id (0);
38
39   if (gid >= gid_max) return;
40
41   u32 pw_buf0[4];
42
43   pw_buf0[0] = pws[gid].i[ 0];
44   pw_buf0[1] = pws[gid].i[ 1];
45   pw_buf0[2] = pws[gid].i[ 2];
46   pw_buf0[3] = pws[gid].i[ 3];
47
48   u32 pw_buf1[4];
49
50   pw_buf1[0] = pws[gid].i[ 4];
51   pw_buf1[1] = pws[gid].i[ 5];
52   pw_buf1[2] = pws[gid].i[ 6];
53   pw_buf1[3] = pws[gid].i[ 7];
54
55   const u32 pw_len = pws[gid].pw_len;
56
57   /**
58    * loop
59    */
60
61   for (u32 il_pos = 0; il_pos < rules_cnt; il_pos += VECT_SIZE)
62   {
63     u32x w0[4] = { 0 };
64     u32x w1[4] = { 0 };
65     u32x w2[4] = { 0 };
66     u32x w3[4] = { 0 };
67
68     const u32 out_len = apply_rules_vect (pw_buf0, pw_buf1, pw_len, rules_buf, il_pos, w0, w1);
69
70     append_0x80_2x4 (w0, w1, out_len);
71
72     w3[2] = out_len * 8;
73
74     u32x a = MD5M_A;
75     u32x b = MD5M_B;
76     u32x c = MD5M_C;
77     u32x d = MD5M_D;
78
79     MD5_STEP (MD5_Fo, a, b, c, d, w0[0], MD5C00, MD5S00);
80     MD5_STEP (MD5_Fo, d, a, b, c, w0[1], MD5C01, MD5S01);
81     MD5_STEP (MD5_Fo, c, d, a, b, w0[2], MD5C02, MD5S02);
82     MD5_STEP (MD5_Fo, b, c, d, a, w0[3], MD5C03, MD5S03);
83     MD5_STEP (MD5_Fo, a, b, c, d, w1[0], MD5C04, MD5S00);
84     MD5_STEP (MD5_Fo, d, a, b, c, w1[1], MD5C05, MD5S01);
85     MD5_STEP (MD5_Fo, c, d, a, b, w1[2], MD5C06, MD5S02);
86     MD5_STEP (MD5_Fo, b, c, d, a, w1[3], MD5C07, MD5S03);
87     MD5_STEP (MD5_Fo, a, b, c, d, w2[0], MD5C08, MD5S00);
88     MD5_STEP (MD5_Fo, d, a, b, c, w2[1], MD5C09, MD5S01);
89     MD5_STEP (MD5_Fo, c, d, a, b, w2[2], MD5C0a, MD5S02);
90     MD5_STEP (MD5_Fo, b, c, d, a, w2[3], MD5C0b, MD5S03);
91     MD5_STEP (MD5_Fo, a, b, c, d, w3[0], MD5C0c, MD5S00);
92     MD5_STEP (MD5_Fo, d, a, b, c, w3[1], MD5C0d, MD5S01);
93     MD5_STEP (MD5_Fo, c, d, a, b, w3[2], MD5C0e, MD5S02);
94     MD5_STEP (MD5_Fo, b, c, d, a, w3[3], MD5C0f, MD5S03);
95
96     MD5_STEP (MD5_Go, a, b, c, d, w0[1], MD5C10, MD5S10);
97     MD5_STEP (MD5_Go, d, a, b, c, w1[2], MD5C11, MD5S11);
98     MD5_STEP (MD5_Go, c, d, a, b, w2[3], MD5C12, MD5S12);
99     MD5_STEP (MD5_Go, b, c, d, a, w0[0], MD5C13, MD5S13);
100     MD5_STEP (MD5_Go, a, b, c, d, w1[1], MD5C14, MD5S10);
101     MD5_STEP (MD5_Go, d, a, b, c, w2[2], MD5C15, MD5S11);
102     MD5_STEP (MD5_Go, c, d, a, b, w3[3], MD5C16, MD5S12);
103     MD5_STEP (MD5_Go, b, c, d, a, w1[0], MD5C17, MD5S13);
104     MD5_STEP (MD5_Go, a, b, c, d, w2[1], MD5C18, MD5S10);
105     MD5_STEP (MD5_Go, d, a, b, c, w3[2], MD5C19, MD5S11);
106     MD5_STEP (MD5_Go, c, d, a, b, w0[3], MD5C1a, MD5S12);
107     MD5_STEP (MD5_Go, b, c, d, a, w2[0], MD5C1b, MD5S13);
108     MD5_STEP (MD5_Go, a, b, c, d, w3[1], MD5C1c, MD5S10);
109     MD5_STEP (MD5_Go, d, a, b, c, w0[2], MD5C1d, MD5S11);
110     MD5_STEP (MD5_Go, c, d, a, b, w1[3], MD5C1e, MD5S12);
111     MD5_STEP (MD5_Go, b, c, d, a, w3[0], MD5C1f, MD5S13);
112
113     MD5_STEP (MD5_H , a, b, c, d, w1[1], MD5C20, MD5S20);
114     MD5_STEP (MD5_H , d, a, b, c, w2[0], MD5C21, MD5S21);
115     MD5_STEP (MD5_H , c, d, a, b, w2[3], MD5C22, MD5S22);
116     MD5_STEP (MD5_H , b, c, d, a, w3[2], MD5C23, MD5S23);
117     MD5_STEP (MD5_H , a, b, c, d, w0[1], MD5C24, MD5S20);
118     MD5_STEP (MD5_H , d, a, b, c, w1[0], MD5C25, MD5S21);
119     MD5_STEP (MD5_H , c, d, a, b, w1[3], MD5C26, MD5S22);
120     MD5_STEP (MD5_H , b, c, d, a, w2[2], MD5C27, MD5S23);
121     MD5_STEP (MD5_H , a, b, c, d, w3[1], MD5C28, MD5S20);
122     MD5_STEP (MD5_H , d, a, b, c, w0[0], MD5C29, MD5S21);
123     MD5_STEP (MD5_H , c, d, a, b, w0[3], MD5C2a, MD5S22);
124     MD5_STEP (MD5_H , b, c, d, a, w1[2], MD5C2b, MD5S23);
125     MD5_STEP (MD5_H , a, b, c, d, w2[1], MD5C2c, MD5S20);
126     MD5_STEP (MD5_H , d, a, b, c, w3[0], MD5C2d, MD5S21);
127     MD5_STEP (MD5_H , c, d, a, b, w3[3], MD5C2e, MD5S22);
128     MD5_STEP (MD5_H , b, c, d, a, w0[2], MD5C2f, MD5S23);
129
130     MD5_STEP (MD5_I , a, b, c, d, w0[0], MD5C30, MD5S30);
131     MD5_STEP (MD5_I , d, a, b, c, w1[3], MD5C31, MD5S31);
132     MD5_STEP (MD5_I , c, d, a, b, w3[2], MD5C32, MD5S32);
133     MD5_STEP (MD5_I , b, c, d, a, w1[1], MD5C33, MD5S33);
134     MD5_STEP (MD5_I , a, b, c, d, w3[0], MD5C34, MD5S30);
135     MD5_STEP (MD5_I , d, a, b, c, w0[3], MD5C35, MD5S31);
136     MD5_STEP (MD5_I , c, d, a, b, w2[2], MD5C36, MD5S32);
137     MD5_STEP (MD5_I , b, c, d, a, w0[1], MD5C37, MD5S33);
138     MD5_STEP (MD5_I , a, b, c, d, w2[0], MD5C38, MD5S30);
139     MD5_STEP (MD5_I , d, a, b, c, w3[3], MD5C39, MD5S31);
140     MD5_STEP (MD5_I , c, d, a, b, w1[2], MD5C3a, MD5S32);
141     MD5_STEP (MD5_I , b, c, d, a, w3[1], MD5C3b, MD5S33);
142     MD5_STEP (MD5_I , a, b, c, d, w1[0], MD5C3c, MD5S30);
143     MD5_STEP (MD5_I , d, a, b, c, w2[3], MD5C3d, MD5S31);
144     MD5_STEP (MD5_I , c, d, a, b, w0[2], MD5C3e, MD5S32);
145     MD5_STEP (MD5_I , b, c, d, a, w2[1], MD5C3f, MD5S33);
146
147     COMPARE_M_SIMD (a, d, c, b);
148   }
149 }
150
151 __kernel void m00000_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
152 {
153 }
154
155 __kernel void m00000_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
156 {
157 }
158
159 __kernel void m00000_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
160 {
161   /**
162    * modifier
163    */
164
165   const u32 lid = get_local_id (0);
166
167   /**
168    * base
169    */
170
171   const u32 gid = get_global_id (0);
172
173   if (gid >= gid_max) return;
174
175   u32 pw_buf0[4];
176
177   pw_buf0[0] = pws[gid].i[ 0];
178   pw_buf0[1] = pws[gid].i[ 1];
179   pw_buf0[2] = pws[gid].i[ 2];
180   pw_buf0[3] = pws[gid].i[ 3];
181
182   u32 pw_buf1[4];
183
184   pw_buf1[0] = pws[gid].i[ 4];
185   pw_buf1[1] = pws[gid].i[ 5];
186   pw_buf1[2] = pws[gid].i[ 6];
187   pw_buf1[3] = pws[gid].i[ 7];
188
189   const u32 pw_len = pws[gid].pw_len;
190
191   /**
192    * digest
193    */
194
195   const u32 search[4] =
196   {
197     digests_buf[digests_offset].digest_buf[DGST_R0],
198     digests_buf[digests_offset].digest_buf[DGST_R1],
199     digests_buf[digests_offset].digest_buf[DGST_R2],
200     digests_buf[digests_offset].digest_buf[DGST_R3]
201   };
202
203   /**
204    * loop
205    */
206
207   for (u32 il_pos = 0; il_pos < rules_cnt; il_pos += VECT_SIZE)
208   {
209     u32x w0[4] = { 0 };
210     u32x w1[4] = { 0 };
211     u32x w2[4] = { 0 };
212     u32x w3[4] = { 0 };
213
214     const u32 out_len = apply_rules_vect (pw_buf0, pw_buf1, pw_len, rules_buf, il_pos, w0, w1);
215
216     append_0x80_2x4 (w0, w1, out_len);
217
218     w3[2] = out_len * 8;
219
220     u32x a = MD5M_A;
221     u32x b = MD5M_B;
222     u32x c = MD5M_C;
223     u32x d = MD5M_D;
224
225     MD5_STEP (MD5_Fo, a, b, c, d, w0[0], MD5C00, MD5S00);
226     MD5_STEP (MD5_Fo, d, a, b, c, w0[1], MD5C01, MD5S01);
227     MD5_STEP (MD5_Fo, c, d, a, b, w0[2], MD5C02, MD5S02);
228     MD5_STEP (MD5_Fo, b, c, d, a, w0[3], MD5C03, MD5S03);
229     MD5_STEP (MD5_Fo, a, b, c, d, w1[0], MD5C04, MD5S00);
230     MD5_STEP (MD5_Fo, d, a, b, c, w1[1], MD5C05, MD5S01);
231     MD5_STEP (MD5_Fo, c, d, a, b, w1[2], MD5C06, MD5S02);
232     MD5_STEP (MD5_Fo, b, c, d, a, w1[3], MD5C07, MD5S03);
233     MD5_STEP (MD5_Fo, a, b, c, d, w2[0], MD5C08, MD5S00);
234     MD5_STEP (MD5_Fo, d, a, b, c, w2[1], MD5C09, MD5S01);
235     MD5_STEP (MD5_Fo, c, d, a, b, w2[2], MD5C0a, MD5S02);
236     MD5_STEP (MD5_Fo, b, c, d, a, w2[3], MD5C0b, MD5S03);
237     MD5_STEP (MD5_Fo, a, b, c, d, w3[0], MD5C0c, MD5S00);
238     MD5_STEP (MD5_Fo, d, a, b, c, w3[1], MD5C0d, MD5S01);
239     MD5_STEP (MD5_Fo, c, d, a, b, w3[2], MD5C0e, MD5S02);
240     MD5_STEP (MD5_Fo, b, c, d, a, w3[3], MD5C0f, MD5S03);
241
242     MD5_STEP (MD5_Go, a, b, c, d, w0[1], MD5C10, MD5S10);
243     MD5_STEP (MD5_Go, d, a, b, c, w1[2], MD5C11, MD5S11);
244     MD5_STEP (MD5_Go, c, d, a, b, w2[3], MD5C12, MD5S12);
245     MD5_STEP (MD5_Go, b, c, d, a, w0[0], MD5C13, MD5S13);
246     MD5_STEP (MD5_Go, a, b, c, d, w1[1], MD5C14, MD5S10);
247     MD5_STEP (MD5_Go, d, a, b, c, w2[2], MD5C15, MD5S11);
248     MD5_STEP (MD5_Go, c, d, a, b, w3[3], MD5C16, MD5S12);
249     MD5_STEP (MD5_Go, b, c, d, a, w1[0], MD5C17, MD5S13);
250     MD5_STEP (MD5_Go, a, b, c, d, w2[1], MD5C18, MD5S10);
251     MD5_STEP (MD5_Go, d, a, b, c, w3[2], MD5C19, MD5S11);
252     MD5_STEP (MD5_Go, c, d, a, b, w0[3], MD5C1a, MD5S12);
253     MD5_STEP (MD5_Go, b, c, d, a, w2[0], MD5C1b, MD5S13);
254     MD5_STEP (MD5_Go, a, b, c, d, w3[1], MD5C1c, MD5S10);
255     MD5_STEP (MD5_Go, d, a, b, c, w0[2], MD5C1d, MD5S11);
256     MD5_STEP (MD5_Go, c, d, a, b, w1[3], MD5C1e, MD5S12);
257     MD5_STEP (MD5_Go, b, c, d, a, w3[0], MD5C1f, MD5S13);
258
259     MD5_STEP (MD5_H , a, b, c, d, w1[1], MD5C20, MD5S20);
260     MD5_STEP (MD5_H , d, a, b, c, w2[0], MD5C21, MD5S21);
261     MD5_STEP (MD5_H , c, d, a, b, w2[3], MD5C22, MD5S22);
262     MD5_STEP (MD5_H , b, c, d, a, w3[2], MD5C23, MD5S23);
263     MD5_STEP (MD5_H , a, b, c, d, w0[1], MD5C24, MD5S20);
264     MD5_STEP (MD5_H , d, a, b, c, w1[0], MD5C25, MD5S21);
265     MD5_STEP (MD5_H , c, d, a, b, w1[3], MD5C26, MD5S22);
266     MD5_STEP (MD5_H , b, c, d, a, w2[2], MD5C27, MD5S23);
267     MD5_STEP (MD5_H , a, b, c, d, w3[1], MD5C28, MD5S20);
268     MD5_STEP (MD5_H , d, a, b, c, w0[0], MD5C29, MD5S21);
269     MD5_STEP (MD5_H , c, d, a, b, w0[3], MD5C2a, MD5S22);
270     MD5_STEP (MD5_H , b, c, d, a, w1[2], MD5C2b, MD5S23);
271     MD5_STEP (MD5_H , a, b, c, d, w2[1], MD5C2c, MD5S20);
272     MD5_STEP (MD5_H , d, a, b, c, w3[0], MD5C2d, MD5S21);
273     MD5_STEP (MD5_H , c, d, a, b, w3[3], MD5C2e, MD5S22);
274     MD5_STEP (MD5_H , b, c, d, a, w0[2], MD5C2f, MD5S23);
275
276     MD5_STEP (MD5_I , a, b, c, d, w0[0], MD5C30, MD5S30);
277     MD5_STEP (MD5_I , d, a, b, c, w1[3], MD5C31, MD5S31);
278     MD5_STEP (MD5_I , c, d, a, b, w3[2], MD5C32, MD5S32);
279     MD5_STEP (MD5_I , b, c, d, a, w1[1], MD5C33, MD5S33);
280     MD5_STEP (MD5_I , a, b, c, d, w3[0], MD5C34, MD5S30);
281     MD5_STEP (MD5_I , d, a, b, c, w0[3], MD5C35, MD5S31);
282     MD5_STEP (MD5_I , c, d, a, b, w2[2], MD5C36, MD5S32);
283     MD5_STEP (MD5_I , b, c, d, a, w0[1], MD5C37, MD5S33);
284     MD5_STEP (MD5_I , a, b, c, d, w2[0], MD5C38, MD5S30);
285     MD5_STEP (MD5_I , d, a, b, c, w3[3], MD5C39, MD5S31);
286     MD5_STEP (MD5_I , c, d, a, b, w1[2], MD5C3a, MD5S32);
287     MD5_STEP (MD5_I , b, c, d, a, w3[1], MD5C3b, MD5S33);
288     MD5_STEP (MD5_I , a, b, c, d, w1[0], MD5C3c, MD5S30);
289
290     if (MATCHES_NONE_VS (a, search[0])) continue;
291
292     MD5_STEP (MD5_I , d, a, b, c, w2[3], MD5C3d, MD5S31);
293     MD5_STEP (MD5_I , c, d, a, b, w0[2], MD5C3e, MD5S32);
294     MD5_STEP (MD5_I , b, c, d, a, w2[1], MD5C3f, MD5S33);
295
296     COMPARE_S_SIMD (a, d, c, b);
297   }
298 }
299
300 __kernel void m00000_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
301 {
302 }
303
304 __kernel void m00000_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
305 {
306 }