Initial commit
[hashcat.git] / amd / m09720_a3.cl
1 /**
2  * Author......: Jens Steube <jens.steube@gmail.com>
3  * License.....: MIT
4  */
5
6 #define _OLDOFFICE01_
7
8 #include "include/constants.h"
9 #include "include/kernel_vendor.h"
10
11 #ifdef  VLIW1
12 #define VECT_SIZE1
13 #endif
14
15 #ifdef  VLIW4
16 #define VECT_SIZE2
17 #endif
18
19 #ifdef  VLIW5
20 #define VECT_SIZE2
21 #endif
22
23 #define DGST_R0 0
24 #define DGST_R1 1
25 #define DGST_R2 2
26 #define DGST_R3 3
27
28 #include "include/kernel_functions.c"
29 #include "types_amd.c"
30 #include "common_amd.c"
31
32 #ifdef  VECT_SIZE1
33 #define VECT_COMPARE_S "check_single_vect1_comp4.c"
34 #define VECT_COMPARE_M "check_multi_vect1_comp4.c"
35 #endif
36
37 #ifdef  VECT_SIZE2
38 #define VECT_COMPARE_S "check_single_vect2_comp4.c"
39 #define VECT_COMPARE_M "check_multi_vect2_comp4.c"
40 #endif
41
42 #ifdef  VECT_SIZE4
43 #define VECT_COMPARE_S "check_single_vect4_comp4.c"
44 #define VECT_COMPARE_M "check_multi_vect4_comp4.c"
45 #endif
46
47 static void md5_transform (const u32x w0[4], const u32x w1[4], const u32x w2[4], const u32x w3[4], u32x digest[4])
48 {
49   u32x a = digest[0];
50   u32x b = digest[1];
51   u32x c = digest[2];
52   u32x d = digest[3];
53
54   u32x w0_t = w0[0];
55   u32x w1_t = w0[1];
56   u32x w2_t = w0[2];
57   u32x w3_t = w0[3];
58   u32x w4_t = w1[0];
59   u32x w5_t = w1[1];
60   u32x w6_t = w1[2];
61   u32x w7_t = w1[3];
62   u32x w8_t = w2[0];
63   u32x w9_t = w2[1];
64   u32x wa_t = w2[2];
65   u32x wb_t = w2[3];
66   u32x wc_t = w3[0];
67   u32x wd_t = w3[1];
68   u32x we_t = w3[2];
69   u32x wf_t = w3[3];
70
71   MD5_STEP (MD5_Fo, a, b, c, d, w0_t, MD5C00, MD5S00);
72   MD5_STEP (MD5_Fo, d, a, b, c, w1_t, MD5C01, MD5S01);
73   MD5_STEP (MD5_Fo, c, d, a, b, w2_t, MD5C02, MD5S02);
74   MD5_STEP (MD5_Fo, b, c, d, a, w3_t, MD5C03, MD5S03);
75   MD5_STEP (MD5_Fo, a, b, c, d, w4_t, MD5C04, MD5S00);
76   MD5_STEP (MD5_Fo, d, a, b, c, w5_t, MD5C05, MD5S01);
77   MD5_STEP (MD5_Fo, c, d, a, b, w6_t, MD5C06, MD5S02);
78   MD5_STEP (MD5_Fo, b, c, d, a, w7_t, MD5C07, MD5S03);
79   MD5_STEP (MD5_Fo, a, b, c, d, w8_t, MD5C08, MD5S00);
80   MD5_STEP (MD5_Fo, d, a, b, c, w9_t, MD5C09, MD5S01);
81   MD5_STEP (MD5_Fo, c, d, a, b, wa_t, MD5C0a, MD5S02);
82   MD5_STEP (MD5_Fo, b, c, d, a, wb_t, MD5C0b, MD5S03);
83   MD5_STEP (MD5_Fo, a, b, c, d, wc_t, MD5C0c, MD5S00);
84   MD5_STEP (MD5_Fo, d, a, b, c, wd_t, MD5C0d, MD5S01);
85   MD5_STEP (MD5_Fo, c, d, a, b, we_t, MD5C0e, MD5S02);
86   MD5_STEP (MD5_Fo, b, c, d, a, wf_t, MD5C0f, MD5S03);
87
88   MD5_STEP (MD5_Go, a, b, c, d, w1_t, MD5C10, MD5S10);
89   MD5_STEP (MD5_Go, d, a, b, c, w6_t, MD5C11, MD5S11);
90   MD5_STEP (MD5_Go, c, d, a, b, wb_t, MD5C12, MD5S12);
91   MD5_STEP (MD5_Go, b, c, d, a, w0_t, MD5C13, MD5S13);
92   MD5_STEP (MD5_Go, a, b, c, d, w5_t, MD5C14, MD5S10);
93   MD5_STEP (MD5_Go, d, a, b, c, wa_t, MD5C15, MD5S11);
94   MD5_STEP (MD5_Go, c, d, a, b, wf_t, MD5C16, MD5S12);
95   MD5_STEP (MD5_Go, b, c, d, a, w4_t, MD5C17, MD5S13);
96   MD5_STEP (MD5_Go, a, b, c, d, w9_t, MD5C18, MD5S10);
97   MD5_STEP (MD5_Go, d, a, b, c, we_t, MD5C19, MD5S11);
98   MD5_STEP (MD5_Go, c, d, a, b, w3_t, MD5C1a, MD5S12);
99   MD5_STEP (MD5_Go, b, c, d, a, w8_t, MD5C1b, MD5S13);
100   MD5_STEP (MD5_Go, a, b, c, d, wd_t, MD5C1c, MD5S10);
101   MD5_STEP (MD5_Go, d, a, b, c, w2_t, MD5C1d, MD5S11);
102   MD5_STEP (MD5_Go, c, d, a, b, w7_t, MD5C1e, MD5S12);
103   MD5_STEP (MD5_Go, b, c, d, a, wc_t, MD5C1f, MD5S13);
104
105   MD5_STEP (MD5_H , a, b, c, d, w5_t, MD5C20, MD5S20);
106   MD5_STEP (MD5_H , d, a, b, c, w8_t, MD5C21, MD5S21);
107   MD5_STEP (MD5_H , c, d, a, b, wb_t, MD5C22, MD5S22);
108   MD5_STEP (MD5_H , b, c, d, a, we_t, MD5C23, MD5S23);
109   MD5_STEP (MD5_H , a, b, c, d, w1_t, MD5C24, MD5S20);
110   MD5_STEP (MD5_H , d, a, b, c, w4_t, MD5C25, MD5S21);
111   MD5_STEP (MD5_H , c, d, a, b, w7_t, MD5C26, MD5S22);
112   MD5_STEP (MD5_H , b, c, d, a, wa_t, MD5C27, MD5S23);
113   MD5_STEP (MD5_H , a, b, c, d, wd_t, MD5C28, MD5S20);
114   MD5_STEP (MD5_H , d, a, b, c, w0_t, MD5C29, MD5S21);
115   MD5_STEP (MD5_H , c, d, a, b, w3_t, MD5C2a, MD5S22);
116   MD5_STEP (MD5_H , b, c, d, a, w6_t, MD5C2b, MD5S23);
117   MD5_STEP (MD5_H , a, b, c, d, w9_t, MD5C2c, MD5S20);
118   MD5_STEP (MD5_H , d, a, b, c, wc_t, MD5C2d, MD5S21);
119   MD5_STEP (MD5_H , c, d, a, b, wf_t, MD5C2e, MD5S22);
120   MD5_STEP (MD5_H , b, c, d, a, w2_t, MD5C2f, MD5S23);
121
122   MD5_STEP (MD5_I , a, b, c, d, w0_t, MD5C30, MD5S30);
123   MD5_STEP (MD5_I , d, a, b, c, w7_t, MD5C31, MD5S31);
124   MD5_STEP (MD5_I , c, d, a, b, we_t, MD5C32, MD5S32);
125   MD5_STEP (MD5_I , b, c, d, a, w5_t, MD5C33, MD5S33);
126   MD5_STEP (MD5_I , a, b, c, d, wc_t, MD5C34, MD5S30);
127   MD5_STEP (MD5_I , d, a, b, c, w3_t, MD5C35, MD5S31);
128   MD5_STEP (MD5_I , c, d, a, b, wa_t, MD5C36, MD5S32);
129   MD5_STEP (MD5_I , b, c, d, a, w1_t, MD5C37, MD5S33);
130   MD5_STEP (MD5_I , a, b, c, d, w8_t, MD5C38, MD5S30);
131   MD5_STEP (MD5_I , d, a, b, c, wf_t, MD5C39, MD5S31);
132   MD5_STEP (MD5_I , c, d, a, b, w6_t, MD5C3a, MD5S32);
133   MD5_STEP (MD5_I , b, c, d, a, wd_t, MD5C3b, MD5S33);
134   MD5_STEP (MD5_I , a, b, c, d, w4_t, MD5C3c, MD5S30);
135   MD5_STEP (MD5_I , d, a, b, c, wb_t, MD5C3d, MD5S31);
136   MD5_STEP (MD5_I , c, d, a, b, w2_t, MD5C3e, MD5S32);
137   MD5_STEP (MD5_I , b, c, d, a, w9_t, MD5C3f, MD5S33);
138
139   digest[0] += a;
140   digest[1] += b;
141   digest[2] += c;
142   digest[3] += d;
143 }
144
145 static void gen336 (u32x digest_pre[4], u32 salt_buf[4], u32x digest[4])
146 {
147   u32x digest_t0[2];
148   u32x digest_t1[2];
149   u32x digest_t2[2];
150   u32x digest_t3[2];
151
152   digest_t0[0] = digest_pre[0];
153   digest_t0[1] = digest_pre[1] & 0xff;
154
155   digest_t1[0] =                       digest_pre[0] <<  8;
156   digest_t1[1] = digest_pre[0] >> 24 | digest_pre[1] <<  8;
157
158   digest_t2[0] =                       digest_pre[0] << 16;
159   digest_t2[1] = digest_pre[0] >> 16 | digest_pre[1] << 16;
160
161   digest_t3[0] =                       digest_pre[0] << 24;
162   digest_t3[1] = digest_pre[0] >>  8 | digest_pre[1] << 24;
163
164   u32 salt_buf_t0[4];
165   u32 salt_buf_t1[5];
166   u32 salt_buf_t2[5];
167   u32 salt_buf_t3[5];
168
169   salt_buf_t0[0] = salt_buf[0];
170   salt_buf_t0[1] = salt_buf[1];
171   salt_buf_t0[2] = salt_buf[2];
172   salt_buf_t0[3] = salt_buf[3];
173
174   salt_buf_t1[0] =                     salt_buf[0] <<  8;
175   salt_buf_t1[1] = salt_buf[0] >> 24 | salt_buf[1] <<  8;
176   salt_buf_t1[2] = salt_buf[1] >> 24 | salt_buf[2] <<  8;
177   salt_buf_t1[3] = salt_buf[2] >> 24 | salt_buf[3] <<  8;
178   salt_buf_t1[4] = salt_buf[3] >> 24;
179
180   salt_buf_t2[0] =                     salt_buf[0] << 16;
181   salt_buf_t2[1] = salt_buf[0] >> 16 | salt_buf[1] << 16;
182   salt_buf_t2[2] = salt_buf[1] >> 16 | salt_buf[2] << 16;
183   salt_buf_t2[3] = salt_buf[2] >> 16 | salt_buf[3] << 16;
184   salt_buf_t2[4] = salt_buf[3] >> 16;
185
186   salt_buf_t3[0] =                     salt_buf[0] << 24;
187   salt_buf_t3[1] = salt_buf[0] >>  8 | salt_buf[1] << 24;
188   salt_buf_t3[2] = salt_buf[1] >>  8 | salt_buf[2] << 24;
189   salt_buf_t3[3] = salt_buf[2] >>  8 | salt_buf[3] << 24;
190   salt_buf_t3[4] = salt_buf[3] >>  8;
191
192   u32x w0_t[4];
193   u32x w1_t[4];
194   u32x w2_t[4];
195   u32x w3_t[4];
196
197   // generate the 16 * 21 buffer
198
199   w0_t[0] = 0;
200   w0_t[1] = 0;
201   w0_t[2] = 0;
202   w0_t[3] = 0;
203   w1_t[0] = 0;
204   w1_t[1] = 0;
205   w1_t[2] = 0;
206   w1_t[3] = 0;
207   w2_t[0] = 0;
208   w2_t[1] = 0;
209   w2_t[2] = 0;
210   w2_t[3] = 0;
211   w3_t[0] = 0;
212   w3_t[1] = 0;
213   w3_t[2] = 0;
214   w3_t[3] = 0;
215
216   // 0..5
217   w0_t[0]  = digest_t0[0];
218   w0_t[1]  = digest_t0[1];
219
220   // 5..21
221   w0_t[1] |= salt_buf_t1[0];
222   w0_t[2]  = salt_buf_t1[1];
223   w0_t[3]  = salt_buf_t1[2];
224   w1_t[0]  = salt_buf_t1[3];
225   w1_t[1]  = salt_buf_t1[4];
226
227   // 21..26
228   w1_t[1] |= digest_t1[0];
229   w1_t[2]  = digest_t1[1];
230
231   // 26..42
232   w1_t[2] |= salt_buf_t2[0];
233   w1_t[3]  = salt_buf_t2[1];
234   w2_t[0]  = salt_buf_t2[2];
235   w2_t[1]  = salt_buf_t2[3];
236   w2_t[2]  = salt_buf_t2[4];
237
238   // 42..47
239   w2_t[2] |= digest_t2[0];
240   w2_t[3]  = digest_t2[1];
241
242   // 47..63
243   w2_t[3] |= salt_buf_t3[0];
244   w3_t[0]  = salt_buf_t3[1];
245   w3_t[1]  = salt_buf_t3[2];
246   w3_t[2]  = salt_buf_t3[3];
247   w3_t[3]  = salt_buf_t3[4];
248
249   // 63..
250
251   w3_t[3] |= digest_t3[0];
252
253   md5_transform (w0_t, w1_t, w2_t, w3_t, digest);
254
255   w0_t[0] = 0;
256   w0_t[1] = 0;
257   w0_t[2] = 0;
258   w0_t[3] = 0;
259   w1_t[0] = 0;
260   w1_t[1] = 0;
261   w1_t[2] = 0;
262   w1_t[3] = 0;
263   w2_t[0] = 0;
264   w2_t[1] = 0;
265   w2_t[2] = 0;
266   w2_t[3] = 0;
267   w3_t[0] = 0;
268   w3_t[1] = 0;
269   w3_t[2] = 0;
270   w3_t[3] = 0;
271
272   // 0..4
273   w0_t[0]  = digest_t3[1];
274
275   // 4..20
276   w0_t[1]  = salt_buf_t0[0];
277   w0_t[2]  = salt_buf_t0[1];
278   w0_t[3]  = salt_buf_t0[2];
279   w1_t[0]  = salt_buf_t0[3];
280
281   // 20..25
282   w1_t[1]  = digest_t0[0];
283   w1_t[2]  = digest_t0[1];
284
285   // 25..41
286   w1_t[2] |= salt_buf_t1[0];
287   w1_t[3]  = salt_buf_t1[1];
288   w2_t[0]  = salt_buf_t1[2];
289   w2_t[1]  = salt_buf_t1[3];
290   w2_t[2]  = salt_buf_t1[4];
291
292   // 41..46
293   w2_t[2] |= digest_t1[0];
294   w2_t[3]  = digest_t1[1];
295
296   // 46..62
297   w2_t[3] |= salt_buf_t2[0];
298   w3_t[0]  = salt_buf_t2[1];
299   w3_t[1]  = salt_buf_t2[2];
300   w3_t[2]  = salt_buf_t2[3];
301   w3_t[3]  = salt_buf_t2[4];
302
303   // 62..
304   w3_t[3] |= digest_t2[0];
305
306   md5_transform (w0_t, w1_t, w2_t, w3_t, digest);
307
308   w0_t[0] = 0;
309   w0_t[1] = 0;
310   w0_t[2] = 0;
311   w0_t[3] = 0;
312   w1_t[0] = 0;
313   w1_t[1] = 0;
314   w1_t[2] = 0;
315   w1_t[3] = 0;
316   w2_t[0] = 0;
317   w2_t[1] = 0;
318   w2_t[2] = 0;
319   w2_t[3] = 0;
320   w3_t[0] = 0;
321   w3_t[1] = 0;
322   w3_t[2] = 0;
323   w3_t[3] = 0;
324
325   // 0..3
326   w0_t[0]  = digest_t2[1];
327
328   // 3..19
329   w0_t[0] |= salt_buf_t3[0];
330   w0_t[1]  = salt_buf_t3[1];
331   w0_t[2]  = salt_buf_t3[2];
332   w0_t[3]  = salt_buf_t3[3];
333   w1_t[0]  = salt_buf_t3[4];
334
335   // 19..24
336   w1_t[0] |= digest_t3[0];
337   w1_t[1]  = digest_t3[1];
338
339   // 24..40
340   w1_t[2]  = salt_buf_t0[0];
341   w1_t[3]  = salt_buf_t0[1];
342   w2_t[0]  = salt_buf_t0[2];
343   w2_t[1]  = salt_buf_t0[3];
344
345   // 40..45
346   w2_t[2]  = digest_t0[0];
347   w2_t[3]  = digest_t0[1];
348
349   // 45..61
350   w2_t[3] |= salt_buf_t1[0];
351   w3_t[0]  = salt_buf_t1[1];
352   w3_t[1]  = salt_buf_t1[2];
353   w3_t[2]  = salt_buf_t1[3];
354   w3_t[3]  = salt_buf_t1[4];
355
356   // 61..
357   w3_t[3] |= digest_t1[0];
358
359   md5_transform (w0_t, w1_t, w2_t, w3_t, digest);
360
361   w0_t[0] = 0;
362   w0_t[1] = 0;
363   w0_t[2] = 0;
364   w0_t[3] = 0;
365   w1_t[0] = 0;
366   w1_t[1] = 0;
367   w1_t[2] = 0;
368   w1_t[3] = 0;
369   w2_t[0] = 0;
370   w2_t[1] = 0;
371   w2_t[2] = 0;
372   w2_t[3] = 0;
373   w3_t[0] = 0;
374   w3_t[1] = 0;
375   w3_t[2] = 0;
376   w3_t[3] = 0;
377
378   // 0..2
379   w0_t[0]  = digest_t1[1];
380
381   // 2..18
382   w0_t[0] |= salt_buf_t2[0];
383   w0_t[1]  = salt_buf_t2[1];
384   w0_t[2]  = salt_buf_t2[2];
385   w0_t[3]  = salt_buf_t2[3];
386   w1_t[0]  = salt_buf_t2[4];
387
388   // 18..23
389   w1_t[0] |= digest_t2[0];
390   w1_t[1]  = digest_t2[1];
391
392   // 23..39
393   w1_t[1] |= salt_buf_t3[0];
394   w1_t[2]  = salt_buf_t3[1];
395   w1_t[3]  = salt_buf_t3[2];
396   w2_t[0]  = salt_buf_t3[3];
397   w2_t[1]  = salt_buf_t3[4];
398
399   // 39..44
400   w2_t[1] |= digest_t3[0];
401   w2_t[2]  = digest_t3[1];
402
403   // 44..60
404   w2_t[3]  = salt_buf_t0[0];
405   w3_t[0]  = salt_buf_t0[1];
406   w3_t[1]  = salt_buf_t0[2];
407   w3_t[2]  = salt_buf_t0[3];
408
409   // 60..
410   w3_t[3]  = digest_t0[0];
411
412   md5_transform (w0_t, w1_t, w2_t, w3_t, digest);
413
414   w0_t[0] = 0;
415   w0_t[1] = 0;
416   w0_t[2] = 0;
417   w0_t[3] = 0;
418   w1_t[0] = 0;
419   w1_t[1] = 0;
420   w1_t[2] = 0;
421   w1_t[3] = 0;
422   w2_t[0] = 0;
423   w2_t[1] = 0;
424   w2_t[2] = 0;
425   w2_t[3] = 0;
426   w3_t[0] = 0;
427   w3_t[1] = 0;
428   w3_t[2] = 0;
429   w3_t[3] = 0;
430
431   // 0..1
432   w0_t[0]  = digest_t0[1];
433
434   // 1..17
435   w0_t[0] |= salt_buf_t1[0];
436   w0_t[1]  = salt_buf_t1[1];
437   w0_t[2]  = salt_buf_t1[2];
438   w0_t[3]  = salt_buf_t1[3];
439   w1_t[0]  = salt_buf_t1[4];
440
441   // 17..22
442   w1_t[0] |= digest_t1[0];
443   w1_t[1]  = digest_t1[1];
444
445   // 22..38
446   w1_t[1] |= salt_buf_t2[0];
447   w1_t[2]  = salt_buf_t2[1];
448   w1_t[3]  = salt_buf_t2[2];
449   w2_t[0]  = salt_buf_t2[3];
450   w2_t[1]  = salt_buf_t2[4];
451
452   // 38..43
453   w2_t[1] |= digest_t2[0];
454   w2_t[2]  = digest_t2[1];
455
456   // 43..59
457   w2_t[2] |= salt_buf_t3[0];
458   w2_t[3]  = salt_buf_t3[1];
459   w3_t[0]  = salt_buf_t3[2];
460   w3_t[1]  = salt_buf_t3[3];
461   w3_t[2]  = salt_buf_t3[4];
462
463   // 59..
464   w3_t[2] |= digest_t3[0];
465   w3_t[3]  = digest_t3[1];
466
467   md5_transform (w0_t, w1_t, w2_t, w3_t, digest);
468
469   w0_t[0]  = salt_buf_t0[0];
470   w0_t[1]  = salt_buf_t0[1];
471   w0_t[2]  = salt_buf_t0[2];
472   w0_t[3]  = salt_buf_t0[3];
473   w1_t[0]  = 0x80;
474   w1_t[1]  = 0;
475   w1_t[2]  = 0;
476   w1_t[3]  = 0;
477   w2_t[0]  = 0;
478   w2_t[1]  = 0;
479   w2_t[2]  = 0;
480   w2_t[3]  = 0;
481   w3_t[0]  = 0;
482   w3_t[1]  = 0;
483   w3_t[2]  = 21 * 16 * 8;
484   w3_t[3]  = 0;
485
486   md5_transform (w0_t, w1_t, w2_t, w3_t, digest);
487 }
488
489 static void m09720m (u32x w0[4], u32x w1[4], u32x w2[4], u32x w3[4], const u32 pw_len, __global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global oldoffice01_t *oldoffice01_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset)
490 {
491   /**
492    * modifier
493    */
494
495   const u32 gid = get_global_id (0);
496   const u32 lid = get_local_id (0);
497
498   /**
499    * salt
500    */
501
502   u32 salt_buf[4];
503
504   salt_buf[0] = salt_bufs[salt_pos].salt_buf[0];
505   salt_buf[1] = salt_bufs[salt_pos].salt_buf[1];
506   salt_buf[2] = salt_bufs[salt_pos].salt_buf[2];
507   salt_buf[3] = salt_bufs[salt_pos].salt_buf[3];
508
509   /**
510    * loop
511    */
512
513   u32x w0l = w0[0];
514
515   for (u32 il_pos = 0; il_pos < bfs_cnt; il_pos++)
516   {
517     const u32 w0r = bfs_buf[il_pos].i;
518
519     w0[0] = w0l | w0r;
520
521     u32x w0_t[4];
522     u32x w1_t[4];
523     u32x w2_t[4];
524     u32x w3_t[4];
525
526     w0_t[0] = w0[0];
527     w0_t[1] = w0[1];
528     w0_t[2] = w0[2];
529     w0_t[3] = w0[3];
530     w1_t[0] = w1[0];
531     w1_t[1] = w1[1];
532     w1_t[2] = w1[2];
533     w1_t[3] = w1[3];
534     w2_t[0] = w2[0];
535     w2_t[1] = w2[1];
536     w2_t[2] = w2[2];
537     w2_t[3] = w2[3];
538     w3_t[0] = w3[0];
539     w3_t[1] = w3[1];
540     w3_t[2] = pw_len * 8;
541     w3_t[3] = 0;
542
543     u32x digest_pre[4];
544
545     digest_pre[0] = MD5M_A;
546     digest_pre[1] = MD5M_B;
547     digest_pre[2] = MD5M_C;
548     digest_pre[3] = MD5M_D;
549
550     md5_transform (w0_t, w1_t, w2_t, w3_t, digest_pre);
551
552     digest_pre[0] &= 0xffffffff;
553     digest_pre[1] &= 0x000000ff;
554     digest_pre[2] &= 0x00000000;
555     digest_pre[3] &= 0x00000000;
556
557     u32x digest[4];
558
559     digest[0] = MD5M_A;
560     digest[1] = MD5M_B;
561     digest[2] = MD5M_C;
562     digest[3] = MD5M_D;
563
564     gen336 (digest_pre, salt_buf, digest);
565
566     u32x a = digest[0];
567     u32x b = digest[1] & 0xff;
568
569     const u32x r0 = a;
570     const u32x r1 = b;
571     const u32x r2 = 0;
572     const u32x r3 = 0;
573
574     #include VECT_COMPARE_M
575   }
576 }
577
578 static void m09720s (u32x w0[4], u32x w1[4], u32x w2[4], u32x w3[4], const u32 pw_len, __global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global oldoffice01_t *oldoffice01_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset)
579 {
580   /**
581    * modifier
582    */
583
584   const u32 gid = get_global_id (0);
585   const u32 lid = get_local_id (0);
586
587   /**
588    * digest
589    */
590
591   const u32 search[4] =
592   {
593     digests_buf[digests_offset].digest_buf[DGST_R0],
594     digests_buf[digests_offset].digest_buf[DGST_R1],
595     digests_buf[digests_offset].digest_buf[DGST_R2],
596     digests_buf[digests_offset].digest_buf[DGST_R3]
597   };
598
599   /**
600    * salt
601    */
602
603   u32 salt_buf[4];
604
605   salt_buf[0] = salt_bufs[salt_pos].salt_buf[0];
606   salt_buf[1] = salt_bufs[salt_pos].salt_buf[1];
607   salt_buf[2] = salt_bufs[salt_pos].salt_buf[2];
608   salt_buf[3] = salt_bufs[salt_pos].salt_buf[3];
609
610   /**
611    * loop
612    */
613
614   u32x w0l = w0[0];
615
616   for (u32 il_pos = 0; il_pos < bfs_cnt; il_pos++)
617   {
618     const u32 w0r = bfs_buf[il_pos].i;
619
620     w0[0] = w0l | w0r;
621
622     u32x w0_t[4];
623     u32x w1_t[4];
624     u32x w2_t[4];
625     u32x w3_t[4];
626
627     w0_t[0] = w0[0];
628     w0_t[1] = w0[1];
629     w0_t[2] = w0[2];
630     w0_t[3] = w0[3];
631     w1_t[0] = w1[0];
632     w1_t[1] = w1[1];
633     w1_t[2] = w1[2];
634     w1_t[3] = w1[3];
635     w2_t[0] = w2[0];
636     w2_t[1] = w2[1];
637     w2_t[2] = w2[2];
638     w2_t[3] = w2[3];
639     w3_t[0] = w3[0];
640     w3_t[1] = w3[1];
641     w3_t[2] = pw_len * 8;
642     w3_t[3] = 0;
643
644     u32x digest_pre[4];
645
646     digest_pre[0] = MD5M_A;
647     digest_pre[1] = MD5M_B;
648     digest_pre[2] = MD5M_C;
649     digest_pre[3] = MD5M_D;
650
651     md5_transform (w0_t, w1_t, w2_t, w3_t, digest_pre);
652
653     digest_pre[0] &= 0xffffffff;
654     digest_pre[1] &= 0x000000ff;
655     digest_pre[2] &= 0x00000000;
656     digest_pre[3] &= 0x00000000;
657
658     u32x digest[4];
659
660     digest[0] = MD5M_A;
661     digest[1] = MD5M_B;
662     digest[2] = MD5M_C;
663     digest[3] = MD5M_D;
664
665     gen336 (digest_pre, salt_buf, digest);
666
667     u32x a = digest[0];
668     u32x b = digest[1] & 0xff;
669
670     const u32x r0 = a;
671     const u32x r1 = b;
672     const u32x r2 = 0;
673     const u32x r3 = 0;
674
675     #include VECT_COMPARE_S
676   }
677 }
678
679 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m09720_m04 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global oldoffice01_t *oldoffice01_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
680 {
681   /**
682    * base
683    */
684
685   const u32 gid = get_global_id (0);
686
687   if (gid >= gid_max) return;
688
689   u32x w0[4];
690
691   w0[0] = pws[gid].i[ 0];
692   w0[1] = pws[gid].i[ 1];
693   w0[2] = pws[gid].i[ 2];
694   w0[3] = pws[gid].i[ 3];
695
696   u32x w1[4];
697
698   w1[0] = 0;
699   w1[1] = 0;
700   w1[2] = 0;
701   w1[3] = 0;
702
703   u32x w2[4];
704
705   w2[0] = 0;
706   w2[1] = 0;
707   w2[2] = 0;
708   w2[3] = 0;
709
710   u32x w3[4];
711
712   w3[0] = 0;
713   w3[1] = 0;
714   w3[2] = 0;
715   w3[3] = 0;
716
717   const u32 pw_len = pws[gid].pw_len;
718
719   /**
720    * main
721    */
722
723   m09720m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, oldoffice01_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
724 }
725
726 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m09720_m08 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global oldoffice01_t *oldoffice01_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
727 {
728   /**
729    * base
730    */
731
732   const u32 gid = get_global_id (0);
733
734   if (gid >= gid_max) return;
735
736   u32x w0[4];
737
738   w0[0] = pws[gid].i[ 0];
739   w0[1] = pws[gid].i[ 1];
740   w0[2] = pws[gid].i[ 2];
741   w0[3] = pws[gid].i[ 3];
742
743   u32x w1[4];
744
745   w1[0] = pws[gid].i[ 4];
746   w1[1] = pws[gid].i[ 5];
747   w1[2] = pws[gid].i[ 6];
748   w1[3] = pws[gid].i[ 7];
749
750   u32x w2[4];
751
752   w2[0] = 0;
753   w2[1] = 0;
754   w2[2] = 0;
755   w2[3] = 0;
756
757   u32x w3[4];
758
759   w3[0] = 0;
760   w3[1] = 0;
761   w3[2] = 0;
762   w3[3] = 0;
763
764   const u32 pw_len = pws[gid].pw_len;
765
766   /**
767    * main
768    */
769
770   m09720m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, oldoffice01_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
771 }
772
773 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m09720_m16 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global oldoffice01_t *oldoffice01_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
774 {
775   /**
776    * base
777    */
778
779   const u32 gid = get_global_id (0);
780
781   if (gid >= gid_max) return;
782
783   u32x w0[4];
784
785   w0[0] = pws[gid].i[ 0];
786   w0[1] = pws[gid].i[ 1];
787   w0[2] = pws[gid].i[ 2];
788   w0[3] = pws[gid].i[ 3];
789
790   u32x w1[4];
791
792   w1[0] = pws[gid].i[ 4];
793   w1[1] = pws[gid].i[ 5];
794   w1[2] = pws[gid].i[ 6];
795   w1[3] = pws[gid].i[ 7];
796
797   u32x w2[4];
798
799   w2[0] = pws[gid].i[ 8];
800   w2[1] = pws[gid].i[ 9];
801   w2[2] = pws[gid].i[10];
802   w2[3] = pws[gid].i[11];
803
804   u32x w3[4];
805
806   w3[0] = pws[gid].i[12];
807   w3[1] = pws[gid].i[13];
808   w3[2] = 0;
809   w3[3] = 0;
810
811   const u32 pw_len = pws[gid].pw_len;
812
813   /**
814    * main
815    */
816
817   m09720m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, oldoffice01_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
818 }
819
820 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m09720_s04 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global oldoffice01_t *oldoffice01_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
821 {
822   /**
823    * base
824    */
825
826   const u32 gid = get_global_id (0);
827
828   if (gid >= gid_max) return;
829
830   u32x w0[4];
831
832   w0[0] = pws[gid].i[ 0];
833   w0[1] = pws[gid].i[ 1];
834   w0[2] = pws[gid].i[ 2];
835   w0[3] = pws[gid].i[ 3];
836
837   u32x w1[4];
838
839   w1[0] = 0;
840   w1[1] = 0;
841   w1[2] = 0;
842   w1[3] = 0;
843
844   u32x w2[4];
845
846   w2[0] = 0;
847   w2[1] = 0;
848   w2[2] = 0;
849   w2[3] = 0;
850
851   u32x w3[4];
852
853   w3[0] = 0;
854   w3[1] = 0;
855   w3[2] = 0;
856   w3[3] = 0;
857
858   const u32 pw_len = pws[gid].pw_len;
859
860   /**
861    * main
862    */
863
864   m09720s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, oldoffice01_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
865 }
866
867 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m09720_s08 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global oldoffice01_t *oldoffice01_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
868 {
869   /**
870    * base
871    */
872
873   const u32 gid = get_global_id (0);
874
875   if (gid >= gid_max) return;
876
877   u32x w0[4];
878
879   w0[0] = pws[gid].i[ 0];
880   w0[1] = pws[gid].i[ 1];
881   w0[2] = pws[gid].i[ 2];
882   w0[3] = pws[gid].i[ 3];
883
884   u32x w1[4];
885
886   w1[0] = pws[gid].i[ 4];
887   w1[1] = pws[gid].i[ 5];
888   w1[2] = pws[gid].i[ 6];
889   w1[3] = pws[gid].i[ 7];
890
891   u32x w2[4];
892
893   w2[0] = 0;
894   w2[1] = 0;
895   w2[2] = 0;
896   w2[3] = 0;
897
898   u32x w3[4];
899
900   w3[0] = 0;
901   w3[1] = 0;
902   w3[2] = 0;
903   w3[3] = 0;
904
905   const u32 pw_len = pws[gid].pw_len;
906
907   /**
908    * main
909    */
910
911   m09720s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, oldoffice01_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
912 }
913
914 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m09720_s16 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global oldoffice01_t *oldoffice01_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
915 {
916   /**
917    * base
918    */
919
920   const u32 gid = get_global_id (0);
921
922   if (gid >= gid_max) return;
923
924   u32x w0[4];
925
926   w0[0] = pws[gid].i[ 0];
927   w0[1] = pws[gid].i[ 1];
928   w0[2] = pws[gid].i[ 2];
929   w0[3] = pws[gid].i[ 3];
930
931   u32x w1[4];
932
933   w1[0] = pws[gid].i[ 4];
934   w1[1] = pws[gid].i[ 5];
935   w1[2] = pws[gid].i[ 6];
936   w1[3] = pws[gid].i[ 7];
937
938   u32x w2[4];
939
940   w2[0] = pws[gid].i[ 8];
941   w2[1] = pws[gid].i[ 9];
942   w2[2] = pws[gid].i[10];
943   w2[3] = pws[gid].i[11];
944
945   u32x w3[4];
946
947   w3[0] = pws[gid].i[12];
948   w3[1] = pws[gid].i[13];
949   w3[2] = 0;
950   w3[3] = 0;
951
952   const u32 pw_len = pws[gid].pw_len;
953
954   /**
955    * main
956    */
957
958   m09720s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, oldoffice01_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
959 }