b56c6789ab5e9c2f2bd9d58e0826ecf8222606c4
[hashcat.git] / OpenCL / m10410_a3.cl
1 /**
2  * Authors.....: Jens Steube <jens.steube@gmail.com>
3  *               Gabriele Gristina <matrix@hashcat.net>
4  *
5  * License.....: MIT
6  */
7
8 #define _MD5_
9
10 //too much register pressure
11 //#define NEW_SIMD_CODE
12
13 #include "inc_hash_constants.h"
14 #include "inc_vendor.cl"
15
16 #define DGST_R0 0
17 #define DGST_R1 1
18 #define DGST_R2 2
19 #define DGST_R3 3
20
21 #include "inc_hash_functions.cl"
22 #include "inc_types.cl"
23 #include "inc_common.cl"
24 #include "inc_simd.cl"
25
26 __constant u32 padding[8] =
27 {
28   0x5e4ebf28,
29   0x418a754e,
30   0x564e0064,
31   0x0801faff,
32   0xb6002e2e,
33   0x803e68d0,
34   0xfea90c2f,
35   0x7a695364
36 };
37
38 typedef struct
39 {
40   u8 S[256];
41
42   u32 wtf_its_faster;
43
44 } RC4_KEY;
45
46 void swap (__local RC4_KEY *rc4_key, const u8 i, const u8 j)
47 {
48   u8 tmp;
49
50   tmp           = rc4_key->S[i];
51   rc4_key->S[i] = rc4_key->S[j];
52   rc4_key->S[j] = tmp;
53 }
54
55 void rc4_init_16 (__local RC4_KEY *rc4_key, const u32 data[4])
56 {
57   u32 v = 0x03020100;
58   u32 a = 0x04040404;
59
60   __local u32 *ptr = (__local u32 *) rc4_key->S;
61
62   #ifdef _unroll
63   #pragma unroll
64   #endif
65   for (u32 i = 0; i < 64; i++)
66   {
67     ptr[i] = v; v += a;
68   }
69
70   const u32 d0 = data[0] >>  0;
71   const u32 d1 = data[0] >>  8;
72   const u32 d2 = data[0] >> 16;
73   const u32 d3 = data[0] >> 24;
74   const u32 d4 = data[1] >>  0;
75
76   u32 j = 0;
77
78   #ifdef _unroll
79   #pragma unroll
80   #endif
81   for (u32 i = 0; i < 255; i += 5)
82   {
83     j += rc4_key->S[i + 0] + d0; swap (rc4_key, i + 0, j);
84     j += rc4_key->S[i + 1] + d1; swap (rc4_key, i + 1, j);
85     j += rc4_key->S[i + 2] + d2; swap (rc4_key, i + 2, j);
86     j += rc4_key->S[i + 3] + d3; swap (rc4_key, i + 3, j);
87     j += rc4_key->S[i + 4] + d4; swap (rc4_key, i + 4, j);
88   }
89
90   j += rc4_key->S[255] + d0; swap (rc4_key, 255, j);
91 }
92
93 u8 rc4_next_16 (__local RC4_KEY *rc4_key, u8 i, u8 j, __constant u32 *in, u32 out[4])
94 {
95   #ifdef _unroll
96   #pragma unroll
97   #endif
98   for (u32 k = 0; k < 4; k++)
99   {
100     u32 xor4 = 0;
101
102     u8 idx;
103
104     i += 1;
105     j += rc4_key->S[i];
106
107     swap (rc4_key, i, j);
108
109     idx = rc4_key->S[i] + rc4_key->S[j];
110
111     xor4 |= rc4_key->S[idx] <<  0;
112
113     i += 1;
114     j += rc4_key->S[i];
115
116     swap (rc4_key, i, j);
117
118     idx = rc4_key->S[i] + rc4_key->S[j];
119
120     xor4 |= rc4_key->S[idx] <<  8;
121
122     i += 1;
123     j += rc4_key->S[i];
124
125     swap (rc4_key, i, j);
126
127     idx = rc4_key->S[i] + rc4_key->S[j];
128
129     xor4 |= rc4_key->S[idx] << 16;
130
131     i += 1;
132     j += rc4_key->S[i];
133
134     swap (rc4_key, i, j);
135
136     idx = rc4_key->S[i] + rc4_key->S[j];
137
138     xor4 |= rc4_key->S[idx] << 24;
139
140     out[k] = in[k] ^ xor4;
141   }
142
143   return j;
144 }
145
146 void m10410m (__local RC4_KEY *rc4_keys, u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], const u32 pw_len, __global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global pdf_t *pdf_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset)
147 {
148   /**
149    * modifier
150    */
151
152   const u32 gid = get_global_id (0);
153   const u32 lid = get_local_id (0);
154
155   /**
156    * shared
157    */
158
159   __local RC4_KEY *rc4_key = &rc4_keys[lid];
160
161   /**
162    * loop
163    */
164
165   u32 w0l = w0[0];
166
167   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
168   {
169     const u32 w0r = ix_create_bft (bfs_buf, il_pos);
170
171     const u32 w0lr = w0l | w0r;
172
173     w0[0] = w0lr;
174
175     /**
176      * pdf
177      */
178
179     rc4_init_16 (rc4_key, w0);
180
181     u32 out[4];
182
183     rc4_next_16 (rc4_key, 0, 0, padding, out);
184
185     COMPARE_M_SIMD (out[0], out[1], out[2], out[3]);
186   }
187 }
188
189 void m10410s (__local RC4_KEY *rc4_keys, u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], const u32 pw_len, __global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global pdf_t *pdf_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset)
190 {
191   /**
192    * modifier
193    */
194
195   const u32 gid = get_global_id (0);
196   const u32 lid = get_local_id (0);
197
198   /**
199    * shared
200    */
201
202   __local RC4_KEY *rc4_key = &rc4_keys[lid];
203
204   /**
205    * digest
206    */
207
208   const u32 search[4] =
209   {
210     digests_buf[digests_offset].digest_buf[DGST_R0],
211     digests_buf[digests_offset].digest_buf[DGST_R1],
212     digests_buf[digests_offset].digest_buf[DGST_R2],
213     digests_buf[digests_offset].digest_buf[DGST_R3]
214   };
215
216   /**
217    * loop
218    */
219
220   u32 w0l = w0[0];
221
222   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
223   {
224     const u32 w0r = ix_create_bft (bfs_buf, il_pos);
225
226     const u32 w0lr = w0l | w0r;
227
228     w0[0] = w0lr;
229
230     /**
231      * pdf
232      */
233
234     rc4_init_16 (rc4_key, w0);
235
236     u32 out[4];
237
238     rc4_next_16 (rc4_key, 0, 0, padding, out);
239
240     COMPARE_S_SIMD (out[0], out[1], out[2], out[3]);
241   }
242 }
243
244 __kernel void m10410_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global pdf_t *pdf_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
245 {
246   /**
247    * base
248    */
249
250   const u32 gid = get_global_id (0);
251
252   if (gid >= gid_max) return;
253
254   u32 w0[4];
255
256   w0[0] = pws[gid].i[ 0];
257   w0[1] = pws[gid].i[ 1];
258   w0[2] = pws[gid].i[ 2];
259   w0[3] = pws[gid].i[ 3];
260
261   u32 w1[4];
262
263   w1[0] = 0;
264   w1[1] = 0;
265   w1[2] = 0;
266   w1[3] = 0;
267
268   u32 w2[4];
269
270   w2[0] = 0;
271   w2[1] = 0;
272   w2[2] = 0;
273   w2[3] = 0;
274
275   u32 w3[4];
276
277   w3[0] = 0;
278   w3[1] = 0;
279   w3[2] = 0;
280   w3[3] = 0;
281
282   const u32 pw_len = pws[gid].pw_len;
283
284   /**
285    * main
286    */
287
288   __local RC4_KEY rc4_keys[64];
289
290   m10410m (rc4_keys, w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, pdf_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset);
291 }
292
293 __kernel void m10410_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global pdf_t *pdf_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
294 {
295   /**
296    * base
297    */
298
299   const u32 gid = get_global_id (0);
300
301   if (gid >= gid_max) return;
302
303   u32 w0[4];
304
305   w0[0] = pws[gid].i[ 0];
306   w0[1] = pws[gid].i[ 1];
307   w0[2] = pws[gid].i[ 2];
308   w0[3] = pws[gid].i[ 3];
309
310   u32 w1[4];
311
312   w1[0] = pws[gid].i[ 4];
313   w1[1] = pws[gid].i[ 5];
314   w1[2] = pws[gid].i[ 6];
315   w1[3] = pws[gid].i[ 7];
316
317   u32 w2[4];
318
319   w2[0] = 0;
320   w2[1] = 0;
321   w2[2] = 0;
322   w2[3] = 0;
323
324   u32 w3[4];
325
326   w3[0] = 0;
327   w3[1] = 0;
328   w3[2] = 0;
329   w3[3] = 0;
330
331   const u32 pw_len = pws[gid].pw_len;
332
333   /**
334    * main
335    */
336
337   __local RC4_KEY rc4_keys[64];
338
339   m10410m (rc4_keys, w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, pdf_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset);
340 }
341
342 __kernel void m10410_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global pdf_t *pdf_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
343 {
344   /**
345    * base
346    */
347
348   const u32 gid = get_global_id (0);
349
350   if (gid >= gid_max) return;
351
352   u32 w0[4];
353
354   w0[0] = pws[gid].i[ 0];
355   w0[1] = pws[gid].i[ 1];
356   w0[2] = pws[gid].i[ 2];
357   w0[3] = pws[gid].i[ 3];
358
359   u32 w1[4];
360
361   w1[0] = pws[gid].i[ 4];
362   w1[1] = pws[gid].i[ 5];
363   w1[2] = pws[gid].i[ 6];
364   w1[3] = pws[gid].i[ 7];
365
366   u32 w2[4];
367
368   w2[0] = pws[gid].i[ 8];
369   w2[1] = pws[gid].i[ 9];
370   w2[2] = pws[gid].i[10];
371   w2[3] = pws[gid].i[11];
372
373   u32 w3[4];
374
375   w3[0] = pws[gid].i[12];
376   w3[1] = pws[gid].i[13];
377   w3[2] = 0;
378   w3[3] = 0;
379
380   const u32 pw_len = pws[gid].pw_len;
381
382   /**
383    * main
384    */
385
386   __local RC4_KEY rc4_keys[64];
387
388   m10410m (rc4_keys, w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, pdf_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset);
389 }
390
391 __kernel void m10410_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global pdf_t *pdf_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
392 {
393   /**
394    * base
395    */
396
397   const u32 gid = get_global_id (0);
398
399   if (gid >= gid_max) return;
400
401   u32 w0[4];
402
403   w0[0] = pws[gid].i[ 0];
404   w0[1] = pws[gid].i[ 1];
405   w0[2] = pws[gid].i[ 2];
406   w0[3] = pws[gid].i[ 3];
407
408   u32 w1[4];
409
410   w1[0] = 0;
411   w1[1] = 0;
412   w1[2] = 0;
413   w1[3] = 0;
414
415   u32 w2[4];
416
417   w2[0] = 0;
418   w2[1] = 0;
419   w2[2] = 0;
420   w2[3] = 0;
421
422   u32 w3[4];
423
424   w3[0] = 0;
425   w3[1] = 0;
426   w3[2] = 0;
427   w3[3] = 0;
428
429   const u32 pw_len = pws[gid].pw_len;
430
431   /**
432    * main
433    */
434
435   __local RC4_KEY rc4_keys[64];
436
437   m10410s (rc4_keys, w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, pdf_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset);
438 }
439
440 __kernel void m10410_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global pdf_t *pdf_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
441 {
442   /**
443    * base
444    */
445
446   const u32 gid = get_global_id (0);
447
448   if (gid >= gid_max) return;
449
450   u32 w0[4];
451
452   w0[0] = pws[gid].i[ 0];
453   w0[1] = pws[gid].i[ 1];
454   w0[2] = pws[gid].i[ 2];
455   w0[3] = pws[gid].i[ 3];
456
457   u32 w1[4];
458
459   w1[0] = pws[gid].i[ 4];
460   w1[1] = pws[gid].i[ 5];
461   w1[2] = pws[gid].i[ 6];
462   w1[3] = pws[gid].i[ 7];
463
464   u32 w2[4];
465
466   w2[0] = 0;
467   w2[1] = 0;
468   w2[2] = 0;
469   w2[3] = 0;
470
471   u32 w3[4];
472
473   w3[0] = 0;
474   w3[1] = 0;
475   w3[2] = 0;
476   w3[3] = 0;
477
478   const u32 pw_len = pws[gid].pw_len;
479
480   /**
481    * main
482    */
483
484   __local RC4_KEY rc4_keys[64];
485
486   m10410s (rc4_keys, w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, pdf_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset);
487 }
488
489 __kernel void m10410_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global pdf_t *pdf_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
490 {
491   /**
492    * base
493    */
494
495   const u32 gid = get_global_id (0);
496
497   if (gid >= gid_max) return;
498
499   u32 w0[4];
500
501   w0[0] = pws[gid].i[ 0];
502   w0[1] = pws[gid].i[ 1];
503   w0[2] = pws[gid].i[ 2];
504   w0[3] = pws[gid].i[ 3];
505
506   u32 w1[4];
507
508   w1[0] = pws[gid].i[ 4];
509   w1[1] = pws[gid].i[ 5];
510   w1[2] = pws[gid].i[ 6];
511   w1[3] = pws[gid].i[ 7];
512
513   u32 w2[4];
514
515   w2[0] = pws[gid].i[ 8];
516   w2[1] = pws[gid].i[ 9];
517   w2[2] = pws[gid].i[10];
518   w2[3] = pws[gid].i[11];
519
520   u32 w3[4];
521
522   w3[0] = pws[gid].i[12];
523   w3[1] = pws[gid].i[13];
524   w3[2] = 0;
525   w3[3] = 0;
526
527   const u32 pw_len = pws[gid].pw_len;
528
529   /**
530    * main
531    */
532
533   __local RC4_KEY rc4_keys[64];
534
535   m10410s (rc4_keys, w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, pdf_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset);
536 }