OpenCL/m05000_a3.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _KECCAK_
   7
   8 #define NEW_SIMD_CODE
   9
  10 #include "include/constants.h"
  11 #include "include/kernel_vendor.h"
  12
  13 #define DGST_R0 2
  14 #define DGST_R1 3
  15 #define DGST_R2 4
  16 #define DGST_R3 5
  17
  18 #include "include/kernel_functions.c"
  19 #include "OpenCL/types_ocl.c"
  20 #include "OpenCL/common.c"
  21 #include "OpenCL/simd.c"
  22
  23 __constant u64 keccakf_rndc[24] =
  24 {
  25   0x0000000000000001, 0x0000000000008082, 0x800000000000808a,
  26   0x8000000080008000, 0x000000000000808b, 0x0000000080000001,
  27   0x8000000080008081, 0x8000000000008009, 0x000000000000008a,
  28   0x0000000000000088, 0x0000000080008009, 0x000000008000000a,
  29   0x000000008000808b, 0x800000000000008b, 0x8000000000008089,
  30   0x8000000000008003, 0x8000000000008002, 0x8000000000000080,
  31   0x000000000000800a, 0x800000008000000a, 0x8000000080008081,
  32   0x8000000000008080, 0x0000000080000001, 0x8000000080008008
  33 };
  34
  35 #ifndef KECCAK_ROUNDS
  36 #define KECCAK_ROUNDS 24
  37 #endif
  38
  39 #define Theta1(s) (st[0 + s] ^ st[5 + s] ^ st[10 + s] ^ st[15 + s] ^ st[20 + s])
  40
  41 #define Theta2(s)               \
  42 {                               \
  43   st[ 0 + s] ^= t;              \
  44   st[ 5 + s] ^= t;              \
  45   st[10 + s] ^= t;              \
  46   st[15 + s] ^= t;              \
  47   st[20 + s] ^= t;              \
  48 }
  49
  50 #define Rho_Pi(s)               \
  51 {                               \
  52   u32 j = keccakf_piln[s];      \
  53   u32 k = keccakf_rotc[s];      \
  54   bc0 = st[j];                  \
  55   st[j] = rotl64 (t, k);        \
  56   t = bc0;                      \
  57 }
  58
  59 #define Chi(s)                  \
  60 {                               \
  61   bc0 = st[0 + s];              \
  62   bc1 = st[1 + s];              \
  63   bc2 = st[2 + s];              \
  64   bc3 = st[3 + s];              \
  65   bc4 = st[4 + s];              \
  66   st[0 + s] ^= ~bc1 & bc2;      \
  67   st[1 + s] ^= ~bc2 & bc3;      \
  68   st[2 + s] ^= ~bc3 & bc4;      \
  69   st[3 + s] ^= ~bc4 & bc0;      \
  70   st[4 + s] ^= ~bc0 & bc1;      \
  71 }
  72
  73 static void m05000m (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], const u32 pw_len, __global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset)
  74 {
  75   /**
  76    * modifier
  77    */
  78
  79   const u32 gid = get_global_id (0);
  80   const u32 lid = get_local_id (0);
  81
  82   /**
  83    * const
  84    */
  85
  86   const u32 keccakf_rotc[24] =
  87   {
  88      1,  3,  6, 10, 15, 21, 28, 36, 45, 55,  2, 14,
  89     27, 41, 56,  8, 25, 43, 62, 18, 39, 61, 20, 44
  90   };
  91
  92   const u32 keccakf_piln[24] =
  93   {
  94     10,  7, 11, 17, 18,  3,  5, 16,  8, 21, 24,  4,
  95     15, 23, 19, 13, 12,  2, 20, 14, 22,  9,  6,  1
  96   };
  97
  98   /**
  99    * 0x80 keccak, very special
 100    */
 101
 102   const u32 mdlen = salt_bufs[salt_pos].keccak_mdlen;
 103
 104   const u32 rsiz = 200 - (2 * mdlen);
 105
 106   const u32 add80w = (rsiz - 1) / 8;
 107
 108   /**
 109    * loop
 110    */
 111
 112   u32 w0l = w0[0];
 113
 114   for (u32 il_pos = 0; il_pos < bfs_cnt; il_pos += VECT_SIZE)
 115   {
 116     const u32x w0r = w0r_create_bft (bfs_buf, il_pos);
 117
 118     const u32x w0lr = w0l | w0r;
 119
 120     u64x st[25];
 121
 122     st[ 0] = hl32_to_64 (w0[1], w0lr);
 123     st[ 1] = hl32_to_64 (w0[3], w0[2]);
 124     st[ 2] = hl32_to_64 (w1[1], w1[0]);
 125     st[ 3] = hl32_to_64 (w1[3], w1[2]);
 126     st[ 4] = hl32_to_64 (w2[1], w2[0]);
 127     st[ 5] = hl32_to_64 (w2[3], w2[2]);
 128     st[ 6] = hl32_to_64 (w3[1], w3[0]);
 129     st[ 7] = hl32_to_64 (w3[3], w3[2]);
 130     st[ 8] = 0;
 131     st[ 9] = 0;
 132     st[10] = 0;
 133     st[11] = 0;
 134     st[12] = 0;
 135     st[13] = 0;
 136     st[14] = 0;
 137     st[15] = 0;
 138     st[16] = 0;
 139     st[17] = 0;
 140     st[18] = 0;
 141     st[19] = 0;
 142     st[20] = 0;
 143     st[21] = 0;
 144     st[22] = 0;
 145     st[23] = 0;
 146     st[24] = 0;
 147
 148     st[add80w] |= 0x8000000000000000;
 149
 150     int round;
 151
 152     for (round = 0; round < KECCAK_ROUNDS; round++)
 153     {
 154       // Theta
 155
 156       u64x bc0 = Theta1 (0);
 157       u64x bc1 = Theta1 (1);
 158       u64x bc2 = Theta1 (2);
 159       u64x bc3 = Theta1 (3);
 160       u64x bc4 = Theta1 (4);
 161
 162       u64x t;
 163
 164       t = bc4 ^ rotl64 (bc1, 1); Theta2 (0);
 165       t = bc0 ^ rotl64 (bc2, 1); Theta2 (1);
 166       t = bc1 ^ rotl64 (bc3, 1); Theta2 (2);
 167       t = bc2 ^ rotl64 (bc4, 1); Theta2 (3);
 168       t = bc3 ^ rotl64 (bc0, 1); Theta2 (4);
 169
 170       // Rho Pi
 171
 172       t = st[1];
 173
 174       Rho_Pi (0);
 175       Rho_Pi (1);
 176       Rho_Pi (2);
 177       Rho_Pi (3);
 178       Rho_Pi (4);
 179       Rho_Pi (5);
 180       Rho_Pi (6);
 181       Rho_Pi (7);
 182       Rho_Pi (8);
 183       Rho_Pi (9);
 184       Rho_Pi (10);
 185       Rho_Pi (11);
 186       Rho_Pi (12);
 187       Rho_Pi (13);
 188       Rho_Pi (14);
 189       Rho_Pi (15);
 190       Rho_Pi (16);
 191       Rho_Pi (17);
 192       Rho_Pi (18);
 193       Rho_Pi (19);
 194       Rho_Pi (20);
 195       Rho_Pi (21);
 196       Rho_Pi (22);
 197       Rho_Pi (23);
 198
 199       //  Chi
 200
 201       Chi (0);
 202       Chi (5);
 203       Chi (10);
 204       Chi (15);
 205       Chi (20);
 206
 207       //  Iota
 208
 209       st[0] ^= keccakf_rndc[round];
 210     }
 211
 212     const u32x r0 = l32_from_64 (st[1]);
 213     const u32x r1 = h32_from_64 (st[1]);
 214     const u32x r2 = l32_from_64 (st[2]);
 215     const u32x r3 = h32_from_64 (st[2]);
 216
 217     COMPARE_M_SIMD (r0, r1, r2, r3);
 218   }
 219 }
 220
 221 static void m05000s (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], const u32 pw_len, __global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset)
 222 {
 223   /**
 224    * modifier
 225    */
 226
 227   const u32 gid = get_global_id (0);
 228   const u32 lid = get_local_id (0);
 229
 230   /**
 231    * const
 232    */
 233
 234   const u32 keccakf_rotc[24] =
 235   {
 236      1,  3,  6, 10, 15, 21, 28, 36, 45, 55,  2, 14,
 237     27, 41, 56,  8, 25, 43, 62, 18, 39, 61, 20, 44
 238   };
 239
 240   const u32 keccakf_piln[24] =
 241   {
 242     10,  7, 11, 17, 18,  3,  5, 16,  8, 21, 24,  4,
 243     15, 23, 19, 13, 12,  2, 20, 14, 22,  9,  6,  1
 244   };
 245
 246   /**
 247    * digest
 248    */
 249
 250   const u32 search[4] =
 251   {
 252     digests_buf[digests_offset].digest_buf[DGST_R0],
 253     digests_buf[digests_offset].digest_buf[DGST_R1],
 254     digests_buf[digests_offset].digest_buf[DGST_R2],
 255     digests_buf[digests_offset].digest_buf[DGST_R3]
 256   };
 257
 258   /**
 259    * 0x80 keccak, very special
 260    */
 261
 262   const u32 mdlen = salt_bufs[salt_pos].keccak_mdlen;
 263
 264   const u32 rsiz = 200 - (2 * mdlen);
 265
 266   const u32 add80w = (rsiz - 1) / 8;
 267
 268   /**
 269    * loop
 270    */
 271
 272   u32 w0l = w0[0];
 273
 274   for (u32 il_pos = 0; il_pos < bfs_cnt; il_pos += VECT_SIZE)
 275   {
 276     const u32x w0r = w0r_create_bft (bfs_buf, il_pos);
 277
 278     const u32x w0lr = w0l | w0r;
 279
 280     u64x st[25];
 281
 282     st[ 0] = hl32_to_64 (w0[1], w0lr);
 283     st[ 1] = hl32_to_64 (w0[3], w0[2]);
 284     st[ 2] = hl32_to_64 (w1[1], w1[0]);
 285     st[ 3] = hl32_to_64 (w1[3], w1[2]);
 286     st[ 4] = hl32_to_64 (w2[1], w2[0]);
 287     st[ 5] = hl32_to_64 (w2[3], w2[2]);
 288     st[ 6] = hl32_to_64 (w3[1], w3[0]);
 289     st[ 7] = hl32_to_64 (w3[3], w3[2]);
 290     st[ 8] = 0;
 291     st[ 9] = 0;
 292     st[10] = 0;
 293     st[11] = 0;
 294     st[12] = 0;
 295     st[13] = 0;
 296     st[14] = 0;
 297     st[15] = 0;
 298     st[16] = 0;
 299     st[17] = 0;
 300     st[18] = 0;
 301     st[19] = 0;
 302     st[20] = 0;
 303     st[21] = 0;
 304     st[22] = 0;
 305     st[23] = 0;
 306     st[24] = 0;
 307
 308     st[add80w] |= 0x8000000000000000;
 309
 310     int round;
 311
 312     for (round = 0; round < KECCAK_ROUNDS; round++)
 313     {
 314       // Theta
 315
 316       u64x bc0 = Theta1 (0);
 317       u64x bc1 = Theta1 (1);
 318       u64x bc2 = Theta1 (2);
 319       u64x bc3 = Theta1 (3);
 320       u64x bc4 = Theta1 (4);
 321
 322       u64x t;
 323
 324       t = bc4 ^ rotl64 (bc1, 1); Theta2 (0);
 325       t = bc0 ^ rotl64 (bc2, 1); Theta2 (1);
 326       t = bc1 ^ rotl64 (bc3, 1); Theta2 (2);
 327       t = bc2 ^ rotl64 (bc4, 1); Theta2 (3);
 328       t = bc3 ^ rotl64 (bc0, 1); Theta2 (4);
 329
 330       // Rho Pi
 331
 332       t = st[1];
 333
 334       Rho_Pi (0);
 335       Rho_Pi (1);
 336       Rho_Pi (2);
 337       Rho_Pi (3);
 338       Rho_Pi (4);
 339       Rho_Pi (5);
 340       Rho_Pi (6);
 341       Rho_Pi (7);
 342       Rho_Pi (8);
 343       Rho_Pi (9);
 344       Rho_Pi (10);
 345       Rho_Pi (11);
 346       Rho_Pi (12);
 347       Rho_Pi (13);
 348       Rho_Pi (14);
 349       Rho_Pi (15);
 350       Rho_Pi (16);
 351       Rho_Pi (17);
 352       Rho_Pi (18);
 353       Rho_Pi (19);
 354       Rho_Pi (20);
 355       Rho_Pi (21);
 356       Rho_Pi (22);
 357       Rho_Pi (23);
 358
 359       //  Chi
 360
 361       Chi (0);
 362       Chi (5);
 363       Chi (10);
 364       Chi (15);
 365       Chi (20);
 366
 367       //  Iota
 368
 369       st[0] ^= keccakf_rndc[round];
 370     }
 371
 372     const u32x r0 = l32_from_64 (st[1]);
 373     const u32x r1 = h32_from_64 (st[1]);
 374     const u32x r2 = l32_from_64 (st[2]);
 375     const u32x r3 = h32_from_64 (st[2]);
 376
 377     COMPARE_S_SIMD (r0, r1, r2, r3);
 378   }
 379 }
 380
 381 __kernel void m05000_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 382 {
 383   /**
 384    * base
 385    */
 386
 387   const u32 gid = get_global_id (0);
 388
 389   if (gid >= gid_max) return;
 390
 391   u32 w0[4];
 392
 393   w0[0] = pws[gid].i[ 0];
 394   w0[1] = pws[gid].i[ 1];
 395   w0[2] = pws[gid].i[ 2];
 396   w0[3] = pws[gid].i[ 3];
 397
 398   u32 w1[4];
 399
 400   w1[0] = 0;
 401   w1[1] = 0;
 402   w1[2] = 0;
 403   w1[3] = 0;
 404
 405   u32 w2[4];
 406
 407   w2[0] = 0;
 408   w2[1] = 0;
 409   w2[2] = 0;
 410   w2[3] = 0;
 411
 412   u32 w3[4];
 413
 414   w3[0] = 0;
 415   w3[1] = 0;
 416   w3[2] = 0;
 417   w3[3] = 0;
 418
 419   const u32 pw_len = pws[gid].pw_len;
 420
 421   /**
 422    * main
 423    */
 424
 425   m05000m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
 426 }
 427
 428 __kernel void m05000_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 429 {
 430   /**
 431    * base
 432    */
 433
 434   const u32 gid = get_global_id (0);
 435
 436   if (gid >= gid_max) return;
 437
 438   u32 w0[4];
 439
 440   w0[0] = pws[gid].i[ 0];
 441   w0[1] = pws[gid].i[ 1];
 442   w0[2] = pws[gid].i[ 2];
 443   w0[3] = pws[gid].i[ 3];
 444
 445   u32 w1[4];
 446
 447   w1[0] = pws[gid].i[ 4];
 448   w1[1] = pws[gid].i[ 5];
 449   w1[2] = pws[gid].i[ 6];
 450   w1[3] = pws[gid].i[ 7];
 451
 452   u32 w2[4];
 453
 454   w2[0] = 0;
 455   w2[1] = 0;
 456   w2[2] = 0;
 457   w2[3] = 0;
 458
 459   u32 w3[4];
 460
 461   w3[0] = 0;
 462   w3[1] = 0;
 463   w3[2] = 0;
 464   w3[3] = 0;
 465
 466   const u32 pw_len = pws[gid].pw_len;
 467
 468   /**
 469    * main
 470    */
 471
 472   m05000m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
 473 }
 474
 475 __kernel void m05000_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 476 {
 477   /**
 478    * base
 479    */
 480
 481   const u32 gid = get_global_id (0);
 482
 483   if (gid >= gid_max) return;
 484
 485   u32 w0[4];
 486
 487   w0[0] = pws[gid].i[ 0];
 488   w0[1] = pws[gid].i[ 1];
 489   w0[2] = pws[gid].i[ 2];
 490   w0[3] = pws[gid].i[ 3];
 491
 492   u32 w1[4];
 493
 494   w1[0] = pws[gid].i[ 4];
 495   w1[1] = pws[gid].i[ 5];
 496   w1[2] = pws[gid].i[ 6];
 497   w1[3] = pws[gid].i[ 7];
 498
 499   u32 w2[4];
 500
 501   w2[0] = pws[gid].i[ 8];
 502   w2[1] = pws[gid].i[ 9];
 503   w2[2] = pws[gid].i[10];
 504   w2[3] = pws[gid].i[11];
 505
 506   u32 w3[4];
 507
 508   w3[0] = pws[gid].i[12];
 509   w3[1] = pws[gid].i[13];
 510   w3[2] = 0;
 511   w3[3] = 0;
 512
 513   const u32 pw_len = pws[gid].pw_len;
 514
 515   /**
 516    * main
 517    */
 518
 519   m05000m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
 520 }
 521
 522 __kernel void m05000_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 523 {
 524   /**
 525    * base
 526    */
 527
 528   const u32 gid = get_global_id (0);
 529
 530   if (gid >= gid_max) return;
 531
 532   u32 w0[4];
 533
 534   w0[0] = pws[gid].i[ 0];
 535   w0[1] = pws[gid].i[ 1];
 536   w0[2] = pws[gid].i[ 2];
 537   w0[3] = pws[gid].i[ 3];
 538
 539   u32 w1[4];
 540
 541   w1[0] = 0;
 542   w1[1] = 0;
 543   w1[2] = 0;
 544   w1[3] = 0;
 545
 546   u32 w2[4];
 547
 548   w2[0] = 0;
 549   w2[1] = 0;
 550   w2[2] = 0;
 551   w2[3] = 0;
 552
 553   u32 w3[4];
 554
 555   w3[0] = 0;
 556   w3[1] = 0;
 557   w3[2] = 0;
 558   w3[3] = 0;
 559
 560   const u32 pw_len = pws[gid].pw_len;
 561
 562   /**
 563    * main
 564    */
 565
 566   m05000s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
 567 }
 568
 569 __kernel void m05000_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 570 {
 571   /**
 572    * base
 573    */
 574
 575   const u32 gid = get_global_id (0);
 576
 577   if (gid >= gid_max) return;
 578
 579   u32 w0[4];
 580
 581   w0[0] = pws[gid].i[ 0];
 582   w0[1] = pws[gid].i[ 1];
 583   w0[2] = pws[gid].i[ 2];
 584   w0[3] = pws[gid].i[ 3];
 585
 586   u32 w1[4];
 587
 588   w1[0] = pws[gid].i[ 4];
 589   w1[1] = pws[gid].i[ 5];
 590   w1[2] = pws[gid].i[ 6];
 591   w1[3] = pws[gid].i[ 7];
 592
 593   u32 w2[4];
 594
 595   w2[0] = 0;
 596   w2[1] = 0;
 597   w2[2] = 0;
 598   w2[3] = 0;
 599
 600   u32 w3[4];
 601
 602   w3[0] = 0;
 603   w3[1] = 0;
 604   w3[2] = 0;
 605   w3[3] = 0;
 606
 607   const u32 pw_len = pws[gid].pw_len;
 608
 609   /**
 610    * main
 611    */
 612
 613   m05000s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
 614 }
 615
 616 __kernel void m05000_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 617 {
 618   /**
 619    * base
 620    */
 621
 622   const u32 gid = get_global_id (0);
 623
 624   if (gid >= gid_max) return;
 625
 626   u32 w0[4];
 627
 628   w0[0] = pws[gid].i[ 0];
 629   w0[1] = pws[gid].i[ 1];
 630   w0[2] = pws[gid].i[ 2];
 631   w0[3] = pws[gid].i[ 3];
 632
 633   u32 w1[4];
 634
 635   w1[0] = pws[gid].i[ 4];
 636   w1[1] = pws[gid].i[ 5];
 637   w1[2] = pws[gid].i[ 6];
 638   w1[3] = pws[gid].i[ 7];
 639
 640   u32 w2[4];
 641
 642   w2[0] = pws[gid].i[ 8];
 643   w2[1] = pws[gid].i[ 9];
 644   w2[2] = pws[gid].i[10];
 645   w2[3] = pws[gid].i[11];
 646
 647   u32 w3[4];
 648
 649   w3[0] = pws[gid].i[12];
 650   w3[1] = pws[gid].i[13];
 651   w3[2] = 0;
 652   w3[3] = 0;
 653
 654   const u32 pw_len = pws[gid].pw_len;
 655
 656   /**
 657    * main
 658    */
 659
 660   m05000s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
 661 }