amd/m05000_a3.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _KECCAK_
   7
   8 #include "include/constants.h"
   9 #include "include/kernel_vendor.h"
  10
  11 #ifdef  VLIW1
  12 #define VECT_SIZE1
  13 #endif
  14
  15 #ifdef  VLIW4
  16 #define VECT_SIZE1
  17 #endif
  18
  19 #ifdef  VLIW5
  20 #define VECT_SIZE1
  21 #endif
  22
  23 #define DGST_R0 2
  24 #define DGST_R1 3
  25 #define DGST_R2 4
  26 #define DGST_R3 5
  27
  28 #include "include/kernel_functions.c"
  29 #include "types_amd.c"
  30 #include "common_amd.c"
  31
  32 #ifdef  VECT_SIZE1
  33 #define VECT_COMPARE_S "check_single_vect1_comp4.c"
  34 #define VECT_COMPARE_M "check_multi_vect1_comp4.c"
  35 #endif
  36
  37 #ifdef  VECT_SIZE2
  38 #define VECT_COMPARE_S "check_single_vect2_comp4.c"
  39 #define VECT_COMPARE_M "check_multi_vect2_comp4.c"
  40 #endif
  41
  42 __constant u64 keccakf_rndc[24] =
  43 {
  44   0x0000000000000001, 0x0000000000008082, 0x800000000000808a,
  45   0x8000000080008000, 0x000000000000808b, 0x0000000080000001,
  46   0x8000000080008081, 0x8000000000008009, 0x000000000000008a,
  47   0x0000000000000088, 0x0000000080008009, 0x000000008000000a,
  48   0x000000008000808b, 0x800000000000008b, 0x8000000000008089,
  49   0x8000000000008003, 0x8000000000008002, 0x8000000000000080,
  50   0x000000000000800a, 0x800000008000000a, 0x8000000080008081,
  51   0x8000000000008080, 0x0000000080000001, 0x8000000080008008
  52 };
  53
  54 __constant u32 keccakf_rotc[24] =
  55 {
  56    1,  3,  6, 10, 15, 21, 28, 36, 45, 55,  2, 14,
  57   27, 41, 56,  8, 25, 43, 62, 18, 39, 61, 20, 44
  58 };
  59
  60 __constant u32 keccakf_piln[24] =
  61 {
  62   10,  7, 11, 17, 18,  3,  5, 16,  8, 21, 24,  4,
  63   15, 23, 19, 13, 12,  2, 20, 14, 22,  9,  6,  1
  64 };
  65
  66 #ifndef KECCAK_ROUNDS
  67 #define KECCAK_ROUNDS 24
  68 #endif
  69
  70 #define Theta1(s) (st[0 + s] ^ st[5 + s] ^ st[10 + s] ^ st[15 + s] ^ st[20 + s])
  71
  72 #define Theta2(s)               \
  73 {                               \
  74   st[ 0 + s] ^= t;              \
  75   st[ 5 + s] ^= t;              \
  76   st[10 + s] ^= t;              \
  77   st[15 + s] ^= t;              \
  78   st[20 + s] ^= t;              \
  79 }
  80
  81 #define Rho_Pi(s)               \
  82 {                               \
  83   u32 j = keccakf_piln[s];     \
  84   u32 k = keccakf_rotc[s];     \
  85   bc0 = st[j];                  \
  86   st[j] = rotl64 (t, k);        \
  87   t = bc0;                      \
  88 }
  89
  90 #define Chi(s)                  \
  91 {                               \
  92   bc0 = st[0 + s];              \
  93   bc1 = st[1 + s];              \
  94   bc2 = st[2 + s];              \
  95   bc3 = st[3 + s];              \
  96   bc4 = st[4 + s];              \
  97   st[0 + s] ^= ~bc1 & bc2;      \
  98   st[1 + s] ^= ~bc2 & bc3;      \
  99   st[2 + s] ^= ~bc3 & bc4;      \
 100   st[3 + s] ^= ~bc4 & bc0;      \
 101   st[4 + s] ^= ~bc0 & bc1;      \
 102 }
 103
 104 static void m05000m (u32x w0[4], u32x w1[4], u32x w2[4], u32x w3[4], const u32 pw_len, __global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset)
 105 {
 106   /**
 107    * modifier
 108    */
 109
 110   const u32 gid = get_global_id (0);
 111   const u32 lid = get_local_id (0);
 112
 113   /**
 114    * 0x80 keccak, very special
 115    */
 116
 117   const u32 mdlen = salt_bufs[salt_pos].keccak_mdlen;
 118
 119   const u32 rsiz = 200 - (2 * mdlen);
 120
 121   const u32 add80w = (rsiz - 1) / 8;
 122
 123   /**
 124    * loop
 125    */
 126
 127   u32x w0l = w0[0];
 128
 129   for (u32 il_pos = 0; il_pos < bfs_cnt; il_pos++)
 130   {
 131     const u32 w0r = bfs_buf[il_pos].i;
 132
 133     w0[0] = w0l | w0r;
 134
 135     u64x st[25];
 136
 137     #ifdef VECT_SIZE1
 138     st[ 0] = (u64x) (w0[0])               | (u64x) (w0[1]) << 32;
 139     st[ 1] = (u64x) (w0[2])               | (u64x) (w0[3]) << 32;
 140     st[ 2] = (u64x) (w1[0])               | (u64x) (w1[1]) << 32;
 141     st[ 3] = (u64x) (w1[2])               | (u64x) (w1[3]) << 32;
 142     st[ 4] = (u64x) (w2[0])               | (u64x) (w2[1]) << 32;
 143     st[ 5] = (u64x) (w2[2])               | (u64x) (w2[3]) << 32;
 144     st[ 6] = (u64x) (w3[0])               | (u64x) (w3[1]) << 32;
 145     st[ 7] = (u64x) (w3[2])               | (u64x) (w3[3]) << 32;
 146     #endif
 147
 148     #ifdef VECT_SIZE2
 149     st[ 0] = (u64x) (w0[0].s0, w0[0].s1)  | (u64x) (w0[1].s0, w0[1].s1) << 32;
 150     st[ 1] = (u64x) (w0[2].s0, w0[2].s1)  | (u64x) (w0[3].s0, w0[3].s1) << 32;
 151     st[ 2] = (u64x) (w1[0].s0, w1[0].s1)  | (u64x) (w1[1].s0, w1[1].s1) << 32;
 152     st[ 3] = (u64x) (w1[2].s0, w1[2].s1)  | (u64x) (w1[3].s0, w1[3].s1) << 32;
 153     st[ 4] = (u64x) (w2[0].s0, w2[0].s1)  | (u64x) (w2[1].s0, w2[1].s1) << 32;
 154     st[ 5] = (u64x) (w2[2].s0, w2[2].s1)  | (u64x) (w2[3].s0, w2[3].s1) << 32;
 155     st[ 6] = (u64x) (w3[0].s0, w3[0].s1)  | (u64x) (w3[1].s0, w3[1].s1) << 32;
 156     st[ 7] = (u64x) (w3[2].s0, w3[2].s1)  | (u64x) (w3[3].s0, w3[3].s1) << 32;
 157     #endif
 158
 159     st[ 8] = 0;
 160     st[ 9] = 0;
 161     st[10] = 0;
 162     st[11] = 0;
 163     st[12] = 0;
 164     st[13] = 0;
 165     st[14] = 0;
 166     st[15] = 0;
 167     st[16] = 0;
 168     st[17] = 0;
 169     st[18] = 0;
 170     st[19] = 0;
 171     st[20] = 0;
 172     st[21] = 0;
 173     st[22] = 0;
 174     st[23] = 0;
 175     st[24] = 0;
 176
 177     st[add80w] |= 0x8000000000000000;
 178
 179     int round;
 180
 181     for (round = 0; round < KECCAK_ROUNDS; round++)
 182     {
 183       // Theta
 184
 185       u64x bc0 = Theta1 (0);
 186       u64x bc1 = Theta1 (1);
 187       u64x bc2 = Theta1 (2);
 188       u64x bc3 = Theta1 (3);
 189       u64x bc4 = Theta1 (4);
 190
 191       u64x t;
 192
 193       t = bc4 ^ rotl64 (bc1, 1); Theta2 (0);
 194       t = bc0 ^ rotl64 (bc2, 1); Theta2 (1);
 195       t = bc1 ^ rotl64 (bc3, 1); Theta2 (2);
 196       t = bc2 ^ rotl64 (bc4, 1); Theta2 (3);
 197       t = bc3 ^ rotl64 (bc0, 1); Theta2 (4);
 198
 199       // Rho Pi
 200
 201       t = st[1];
 202
 203       Rho_Pi (0);
 204       Rho_Pi (1);
 205       Rho_Pi (2);
 206       Rho_Pi (3);
 207       Rho_Pi (4);
 208       Rho_Pi (5);
 209       Rho_Pi (6);
 210       Rho_Pi (7);
 211       Rho_Pi (8);
 212       Rho_Pi (9);
 213       Rho_Pi (10);
 214       Rho_Pi (11);
 215       Rho_Pi (12);
 216       Rho_Pi (13);
 217       Rho_Pi (14);
 218       Rho_Pi (15);
 219       Rho_Pi (16);
 220       Rho_Pi (17);
 221       Rho_Pi (18);
 222       Rho_Pi (19);
 223       Rho_Pi (20);
 224       Rho_Pi (21);
 225       Rho_Pi (22);
 226       Rho_Pi (23);
 227
 228       //  Chi
 229
 230       Chi (0);
 231       Chi (5);
 232       Chi (10);
 233       Chi (15);
 234       Chi (20);
 235
 236       //  Iota
 237
 238       st[0] ^= keccakf_rndc[round];
 239     }
 240
 241     const u32x r0 = l32_from_64 (st[1]);
 242     const u32x r1 = h32_from_64 (st[1]);
 243     const u32x r2 = l32_from_64 (st[2]);
 244     const u32x r3 = h32_from_64 (st[2]);
 245
 246     #include VECT_COMPARE_M
 247   }
 248 }
 249
 250 static void m05000s (u32x w0[4], u32x w1[4], u32x w2[4], u32x w3[4], const u32 pw_len, __global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset)
 251 {
 252   /**
 253    * modifier
 254    */
 255
 256   const u32 gid = get_global_id (0);
 257   const u32 lid = get_local_id (0);
 258
 259   /**
 260    * digest
 261    */
 262
 263   const u32 search[4] =
 264   {
 265     digests_buf[digests_offset].digest_buf[DGST_R0],
 266     digests_buf[digests_offset].digest_buf[DGST_R1],
 267     digests_buf[digests_offset].digest_buf[DGST_R2],
 268     digests_buf[digests_offset].digest_buf[DGST_R3]
 269   };
 270
 271   /**
 272    * 0x80 keccak, very special
 273    */
 274
 275   const u32 mdlen = salt_bufs[salt_pos].keccak_mdlen;
 276
 277   const u32 rsiz = 200 - (2 * mdlen);
 278
 279   const u32 add80w = (rsiz - 1) / 8;
 280
 281   /**
 282    * loop
 283    */
 284
 285   u32x w0l = w0[0];
 286
 287   for (u32 il_pos = 0; il_pos < bfs_cnt; il_pos++)
 288   {
 289     const u32 w0r = bfs_buf[il_pos].i;
 290
 291     w0[0] = w0l | w0r;
 292
 293     u64x st[25];
 294
 295     #ifdef VECT_SIZE1
 296     st[ 0] = (u64x) (w0[0])               | (u64x) (w0[1]) << 32;
 297     st[ 1] = (u64x) (w0[2])               | (u64x) (w0[3]) << 32;
 298     st[ 2] = (u64x) (w1[0])               | (u64x) (w1[1]) << 32;
 299     st[ 3] = (u64x) (w1[2])               | (u64x) (w1[3]) << 32;
 300     st[ 4] = (u64x) (w2[0])               | (u64x) (w2[1]) << 32;
 301     st[ 5] = (u64x) (w2[2])               | (u64x) (w2[3]) << 32;
 302     st[ 6] = (u64x) (w3[0])               | (u64x) (w3[1]) << 32;
 303     st[ 7] = (u64x) (w3[2])               | (u64x) (w3[3]) << 32;
 304     #endif
 305
 306     #ifdef VECT_SIZE2
 307     st[ 0] = (u64x) (w0[0].s0, w0[0].s1)  | (u64x) (w0[1].s0, w0[1].s1) << 32;
 308     st[ 1] = (u64x) (w0[2].s0, w0[2].s1)  | (u64x) (w0[3].s0, w0[3].s1) << 32;
 309     st[ 2] = (u64x) (w1[0].s0, w1[0].s1)  | (u64x) (w1[1].s0, w1[1].s1) << 32;
 310     st[ 3] = (u64x) (w1[2].s0, w1[2].s1)  | (u64x) (w1[3].s0, w1[3].s1) << 32;
 311     st[ 4] = (u64x) (w2[0].s0, w2[0].s1)  | (u64x) (w2[1].s0, w2[1].s1) << 32;
 312     st[ 5] = (u64x) (w2[2].s0, w2[2].s1)  | (u64x) (w2[3].s0, w2[3].s1) << 32;
 313     st[ 6] = (u64x) (w3[0].s0, w3[0].s1)  | (u64x) (w3[1].s0, w3[1].s1) << 32;
 314     st[ 7] = (u64x) (w3[2].s0, w3[2].s1)  | (u64x) (w3[3].s0, w3[3].s1) << 32;
 315     #endif
 316
 317     st[ 8] = 0;
 318     st[ 9] = 0;
 319     st[10] = 0;
 320     st[11] = 0;
 321     st[12] = 0;
 322     st[13] = 0;
 323     st[14] = 0;
 324     st[15] = 0;
 325     st[16] = 0;
 326     st[17] = 0;
 327     st[18] = 0;
 328     st[19] = 0;
 329     st[20] = 0;
 330     st[21] = 0;
 331     st[22] = 0;
 332     st[23] = 0;
 333     st[24] = 0;
 334
 335     st[add80w] |= 0x8000000000000000;
 336
 337     int round;
 338
 339     for (round = 0; round < KECCAK_ROUNDS; round++)
 340     {
 341       // Theta
 342
 343       u64x bc0 = Theta1 (0);
 344       u64x bc1 = Theta1 (1);
 345       u64x bc2 = Theta1 (2);
 346       u64x bc3 = Theta1 (3);
 347       u64x bc4 = Theta1 (4);
 348
 349       u64x t;
 350
 351       t = bc4 ^ rotl64 (bc1, 1); Theta2 (0);
 352       t = bc0 ^ rotl64 (bc2, 1); Theta2 (1);
 353       t = bc1 ^ rotl64 (bc3, 1); Theta2 (2);
 354       t = bc2 ^ rotl64 (bc4, 1); Theta2 (3);
 355       t = bc3 ^ rotl64 (bc0, 1); Theta2 (4);
 356
 357       // Rho Pi
 358
 359       t = st[1];
 360
 361       Rho_Pi (0);
 362       Rho_Pi (1);
 363       Rho_Pi (2);
 364       Rho_Pi (3);
 365       Rho_Pi (4);
 366       Rho_Pi (5);
 367       Rho_Pi (6);
 368       Rho_Pi (7);
 369       Rho_Pi (8);
 370       Rho_Pi (9);
 371       Rho_Pi (10);
 372       Rho_Pi (11);
 373       Rho_Pi (12);
 374       Rho_Pi (13);
 375       Rho_Pi (14);
 376       Rho_Pi (15);
 377       Rho_Pi (16);
 378       Rho_Pi (17);
 379       Rho_Pi (18);
 380       Rho_Pi (19);
 381       Rho_Pi (20);
 382       Rho_Pi (21);
 383       Rho_Pi (22);
 384       Rho_Pi (23);
 385
 386       //  Chi
 387
 388       Chi (0);
 389       Chi (5);
 390       Chi (10);
 391       Chi (15);
 392       Chi (20);
 393
 394       //  Iota
 395
 396       st[0] ^= keccakf_rndc[round];
 397     }
 398
 399     const u32x r0 = l32_from_64 (st[1]);
 400     const u32x r1 = h32_from_64 (st[1]);
 401     const u32x r2 = l32_from_64 (st[2]);
 402     const u32x r3 = h32_from_64 (st[2]);
 403
 404     #include VECT_COMPARE_S
 405   }
 406 }
 407
 408 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m05000_m04 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 409 {
 410   /**
 411    * base
 412    */
 413
 414   const u32 gid = get_global_id (0);
 415
 416   if (gid >= gid_max) return;
 417
 418   u32x w0[4];
 419
 420   w0[0] = pws[gid].i[ 0];
 421   w0[1] = pws[gid].i[ 1];
 422   w0[2] = pws[gid].i[ 2];
 423   w0[3] = pws[gid].i[ 3];
 424
 425   u32x w1[4];
 426
 427   w1[0] = 0;
 428   w1[1] = 0;
 429   w1[2] = 0;
 430   w1[3] = 0;
 431
 432   u32x w2[4];
 433
 434   w2[0] = 0;
 435   w2[1] = 0;
 436   w2[2] = 0;
 437   w2[3] = 0;
 438
 439   u32x w3[4];
 440
 441   w3[0] = 0;
 442   w3[1] = 0;
 443   w3[2] = 0;
 444   w3[3] = 0;
 445
 446   const u32 pw_len = pws[gid].pw_len;
 447
 448   /**
 449    * main
 450    */
 451
 452   m05000m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
 453 }
 454
 455 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m05000_m08 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 456 {
 457   /**
 458    * base
 459    */
 460
 461   const u32 gid = get_global_id (0);
 462
 463   if (gid >= gid_max) return;
 464
 465   u32x w0[4];
 466
 467   w0[0] = pws[gid].i[ 0];
 468   w0[1] = pws[gid].i[ 1];
 469   w0[2] = pws[gid].i[ 2];
 470   w0[3] = pws[gid].i[ 3];
 471
 472   u32x w1[4];
 473
 474   w1[0] = pws[gid].i[ 4];
 475   w1[1] = pws[gid].i[ 5];
 476   w1[2] = pws[gid].i[ 6];
 477   w1[3] = pws[gid].i[ 7];
 478
 479   u32x w2[4];
 480
 481   w2[0] = 0;
 482   w2[1] = 0;
 483   w2[2] = 0;
 484   w2[3] = 0;
 485
 486   u32x w3[4];
 487
 488   w3[0] = 0;
 489   w3[1] = 0;
 490   w3[2] = 0;
 491   w3[3] = 0;
 492
 493   const u32 pw_len = pws[gid].pw_len;
 494
 495   /**
 496    * main
 497    */
 498
 499   m05000m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
 500 }
 501
 502 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m05000_m16 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 503 {
 504   /**
 505    * base
 506    */
 507
 508   const u32 gid = get_global_id (0);
 509
 510   if (gid >= gid_max) return;
 511
 512   u32x w0[4];
 513
 514   w0[0] = pws[gid].i[ 0];
 515   w0[1] = pws[gid].i[ 1];
 516   w0[2] = pws[gid].i[ 2];
 517   w0[3] = pws[gid].i[ 3];
 518
 519   u32x w1[4];
 520
 521   w1[0] = pws[gid].i[ 4];
 522   w1[1] = pws[gid].i[ 5];
 523   w1[2] = pws[gid].i[ 6];
 524   w1[3] = pws[gid].i[ 7];
 525
 526   u32x w2[4];
 527
 528   w2[0] = pws[gid].i[ 8];
 529   w2[1] = pws[gid].i[ 9];
 530   w2[2] = pws[gid].i[10];
 531   w2[3] = pws[gid].i[11];
 532
 533   u32x w3[4];
 534
 535   w3[0] = pws[gid].i[12];
 536   w3[1] = pws[gid].i[13];
 537   w3[2] = 0;
 538   w3[3] = 0;
 539
 540   const u32 pw_len = pws[gid].pw_len;
 541
 542   /**
 543    * main
 544    */
 545
 546   m05000m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
 547 }
 548
 549 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m05000_s04 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 550 {
 551   /**
 552    * base
 553    */
 554
 555   const u32 gid = get_global_id (0);
 556
 557   if (gid >= gid_max) return;
 558
 559   u32x w0[4];
 560
 561   w0[0] = pws[gid].i[ 0];
 562   w0[1] = pws[gid].i[ 1];
 563   w0[2] = pws[gid].i[ 2];
 564   w0[3] = pws[gid].i[ 3];
 565
 566   u32x w1[4];
 567
 568   w1[0] = 0;
 569   w1[1] = 0;
 570   w1[2] = 0;
 571   w1[3] = 0;
 572
 573   u32x w2[4];
 574
 575   w2[0] = 0;
 576   w2[1] = 0;
 577   w2[2] = 0;
 578   w2[3] = 0;
 579
 580   u32x w3[4];
 581
 582   w3[0] = 0;
 583   w3[1] = 0;
 584   w3[2] = 0;
 585   w3[3] = 0;
 586
 587   const u32 pw_len = pws[gid].pw_len;
 588
 589   /**
 590    * main
 591    */
 592
 593   m05000s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
 594 }
 595
 596 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m05000_s08 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 597 {
 598   /**
 599    * base
 600    */
 601
 602   const u32 gid = get_global_id (0);
 603
 604   if (gid >= gid_max) return;
 605
 606   u32x w0[4];
 607
 608   w0[0] = pws[gid].i[ 0];
 609   w0[1] = pws[gid].i[ 1];
 610   w0[2] = pws[gid].i[ 2];
 611   w0[3] = pws[gid].i[ 3];
 612
 613   u32x w1[4];
 614
 615   w1[0] = pws[gid].i[ 4];
 616   w1[1] = pws[gid].i[ 5];
 617   w1[2] = pws[gid].i[ 6];
 618   w1[3] = pws[gid].i[ 7];
 619
 620   u32x w2[4];
 621
 622   w2[0] = 0;
 623   w2[1] = 0;
 624   w2[2] = 0;
 625   w2[3] = 0;
 626
 627   u32x w3[4];
 628
 629   w3[0] = 0;
 630   w3[1] = 0;
 631   w3[2] = 0;
 632   w3[3] = 0;
 633
 634   const u32 pw_len = pws[gid].pw_len;
 635
 636   /**
 637    * main
 638    */
 639
 640   m05000s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
 641 }
 642
 643 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m05000_s16 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 644 {
 645   /**
 646    * base
 647    */
 648
 649   const u32 gid = get_global_id (0);
 650
 651   if (gid >= gid_max) return;
 652
 653   u32x w0[4];
 654
 655   w0[0] = pws[gid].i[ 0];
 656   w0[1] = pws[gid].i[ 1];
 657   w0[2] = pws[gid].i[ 2];
 658   w0[3] = pws[gid].i[ 3];
 659
 660   u32x w1[4];
 661
 662   w1[0] = pws[gid].i[ 4];
 663   w1[1] = pws[gid].i[ 5];
 664   w1[2] = pws[gid].i[ 6];
 665   w1[3] = pws[gid].i[ 7];
 666
 667   u32x w2[4];
 668
 669   w2[0] = pws[gid].i[ 8];
 670   w2[1] = pws[gid].i[ 9];
 671   w2[2] = pws[gid].i[10];
 672   w2[3] = pws[gid].i[11];
 673
 674   u32x w3[4];
 675
 676   w3[0] = pws[gid].i[12];
 677   w3[1] = pws[gid].i[13];
 678   w3[2] = 0;
 679   w3[3] = 0;
 680
 681   const u32 pw_len = pws[gid].pw_len;
 682
 683   /**
 684    * main
 685    */
 686
 687   m05000s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
 688 }