amd/m01760_a3.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _SHA512_
   7
   8 #include "include/constants.h"
   9 #include "include/kernel_vendor.h"
  10
  11 #ifdef  VLIW1
  12 #define VECT_SIZE1
  13 #endif
  14
  15 #ifdef  VLIW4
  16 #define VECT_SIZE1
  17 #endif
  18
  19 #ifdef  VLIW5
  20 #define VECT_SIZE1
  21 #endif
  22
  23 #define DGST_R0 14
  24 #define DGST_R1 15
  25 #define DGST_R2 6
  26 #define DGST_R3 7
  27
  28 #include "include/kernel_functions.c"
  29 #include "types_amd.c"
  30 #include "common_amd.c"
  31
  32 #ifdef  VECT_SIZE1
  33 #define VECT_COMPARE_S "check_single_vect1_comp4.c"
  34 #define VECT_COMPARE_M "check_multi_vect1_comp4.c"
  35 #endif
  36
  37 #ifdef  VECT_SIZE2
  38 #define VECT_COMPARE_S "check_single_vect2_comp4.c"
  39 #define VECT_COMPARE_M "check_multi_vect2_comp4.c"
  40 #endif
  41
  42 #ifdef  VECT_SIZE4
  43 #define VECT_COMPARE_S "check_single_vect4_comp4.c"
  44 #define VECT_COMPARE_M "check_multi_vect4_comp4.c"
  45 #endif
  46
  47 __constant u64 k_sha512[80] =
  48 {
  49   SHA512C00, SHA512C01, SHA512C02, SHA512C03,
  50   SHA512C04, SHA512C05, SHA512C06, SHA512C07,
  51   SHA512C08, SHA512C09, SHA512C0a, SHA512C0b,
  52   SHA512C0c, SHA512C0d, SHA512C0e, SHA512C0f,
  53   SHA512C10, SHA512C11, SHA512C12, SHA512C13,
  54   SHA512C14, SHA512C15, SHA512C16, SHA512C17,
  55   SHA512C18, SHA512C19, SHA512C1a, SHA512C1b,
  56   SHA512C1c, SHA512C1d, SHA512C1e, SHA512C1f,
  57   SHA512C20, SHA512C21, SHA512C22, SHA512C23,
  58   SHA512C24, SHA512C25, SHA512C26, SHA512C27,
  59   SHA512C28, SHA512C29, SHA512C2a, SHA512C2b,
  60   SHA512C2c, SHA512C2d, SHA512C2e, SHA512C2f,
  61   SHA512C30, SHA512C31, SHA512C32, SHA512C33,
  62   SHA512C34, SHA512C35, SHA512C36, SHA512C37,
  63   SHA512C38, SHA512C39, SHA512C3a, SHA512C3b,
  64   SHA512C3c, SHA512C3d, SHA512C3e, SHA512C3f,
  65   SHA512C40, SHA512C41, SHA512C42, SHA512C43,
  66   SHA512C44, SHA512C45, SHA512C46, SHA512C47,
  67   SHA512C48, SHA512C49, SHA512C4a, SHA512C4b,
  68   SHA512C4c, SHA512C4d, SHA512C4e, SHA512C4f,
  69 };
  70
  71 static void sha512_transform (const u64x w0[4], const u64x w1[4], const u64x w2[4], const u64x w3[4], u64x digest[8])
  72 {
  73   u64x w0_t = w0[0];
  74   u64x w1_t = w0[1];
  75   u64x w2_t = w0[2];
  76   u64x w3_t = w0[3];
  77   u64x w4_t = w1[0];
  78   u64x w5_t = w1[1];
  79   u64x w6_t = w1[2];
  80   u64x w7_t = w1[3];
  81   u64x w8_t = w2[0];
  82   u64x w9_t = w2[1];
  83   u64x wa_t = w2[2];
  84   u64x wb_t = w2[3];
  85   u64x wc_t = w3[0];
  86   u64x wd_t = w3[1];
  87   u64x we_t = w3[2];
  88   u64x wf_t = w3[3];
  89
  90   u64x a = digest[0];
  91   u64x b = digest[1];
  92   u64x c = digest[2];
  93   u64x d = digest[3];
  94   u64x e = digest[4];
  95   u64x f = digest[5];
  96   u64x g = digest[6];
  97   u64x h = digest[7];
  98
  99   #define ROUND_EXPAND()                            \
 100   {                                                 \
 101     w0_t = SHA512_EXPAND (we_t, w9_t, w1_t, w0_t);  \
 102     w1_t = SHA512_EXPAND (wf_t, wa_t, w2_t, w1_t);  \
 103     w2_t = SHA512_EXPAND (w0_t, wb_t, w3_t, w2_t);  \
 104     w3_t = SHA512_EXPAND (w1_t, wc_t, w4_t, w3_t);  \
 105     w4_t = SHA512_EXPAND (w2_t, wd_t, w5_t, w4_t);  \
 106     w5_t = SHA512_EXPAND (w3_t, we_t, w6_t, w5_t);  \
 107     w6_t = SHA512_EXPAND (w4_t, wf_t, w7_t, w6_t);  \
 108     w7_t = SHA512_EXPAND (w5_t, w0_t, w8_t, w7_t);  \
 109     w8_t = SHA512_EXPAND (w6_t, w1_t, w9_t, w8_t);  \
 110     w9_t = SHA512_EXPAND (w7_t, w2_t, wa_t, w9_t);  \
 111     wa_t = SHA512_EXPAND (w8_t, w3_t, wb_t, wa_t);  \
 112     wb_t = SHA512_EXPAND (w9_t, w4_t, wc_t, wb_t);  \
 113     wc_t = SHA512_EXPAND (wa_t, w5_t, wd_t, wc_t);  \
 114     wd_t = SHA512_EXPAND (wb_t, w6_t, we_t, wd_t);  \
 115     we_t = SHA512_EXPAND (wc_t, w7_t, wf_t, we_t);  \
 116     wf_t = SHA512_EXPAND (wd_t, w8_t, w0_t, wf_t);  \
 117   }
 118
 119   #define ROUND_STEP(i)                                                                   \
 120   {                                                                                       \
 121     SHA512_STEP (SHA512_F0o, SHA512_F1o, a, b, c, d, e, f, g, h, w0_t, k_sha512[i +  0]); \
 122     SHA512_STEP (SHA512_F0o, SHA512_F1o, h, a, b, c, d, e, f, g, w1_t, k_sha512[i +  1]); \
 123     SHA512_STEP (SHA512_F0o, SHA512_F1o, g, h, a, b, c, d, e, f, w2_t, k_sha512[i +  2]); \
 124     SHA512_STEP (SHA512_F0o, SHA512_F1o, f, g, h, a, b, c, d, e, w3_t, k_sha512[i +  3]); \
 125     SHA512_STEP (SHA512_F0o, SHA512_F1o, e, f, g, h, a, b, c, d, w4_t, k_sha512[i +  4]); \
 126     SHA512_STEP (SHA512_F0o, SHA512_F1o, d, e, f, g, h, a, b, c, w5_t, k_sha512[i +  5]); \
 127     SHA512_STEP (SHA512_F0o, SHA512_F1o, c, d, e, f, g, h, a, b, w6_t, k_sha512[i +  6]); \
 128     SHA512_STEP (SHA512_F0o, SHA512_F1o, b, c, d, e, f, g, h, a, w7_t, k_sha512[i +  7]); \
 129     SHA512_STEP (SHA512_F0o, SHA512_F1o, a, b, c, d, e, f, g, h, w8_t, k_sha512[i +  8]); \
 130     SHA512_STEP (SHA512_F0o, SHA512_F1o, h, a, b, c, d, e, f, g, w9_t, k_sha512[i +  9]); \
 131     SHA512_STEP (SHA512_F0o, SHA512_F1o, g, h, a, b, c, d, e, f, wa_t, k_sha512[i + 10]); \
 132     SHA512_STEP (SHA512_F0o, SHA512_F1o, f, g, h, a, b, c, d, e, wb_t, k_sha512[i + 11]); \
 133     SHA512_STEP (SHA512_F0o, SHA512_F1o, e, f, g, h, a, b, c, d, wc_t, k_sha512[i + 12]); \
 134     SHA512_STEP (SHA512_F0o, SHA512_F1o, d, e, f, g, h, a, b, c, wd_t, k_sha512[i + 13]); \
 135     SHA512_STEP (SHA512_F0o, SHA512_F1o, c, d, e, f, g, h, a, b, we_t, k_sha512[i + 14]); \
 136     SHA512_STEP (SHA512_F0o, SHA512_F1o, b, c, d, e, f, g, h, a, wf_t, k_sha512[i + 15]); \
 137   }
 138
 139   ROUND_STEP (0);
 140
 141   //#pragma unroll // kernel fails if used
 142   for (int i = 16; i < 80; i += 16)
 143   {
 144     ROUND_EXPAND (); ROUND_STEP (i);
 145   }
 146
 147   digest[0] += a;
 148   digest[1] += b;
 149   digest[2] += c;
 150   digest[3] += d;
 151   digest[4] += e;
 152   digest[5] += f;
 153   digest[6] += g;
 154   digest[7] += h;
 155 }
 156
 157 static void hmac_sha512_pad (u32x w0[4], u32x w1[4], u32x w2[4], u32x w3[4], u64x ipad[8], u64x opad[8])
 158 {
 159   u64x w0_t[4];
 160   u64x w1_t[4];
 161   u64x w2_t[4];
 162   u64x w3_t[4];
 163
 164   w0_t[0] = hl32_to_64 (w0[0], w0[1]) ^ 0x3636363636363636;
 165   w0_t[1] = hl32_to_64 (w0[2], w0[3]) ^ 0x3636363636363636;
 166   w0_t[2] = hl32_to_64 (w1[0], w1[1]) ^ 0x3636363636363636;
 167   w0_t[3] = hl32_to_64 (w1[2], w1[3]) ^ 0x3636363636363636;
 168   w1_t[0] = hl32_to_64 (w2[0], w2[1]) ^ 0x3636363636363636;
 169   w1_t[1] = hl32_to_64 (w2[2], w2[3]) ^ 0x3636363636363636;
 170   w1_t[2] = hl32_to_64 (w3[0], w3[1]) ^ 0x3636363636363636;
 171   w1_t[3] = hl32_to_64 (w3[2], w3[3]) ^ 0x3636363636363636;
 172   w2_t[0] =                                 0 ^ 0x3636363636363636;
 173   w2_t[1] =                                 0 ^ 0x3636363636363636;
 174   w2_t[2] =                                 0 ^ 0x3636363636363636;
 175   w2_t[3] =                                 0 ^ 0x3636363636363636;
 176   w3_t[0] =                                 0 ^ 0x3636363636363636;
 177   w3_t[1] =                                 0 ^ 0x3636363636363636;
 178   w3_t[2] =                                 0 ^ 0x3636363636363636;
 179   w3_t[3] =                                 0 ^ 0x3636363636363636;
 180
 181   ipad[0] = SHA512M_A;
 182   ipad[1] = SHA512M_B;
 183   ipad[2] = SHA512M_C;
 184   ipad[3] = SHA512M_D;
 185   ipad[4] = SHA512M_E;
 186   ipad[5] = SHA512M_F;
 187   ipad[6] = SHA512M_G;
 188   ipad[7] = SHA512M_H;
 189
 190   sha512_transform (w0_t, w1_t, w2_t, w3_t, ipad);
 191
 192   w0_t[0] = hl32_to_64 (w0[0], w0[1]) ^ 0x5c5c5c5c5c5c5c5c;
 193   w0_t[1] = hl32_to_64 (w0[2], w0[3]) ^ 0x5c5c5c5c5c5c5c5c;
 194   w0_t[2] = hl32_to_64 (w1[0], w1[1]) ^ 0x5c5c5c5c5c5c5c5c;
 195   w0_t[3] = hl32_to_64 (w1[2], w1[3]) ^ 0x5c5c5c5c5c5c5c5c;
 196   w1_t[0] = hl32_to_64 (w2[0], w2[1]) ^ 0x5c5c5c5c5c5c5c5c;
 197   w1_t[1] = hl32_to_64 (w2[2], w2[3]) ^ 0x5c5c5c5c5c5c5c5c;
 198   w1_t[2] = hl32_to_64 (w3[0], w3[1]) ^ 0x5c5c5c5c5c5c5c5c;
 199   w1_t[3] = hl32_to_64 (w3[2], w3[3]) ^ 0x5c5c5c5c5c5c5c5c;
 200   w2_t[0] =                                 0 ^ 0x5c5c5c5c5c5c5c5c;
 201   w2_t[1] =                                 0 ^ 0x5c5c5c5c5c5c5c5c;
 202   w2_t[2] =                                 0 ^ 0x5c5c5c5c5c5c5c5c;
 203   w2_t[3] =                                 0 ^ 0x5c5c5c5c5c5c5c5c;
 204   w3_t[0] =                                 0 ^ 0x5c5c5c5c5c5c5c5c;
 205   w3_t[1] =                                 0 ^ 0x5c5c5c5c5c5c5c5c;
 206   w3_t[2] =                                 0 ^ 0x5c5c5c5c5c5c5c5c;
 207   w3_t[3] =                                 0 ^ 0x5c5c5c5c5c5c5c5c;
 208
 209   opad[0] = SHA512M_A;
 210   opad[1] = SHA512M_B;
 211   opad[2] = SHA512M_C;
 212   opad[3] = SHA512M_D;
 213   opad[4] = SHA512M_E;
 214   opad[5] = SHA512M_F;
 215   opad[6] = SHA512M_G;
 216   opad[7] = SHA512M_H;
 217
 218   sha512_transform (w0_t, w1_t, w2_t, w3_t, opad);
 219 }
 220
 221 static void hmac_sha512_run (u32x w0[4], u32x w1[4], u32x w2[4], u32x w3[4], u64x ipad[8], u64x opad[8], u64x digest[8])
 222 {
 223   u64x w0_t[4];
 224   u64x w1_t[4];
 225   u64x w2_t[4];
 226   u64x w3_t[4];
 227
 228   w0_t[0] = hl32_to_64 (w0[0], w0[1]);
 229   w0_t[1] = hl32_to_64 (w0[2], w0[3]);
 230   w0_t[2] = hl32_to_64 (w1[0], w1[1]);
 231   w0_t[3] = hl32_to_64 (w1[2], w1[3]);
 232   w1_t[0] = hl32_to_64 (w2[0], w2[1]);
 233   w1_t[1] = hl32_to_64 (w2[2], w2[3]);
 234   w1_t[2] = hl32_to_64 (w3[0], w3[1]);
 235   w1_t[3] = 0;
 236   w2_t[0] = 0;
 237   w2_t[1] = 0;
 238   w2_t[2] = 0;
 239   w2_t[3] = 0;
 240   w3_t[0] = 0;
 241   w3_t[1] = 0;
 242   w3_t[2] = 0;
 243   w3_t[3] = hl32_to_64 (w3[2], w3[3]);
 244
 245   digest[0] = ipad[0];
 246   digest[1] = ipad[1];
 247   digest[2] = ipad[2];
 248   digest[3] = ipad[3];
 249   digest[4] = ipad[4];
 250   digest[5] = ipad[5];
 251   digest[6] = ipad[6];
 252   digest[7] = ipad[7];
 253
 254   sha512_transform (w0_t, w1_t, w2_t, w3_t, digest);
 255
 256   w0_t[0] = digest[0];
 257   w0_t[1] = digest[1];
 258   w0_t[2] = digest[2];
 259   w0_t[3] = digest[3];
 260   w1_t[0] = digest[4];
 261   w1_t[1] = digest[5];
 262   w1_t[2] = digest[6];
 263   w1_t[3] = digest[7];
 264   w2_t[0] = 0x8000000000000000;
 265   w2_t[1] = 0;
 266   w2_t[2] = 0;
 267   w2_t[3] = 0;
 268   w3_t[0] = 0;
 269   w3_t[1] = 0;
 270   w3_t[2] = 0;
 271   w3_t[3] = (128 + 64) * 8;
 272
 273   digest[0] = opad[0];
 274   digest[1] = opad[1];
 275   digest[2] = opad[2];
 276   digest[3] = opad[3];
 277   digest[4] = opad[4];
 278   digest[5] = opad[5];
 279   digest[6] = opad[6];
 280   digest[7] = opad[7];
 281
 282   sha512_transform (w0_t, w1_t, w2_t, w3_t, digest);
 283 }
 284
 285 static void m01760m (u32x w0[4], u32x w1[4], u32x w2[4], u32x w3[4], const u32 pw_len, __global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esal_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset)
 286 {
 287   /**
 288    * modifier
 289    */
 290
 291   const u32 gid = get_global_id (0);
 292   const u32 lid = get_local_id (0);
 293
 294   /**
 295    * salt
 296    */
 297
 298   u32 salt_buf0[4];
 299
 300   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[ 0];
 301   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[ 1];
 302   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[ 2];
 303   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[ 3];
 304
 305   u32 salt_buf1[4];
 306
 307   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[ 4];
 308   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[ 5];
 309   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[ 6];
 310   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[ 7];
 311
 312   /**
 313    * pads
 314    */
 315
 316   u32x w0_t[4];
 317
 318   w0_t[0] = swap_workaround (salt_buf0[0]);
 319   w0_t[1] = swap_workaround (salt_buf0[1]);
 320   w0_t[2] = swap_workaround (salt_buf0[2]);
 321   w0_t[3] = swap_workaround (salt_buf0[3]);
 322
 323   u32x w1_t[4];
 324
 325   w1_t[0] = swap_workaround (salt_buf1[0]);
 326   w1_t[1] = swap_workaround (salt_buf1[1]);
 327   w1_t[2] = swap_workaround (salt_buf1[2]);
 328   w1_t[3] = swap_workaround (salt_buf1[3]);
 329
 330   u32x w2_t[4];
 331
 332   w2_t[0] = 0;
 333   w2_t[1] = 0;
 334   w2_t[2] = 0;
 335   w2_t[3] = 0;
 336
 337   u32x w3_t[4];
 338
 339   w3_t[0] = 0;
 340   w3_t[1] = 0;
 341   w3_t[2] = 0;
 342   w3_t[3] = 0;
 343
 344   u64x ipad[8];
 345   u64x opad[8];
 346
 347   hmac_sha512_pad (w0_t, w1_t, w2_t, w3_t, ipad, opad);
 348
 349   /**
 350    * loop
 351    */
 352
 353   u32x w0l = w0[0];
 354
 355   for (u32 il_pos = 0; il_pos < bfs_cnt; il_pos++)
 356   {
 357     const u32 w0r = bfs_buf[il_pos].i;
 358
 359     w0[0] = w0l | w0r;
 360
 361     w0_t[0] = w0[0];
 362     w0_t[1] = w0[1];
 363     w0_t[2] = w0[2];
 364     w0_t[3] = w0[3];
 365     w1_t[0] = w1[0];
 366     w1_t[1] = w1[1];
 367     w1_t[2] = w1[2];
 368     w1_t[3] = w1[3];
 369     w2_t[0] = w2[0];
 370     w2_t[1] = w2[1];
 371     w2_t[2] = w2[2];
 372     w2_t[3] = w2[3];
 373     w3_t[0] = w3[0];
 374     w3_t[1] = w3[1];
 375     w3_t[2] = 0;
 376     w3_t[3] = (128 + pw_len) * 8;
 377
 378     u64x digest[8];
 379
 380     hmac_sha512_run (w0_t, w1_t, w2_t, w3_t, ipad, opad, digest);
 381
 382
 383     const u32x r0 = l32_from_64 (digest[7]);
 384     const u32x r1 = h32_from_64 (digest[7]);
 385     const u32x r2 = l32_from_64 (digest[3]);
 386     const u32x r3 = h32_from_64 (digest[3]);
 387
 388     #include VECT_COMPARE_M
 389   }
 390 }
 391
 392 static void m01760s (u32x w0[4], u32x w1[4], u32x w2[4], u32x w3[4], const u32 pw_len, __global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset)
 393 {
 394   /**
 395    * modifier
 396    */
 397
 398   const u32 gid = get_global_id (0);
 399   const u32 lid = get_local_id (0);
 400
 401   /**
 402    * salt
 403    */
 404
 405   u32 salt_buf0[4];
 406
 407   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[ 0];
 408   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[ 1];
 409   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[ 2];
 410   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[ 3];
 411
 412   u32 salt_buf1[4];
 413
 414   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[ 4];
 415   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[ 5];
 416   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[ 6];
 417   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[ 7];
 418
 419   /**
 420    * pads
 421    */
 422
 423   u32x w0_t[4];
 424
 425   w0_t[0] = swap_workaround (salt_buf0[0]);
 426   w0_t[1] = swap_workaround (salt_buf0[1]);
 427   w0_t[2] = swap_workaround (salt_buf0[2]);
 428   w0_t[3] = swap_workaround (salt_buf0[3]);
 429
 430   u32x w1_t[4];
 431
 432   w1_t[0] = swap_workaround (salt_buf1[0]);
 433   w1_t[1] = swap_workaround (salt_buf1[1]);
 434   w1_t[2] = swap_workaround (salt_buf1[2]);
 435   w1_t[3] = swap_workaround (salt_buf1[3]);
 436
 437   u32x w2_t[4];
 438
 439   w2_t[0] = 0;
 440   w2_t[1] = 0;
 441   w2_t[2] = 0;
 442   w2_t[3] = 0;
 443
 444   u32x w3_t[4];
 445
 446   w3_t[0] = 0;
 447   w3_t[1] = 0;
 448   w3_t[2] = 0;
 449   w3_t[3] = 0;
 450
 451   u64x ipad[8];
 452   u64x opad[8];
 453
 454   hmac_sha512_pad (w0_t, w1_t, w2_t, w3_t, ipad, opad);
 455
 456   /**
 457    * digest
 458    */
 459
 460   const u32 search[4] =
 461   {
 462     digests_buf[digests_offset].digest_buf[DGST_R0],
 463     digests_buf[digests_offset].digest_buf[DGST_R1],
 464     digests_buf[digests_offset].digest_buf[DGST_R2],
 465     digests_buf[digests_offset].digest_buf[DGST_R3]
 466   };
 467
 468   /**
 469    * loop
 470    */
 471
 472   u32x w0l = w0[0];
 473
 474   for (u32 il_pos = 0; il_pos < bfs_cnt; il_pos++)
 475   {
 476     const u32 w0r = bfs_buf[il_pos].i;
 477
 478     w0[0] = w0l | w0r;
 479
 480     w0_t[0] = w0[0];
 481     w0_t[1] = w0[1];
 482     w0_t[2] = w0[2];
 483     w0_t[3] = w0[3];
 484     w1_t[0] = w1[0];
 485     w1_t[1] = w1[1];
 486     w1_t[2] = w1[2];
 487     w1_t[3] = w1[3];
 488     w2_t[0] = w2[0];
 489     w2_t[1] = w2[1];
 490     w2_t[2] = w2[2];
 491     w2_t[3] = w2[3];
 492     w3_t[0] = w3[0];
 493     w3_t[1] = w3[1];
 494     w3_t[2] = 0;
 495     w3_t[3] = (128 + pw_len) * 8;
 496
 497     u64x digest[8];
 498
 499     hmac_sha512_run (w0_t, w1_t, w2_t, w3_t, ipad, opad, digest);
 500
 501
 502     const u32x r0 = l32_from_64 (digest[7]);
 503     const u32x r1 = h32_from_64 (digest[7]);
 504     const u32x r2 = l32_from_64 (digest[3]);
 505     const u32x r3 = h32_from_64 (digest[3]);
 506
 507     #include VECT_COMPARE_S
 508   }
 509 }
 510
 511 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m01760_m04 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 512 {
 513   /**
 514    * base
 515    */
 516
 517   const u32 gid = get_global_id (0);
 518
 519   if (gid >= gid_max) return;
 520
 521   u32x w0[4];
 522
 523   w0[0] = pws[gid].i[ 0];
 524   w0[1] = pws[gid].i[ 1];
 525   w0[2] = pws[gid].i[ 2];
 526   w0[3] = pws[gid].i[ 3];
 527
 528   u32x w1[4];
 529
 530   w1[0] = 0;
 531   w1[1] = 0;
 532   w1[2] = 0;
 533   w1[3] = 0;
 534
 535   u32x w2[4];
 536
 537   w2[0] = 0;
 538   w2[1] = 0;
 539   w2[2] = 0;
 540   w2[3] = 0;
 541
 542   u32x w3[4];
 543
 544   w3[0] = 0;
 545   w3[1] = 0;
 546   w3[2] = 0;
 547   w3[3] = 0;
 548
 549   const u32 pw_len = pws[gid].pw_len;
 550
 551   /**
 552    * main
 553    */
 554
 555   m01760m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
 556 }
 557
 558 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m01760_m08 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 559 {
 560   /**
 561    * base
 562    */
 563
 564   const u32 gid = get_global_id (0);
 565
 566   if (gid >= gid_max) return;
 567
 568   u32x w0[4];
 569
 570   w0[0] = pws[gid].i[ 0];
 571   w0[1] = pws[gid].i[ 1];
 572   w0[2] = pws[gid].i[ 2];
 573   w0[3] = pws[gid].i[ 3];
 574
 575   u32x w1[4];
 576
 577   w1[0] = pws[gid].i[ 4];
 578   w1[1] = pws[gid].i[ 5];
 579   w1[2] = pws[gid].i[ 6];
 580   w1[3] = pws[gid].i[ 7];
 581
 582   u32x w2[4];
 583
 584   w2[0] = 0;
 585   w2[1] = 0;
 586   w2[2] = 0;
 587   w2[3] = 0;
 588
 589   u32x w3[4];
 590
 591   w3[0] = 0;
 592   w3[1] = 0;
 593   w3[2] = 0;
 594   w3[3] = 0;
 595
 596   const u32 pw_len = pws[gid].pw_len;
 597
 598   /**
 599    * main
 600    */
 601
 602   m01760m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
 603 }
 604
 605 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m01760_m16 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 606 {
 607   /**
 608    * base
 609    */
 610
 611   const u32 gid = get_global_id (0);
 612
 613   if (gid >= gid_max) return;
 614
 615   u32x w0[4];
 616
 617   w0[0] = pws[gid].i[ 0];
 618   w0[1] = pws[gid].i[ 1];
 619   w0[2] = pws[gid].i[ 2];
 620   w0[3] = pws[gid].i[ 3];
 621
 622   u32x w1[4];
 623
 624   w1[0] = pws[gid].i[ 4];
 625   w1[1] = pws[gid].i[ 5];
 626   w1[2] = pws[gid].i[ 6];
 627   w1[3] = pws[gid].i[ 7];
 628
 629   u32x w2[4];
 630
 631   w2[0] = pws[gid].i[ 8];
 632   w2[1] = pws[gid].i[ 9];
 633   w2[2] = pws[gid].i[10];
 634   w2[3] = pws[gid].i[11];
 635
 636   u32x w3[4];
 637
 638   w3[0] = pws[gid].i[12];
 639   w3[1] = pws[gid].i[13];
 640   w3[2] = 0;
 641   w3[3] = 0;
 642
 643   const u32 pw_len = pws[gid].pw_len;
 644
 645   /**
 646    * main
 647    */
 648
 649   m01760m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
 650 }
 651
 652 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m01760_s04 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 653 {
 654   /**
 655    * base
 656    */
 657
 658   const u32 gid = get_global_id (0);
 659
 660   if (gid >= gid_max) return;
 661
 662   u32x w0[4];
 663
 664   w0[0] = pws[gid].i[ 0];
 665   w0[1] = pws[gid].i[ 1];
 666   w0[2] = pws[gid].i[ 2];
 667   w0[3] = pws[gid].i[ 3];
 668
 669   u32x w1[4];
 670
 671   w1[0] = 0;
 672   w1[1] = 0;
 673   w1[2] = 0;
 674   w1[3] = 0;
 675
 676   u32x w2[4];
 677
 678   w2[0] = 0;
 679   w2[1] = 0;
 680   w2[2] = 0;
 681   w2[3] = 0;
 682
 683   u32x w3[4];
 684
 685   w3[0] = 0;
 686   w3[1] = 0;
 687   w3[2] = 0;
 688   w3[3] = 0;
 689
 690   const u32 pw_len = pws[gid].pw_len;
 691
 692   /**
 693    * main
 694    */
 695
 696   m01760s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
 697 }
 698
 699 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m01760_s08 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 700 {
 701   /**
 702    * base
 703    */
 704
 705   const u32 gid = get_global_id (0);
 706
 707   if (gid >= gid_max) return;
 708
 709   u32x w0[4];
 710
 711   w0[0] = pws[gid].i[ 0];
 712   w0[1] = pws[gid].i[ 1];
 713   w0[2] = pws[gid].i[ 2];
 714   w0[3] = pws[gid].i[ 3];
 715
 716   u32x w1[4];
 717
 718   w1[0] = pws[gid].i[ 4];
 719   w1[1] = pws[gid].i[ 5];
 720   w1[2] = pws[gid].i[ 6];
 721   w1[3] = pws[gid].i[ 7];
 722
 723   u32x w2[4];
 724
 725   w2[0] = 0;
 726   w2[1] = 0;
 727   w2[2] = 0;
 728   w2[3] = 0;
 729
 730   u32x w3[4];
 731
 732   w3[0] = 0;
 733   w3[1] = 0;
 734   w3[2] = 0;
 735   w3[3] = 0;
 736
 737   const u32 pw_len = pws[gid].pw_len;
 738
 739   /**
 740    * main
 741    */
 742
 743   m01760s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
 744 }
 745
 746 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m01760_s16 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 747 {
 748   /**
 749    * base
 750    */
 751
 752   const u32 gid = get_global_id (0);
 753
 754   if (gid >= gid_max) return;
 755
 756   u32x w0[4];
 757
 758   w0[0] = pws[gid].i[ 0];
 759   w0[1] = pws[gid].i[ 1];
 760   w0[2] = pws[gid].i[ 2];
 761   w0[3] = pws[gid].i[ 3];
 762
 763   u32x w1[4];
 764
 765   w1[0] = pws[gid].i[ 4];
 766   w1[1] = pws[gid].i[ 5];
 767   w1[2] = pws[gid].i[ 6];
 768   w1[3] = pws[gid].i[ 7];
 769
 770   u32x w2[4];
 771
 772   w2[0] = pws[gid].i[ 8];
 773   w2[1] = pws[gid].i[ 9];
 774   w2[2] = pws[gid].i[10];
 775   w2[3] = pws[gid].i[11];
 776
 777   u32x w3[4];
 778
 779   w3[0] = pws[gid].i[12];
 780   w3[1] = pws[gid].i[13];
 781   w3[2] = 0;
 782   w3[3] = 0;
 783
 784   const u32 pw_len = pws[gid].pw_len;
 785
 786   /**
 787    * main
 788    */
 789
 790   m01760s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
 791 }