OpenCL/m10400_a1.cl

   1 /**
   2  * Authors.....: Jens Steube <jens.steube@gmail.com>
   3  *               Gabriele Gristina <matrix@hashcat.net>
   4  *
   5  * License.....: MIT
   6  */
   7
   8 #define _MD5_
   9
  10 //too much register pressure
  11 //#define NEW_SIMD_CODE
  12
  13 #include "inc_vendor.cl"
  14 #include "inc_hash_constants.h"
  15 #include "inc_hash_functions.cl"
  16 #include "inc_types.cl"
  17 #include "inc_common.cl"
  18 #include "inc_simd.cl"
  19
  20 __constant u32 padding[8] =
  21 {
  22   0x5e4ebf28,
  23   0x418a754e,
  24   0x564e0064,
  25   0x0801faff,
  26   0xb6002e2e,
  27   0x803e68d0,
  28   0xfea90c2f,
  29   0x7a695364
  30 };
  31
  32 typedef struct
  33 {
  34   u8 S[256];
  35
  36   u32 wtf_its_faster;
  37
  38 } RC4_KEY;
  39
  40 void swap (__local RC4_KEY *rc4_key, const u8 i, const u8 j)
  41 {
  42   u8 tmp;
  43
  44   tmp           = rc4_key->S[i];
  45   rc4_key->S[i] = rc4_key->S[j];
  46   rc4_key->S[j] = tmp;
  47 }
  48
  49 void rc4_init_16 (__local RC4_KEY *rc4_key, const u32 data[4])
  50 {
  51   u32 v = 0x03020100;
  52   u32 a = 0x04040404;
  53
  54   __local u32 *ptr = (__local u32 *) rc4_key->S;
  55
  56   #ifdef _unroll
  57   #pragma unroll
  58   #endif
  59   for (u32 i = 0; i < 64; i++)
  60   {
  61     ptr[i] = v; v += a;
  62   }
  63
  64   const u32 d0 = data[0] >>  0;
  65   const u32 d1 = data[0] >>  8;
  66   const u32 d2 = data[0] >> 16;
  67   const u32 d3 = data[0] >> 24;
  68   const u32 d4 = data[1] >>  0;
  69
  70   u32 j = 0;
  71
  72   #ifdef _unroll
  73   #pragma unroll
  74   #endif
  75   for (u32 i = 0; i < 255; i += 5)
  76   {
  77     j += rc4_key->S[i + 0] + d0; swap (rc4_key, i + 0, j);
  78     j += rc4_key->S[i + 1] + d1; swap (rc4_key, i + 1, j);
  79     j += rc4_key->S[i + 2] + d2; swap (rc4_key, i + 2, j);
  80     j += rc4_key->S[i + 3] + d3; swap (rc4_key, i + 3, j);
  81     j += rc4_key->S[i + 4] + d4; swap (rc4_key, i + 4, j);
  82   }
  83
  84   j += rc4_key->S[255] + d0; swap (rc4_key, 255, j);
  85 }
  86
  87 u8 rc4_next_16 (__local RC4_KEY *rc4_key, u8 i, u8 j, __constant u32 *in, u32 out[4])
  88 {
  89   #ifdef _unroll
  90   #pragma unroll
  91   #endif
  92   for (u32 k = 0; k < 4; k++)
  93   {
  94     u32 xor4 = 0;
  95
  96     u8 idx;
  97
  98     i += 1;
  99     j += rc4_key->S[i];
 100
 101     swap (rc4_key, i, j);
 102
 103     idx = rc4_key->S[i] + rc4_key->S[j];
 104
 105     xor4 |= rc4_key->S[idx] <<  0;
 106
 107     i += 1;
 108     j += rc4_key->S[i];
 109
 110     swap (rc4_key, i, j);
 111
 112     idx = rc4_key->S[i] + rc4_key->S[j];
 113
 114     xor4 |= rc4_key->S[idx] <<  8;
 115
 116     i += 1;
 117     j += rc4_key->S[i];
 118
 119     swap (rc4_key, i, j);
 120
 121     idx = rc4_key->S[i] + rc4_key->S[j];
 122
 123     xor4 |= rc4_key->S[idx] << 16;
 124
 125     i += 1;
 126     j += rc4_key->S[i];
 127
 128     swap (rc4_key, i, j);
 129
 130     idx = rc4_key->S[i] + rc4_key->S[j];
 131
 132     xor4 |= rc4_key->S[idx] << 24;
 133
 134     out[k] = in[k] ^ xor4;
 135   }
 136
 137   return j;
 138 }
 139
 140 void md5_transform (const u32 w0[4], const u32 w1[4], const u32 w2[4], const u32 w3[4], u32 digest[4])
 141 {
 142   u32 a = digest[0];
 143   u32 b = digest[1];
 144   u32 c = digest[2];
 145   u32 d = digest[3];
 146
 147   u32 w0_t = w0[0];
 148   u32 w1_t = w0[1];
 149   u32 w2_t = w0[2];
 150   u32 w3_t = w0[3];
 151   u32 w4_t = w1[0];
 152   u32 w5_t = w1[1];
 153   u32 w6_t = w1[2];
 154   u32 w7_t = w1[3];
 155   u32 w8_t = w2[0];
 156   u32 w9_t = w2[1];
 157   u32 wa_t = w2[2];
 158   u32 wb_t = w2[3];
 159   u32 wc_t = w3[0];
 160   u32 wd_t = w3[1];
 161   u32 we_t = w3[2];
 162   u32 wf_t = w3[3];
 163
 164   MD5_STEP (MD5_Fo, a, b, c, d, w0_t, MD5C00, MD5S00);
 165   MD5_STEP (MD5_Fo, d, a, b, c, w1_t, MD5C01, MD5S01);
 166   MD5_STEP (MD5_Fo, c, d, a, b, w2_t, MD5C02, MD5S02);
 167   MD5_STEP (MD5_Fo, b, c, d, a, w3_t, MD5C03, MD5S03);
 168   MD5_STEP (MD5_Fo, a, b, c, d, w4_t, MD5C04, MD5S00);
 169   MD5_STEP (MD5_Fo, d, a, b, c, w5_t, MD5C05, MD5S01);
 170   MD5_STEP (MD5_Fo, c, d, a, b, w6_t, MD5C06, MD5S02);
 171   MD5_STEP (MD5_Fo, b, c, d, a, w7_t, MD5C07, MD5S03);
 172   MD5_STEP (MD5_Fo, a, b, c, d, w8_t, MD5C08, MD5S00);
 173   MD5_STEP (MD5_Fo, d, a, b, c, w9_t, MD5C09, MD5S01);
 174   MD5_STEP (MD5_Fo, c, d, a, b, wa_t, MD5C0a, MD5S02);
 175   MD5_STEP (MD5_Fo, b, c, d, a, wb_t, MD5C0b, MD5S03);
 176   MD5_STEP (MD5_Fo, a, b, c, d, wc_t, MD5C0c, MD5S00);
 177   MD5_STEP (MD5_Fo, d, a, b, c, wd_t, MD5C0d, MD5S01);
 178   MD5_STEP (MD5_Fo, c, d, a, b, we_t, MD5C0e, MD5S02);
 179   MD5_STEP (MD5_Fo, b, c, d, a, wf_t, MD5C0f, MD5S03);
 180
 181   MD5_STEP (MD5_Go, a, b, c, d, w1_t, MD5C10, MD5S10);
 182   MD5_STEP (MD5_Go, d, a, b, c, w6_t, MD5C11, MD5S11);
 183   MD5_STEP (MD5_Go, c, d, a, b, wb_t, MD5C12, MD5S12);
 184   MD5_STEP (MD5_Go, b, c, d, a, w0_t, MD5C13, MD5S13);
 185   MD5_STEP (MD5_Go, a, b, c, d, w5_t, MD5C14, MD5S10);
 186   MD5_STEP (MD5_Go, d, a, b, c, wa_t, MD5C15, MD5S11);
 187   MD5_STEP (MD5_Go, c, d, a, b, wf_t, MD5C16, MD5S12);
 188   MD5_STEP (MD5_Go, b, c, d, a, w4_t, MD5C17, MD5S13);
 189   MD5_STEP (MD5_Go, a, b, c, d, w9_t, MD5C18, MD5S10);
 190   MD5_STEP (MD5_Go, d, a, b, c, we_t, MD5C19, MD5S11);
 191   MD5_STEP (MD5_Go, c, d, a, b, w3_t, MD5C1a, MD5S12);
 192   MD5_STEP (MD5_Go, b, c, d, a, w8_t, MD5C1b, MD5S13);
 193   MD5_STEP (MD5_Go, a, b, c, d, wd_t, MD5C1c, MD5S10);
 194   MD5_STEP (MD5_Go, d, a, b, c, w2_t, MD5C1d, MD5S11);
 195   MD5_STEP (MD5_Go, c, d, a, b, w7_t, MD5C1e, MD5S12);
 196   MD5_STEP (MD5_Go, b, c, d, a, wc_t, MD5C1f, MD5S13);
 197
 198   MD5_STEP (MD5_H , a, b, c, d, w5_t, MD5C20, MD5S20);
 199   MD5_STEP (MD5_H , d, a, b, c, w8_t, MD5C21, MD5S21);
 200   MD5_STEP (MD5_H , c, d, a, b, wb_t, MD5C22, MD5S22);
 201   MD5_STEP (MD5_H , b, c, d, a, we_t, MD5C23, MD5S23);
 202   MD5_STEP (MD5_H , a, b, c, d, w1_t, MD5C24, MD5S20);
 203   MD5_STEP (MD5_H , d, a, b, c, w4_t, MD5C25, MD5S21);
 204   MD5_STEP (MD5_H , c, d, a, b, w7_t, MD5C26, MD5S22);
 205   MD5_STEP (MD5_H , b, c, d, a, wa_t, MD5C27, MD5S23);
 206   MD5_STEP (MD5_H , a, b, c, d, wd_t, MD5C28, MD5S20);
 207   MD5_STEP (MD5_H , d, a, b, c, w0_t, MD5C29, MD5S21);
 208   MD5_STEP (MD5_H , c, d, a, b, w3_t, MD5C2a, MD5S22);
 209   MD5_STEP (MD5_H , b, c, d, a, w6_t, MD5C2b, MD5S23);
 210   MD5_STEP (MD5_H , a, b, c, d, w9_t, MD5C2c, MD5S20);
 211   MD5_STEP (MD5_H , d, a, b, c, wc_t, MD5C2d, MD5S21);
 212   MD5_STEP (MD5_H , c, d, a, b, wf_t, MD5C2e, MD5S22);
 213   MD5_STEP (MD5_H , b, c, d, a, w2_t, MD5C2f, MD5S23);
 214
 215   MD5_STEP (MD5_I , a, b, c, d, w0_t, MD5C30, MD5S30);
 216   MD5_STEP (MD5_I , d, a, b, c, w7_t, MD5C31, MD5S31);
 217   MD5_STEP (MD5_I , c, d, a, b, we_t, MD5C32, MD5S32);
 218   MD5_STEP (MD5_I , b, c, d, a, w5_t, MD5C33, MD5S33);
 219   MD5_STEP (MD5_I , a, b, c, d, wc_t, MD5C34, MD5S30);
 220   MD5_STEP (MD5_I , d, a, b, c, w3_t, MD5C35, MD5S31);
 221   MD5_STEP (MD5_I , c, d, a, b, wa_t, MD5C36, MD5S32);
 222   MD5_STEP (MD5_I , b, c, d, a, w1_t, MD5C37, MD5S33);
 223   MD5_STEP (MD5_I , a, b, c, d, w8_t, MD5C38, MD5S30);
 224   MD5_STEP (MD5_I , d, a, b, c, wf_t, MD5C39, MD5S31);
 225   MD5_STEP (MD5_I , c, d, a, b, w6_t, MD5C3a, MD5S32);
 226   MD5_STEP (MD5_I , b, c, d, a, wd_t, MD5C3b, MD5S33);
 227   MD5_STEP (MD5_I , a, b, c, d, w4_t, MD5C3c, MD5S30);
 228   MD5_STEP (MD5_I , d, a, b, c, wb_t, MD5C3d, MD5S31);
 229   MD5_STEP (MD5_I , c, d, a, b, w2_t, MD5C3e, MD5S32);
 230   MD5_STEP (MD5_I , b, c, d, a, w9_t, MD5C3f, MD5S33);
 231
 232   digest[0] += a;
 233   digest[1] += b;
 234   digest[2] += c;
 235   digest[3] += d;
 236 }
 237
 238 __kernel void m10400_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global pdf_t *pdf_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 239 {
 240   /**
 241    * modifier
 242    */
 243
 244   const u32 lid = get_local_id (0);
 245
 246   /**
 247    * base
 248    */
 249
 250   const u32 gid = get_global_id (0);
 251
 252   if (gid >= gid_max) return;
 253
 254   u32 pw_buf0[4];
 255   u32 pw_buf1[4];
 256
 257   pw_buf0[0] = pws[gid].i[0];
 258   pw_buf0[1] = pws[gid].i[1];
 259   pw_buf0[2] = pws[gid].i[2];
 260   pw_buf0[3] = pws[gid].i[3];
 261   pw_buf1[0] = pws[gid].i[4];
 262   pw_buf1[1] = pws[gid].i[5];
 263   pw_buf1[2] = pws[gid].i[6];
 264   pw_buf1[3] = pws[gid].i[7];
 265
 266   const u32 pw_l_len = pws[gid].pw_len;
 267
 268   /**
 269    * shared
 270    */
 271
 272   __local RC4_KEY rc4_keys[64];
 273
 274   __local RC4_KEY *rc4_key = &rc4_keys[lid];
 275
 276   /**
 277    * U_buf
 278    */
 279
 280   u32 o_buf[8];
 281
 282   o_buf[0] = pdf_bufs[salt_pos].o_buf[0];
 283   o_buf[1] = pdf_bufs[salt_pos].o_buf[1];
 284   o_buf[2] = pdf_bufs[salt_pos].o_buf[2];
 285   o_buf[3] = pdf_bufs[salt_pos].o_buf[3];
 286   o_buf[4] = pdf_bufs[salt_pos].o_buf[4];
 287   o_buf[5] = pdf_bufs[salt_pos].o_buf[5];
 288   o_buf[6] = pdf_bufs[salt_pos].o_buf[6];
 289   o_buf[7] = pdf_bufs[salt_pos].o_buf[7];
 290
 291   u32 P = pdf_bufs[salt_pos].P;
 292
 293   u32 id_buf[4];
 294
 295   id_buf[0] = pdf_bufs[salt_pos].id_buf[0];
 296   id_buf[1] = pdf_bufs[salt_pos].id_buf[1];
 297   id_buf[2] = pdf_bufs[salt_pos].id_buf[2];
 298   id_buf[3] = pdf_bufs[salt_pos].id_buf[3];
 299
 300   /**
 301    * loop
 302    */
 303
 304   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 305   {
 306     const u32x pw_r_len = pwlenx_create_combt (combs_buf, il_pos);
 307
 308     const u32x pw_len = pw_l_len + pw_r_len;
 309
 310     /**
 311      * concat password candidate
 312      */
 313
 314     u32x wordl0[4] = { 0 };
 315     u32x wordl1[4] = { 0 };
 316     u32x wordl2[4] = { 0 };
 317     u32x wordl3[4] = { 0 };
 318
 319     wordl0[0] = pw_buf0[0];
 320     wordl0[1] = pw_buf0[1];
 321     wordl0[2] = pw_buf0[2];
 322     wordl0[3] = pw_buf0[3];
 323     wordl1[0] = pw_buf1[0];
 324     wordl1[1] = pw_buf1[1];
 325     wordl1[2] = pw_buf1[2];
 326     wordl1[3] = pw_buf1[3];
 327
 328     u32x wordr0[4] = { 0 };
 329     u32x wordr1[4] = { 0 };
 330     u32x wordr2[4] = { 0 };
 331     u32x wordr3[4] = { 0 };
 332
 333     wordr0[0] = ix_create_combt (combs_buf, il_pos, 0);
 334     wordr0[1] = ix_create_combt (combs_buf, il_pos, 1);
 335     wordr0[2] = ix_create_combt (combs_buf, il_pos, 2);
 336     wordr0[3] = ix_create_combt (combs_buf, il_pos, 3);
 337     wordr1[0] = ix_create_combt (combs_buf, il_pos, 4);
 338     wordr1[1] = ix_create_combt (combs_buf, il_pos, 5);
 339     wordr1[2] = ix_create_combt (combs_buf, il_pos, 6);
 340     wordr1[3] = ix_create_combt (combs_buf, il_pos, 7);
 341
 342     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 343     {
 344       switch_buffer_by_offset_le_VV (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 345     }
 346     else
 347     {
 348       switch_buffer_by_offset_le_VV (wordl0, wordl1, wordl2, wordl3, pw_r_len);
 349     }
 350
 351     u32x w0[4];
 352     u32x w1[4];
 353     u32x w2[4];
 354     u32x w3[4];
 355
 356     w0[0] = wordl0[0] | wordr0[0];
 357     w0[1] = wordl0[1] | wordr0[1];
 358     w0[2] = wordl0[2] | wordr0[2];
 359     w0[3] = wordl0[3] | wordr0[3];
 360     w1[0] = wordl1[0] | wordr1[0];
 361     w1[1] = wordl1[1] | wordr1[1];
 362     w1[2] = wordl1[2] | wordr1[2];
 363     w1[3] = wordl1[3] | wordr1[3];
 364     w2[0] = 0;
 365     w2[1] = 0;
 366     w2[2] = 0;
 367     w2[3] = 0;
 368     w3[0] = 0;
 369     w3[1] = 0;
 370     w3[2] = 0;
 371     w3[3] = 0;
 372
 373     /**
 374      * pdf
 375      */
 376
 377     u32 p0[4];
 378     u32 p1[4];
 379     u32 p2[4];
 380     u32 p3[4];
 381
 382     p0[0] = padding[0];
 383     p0[1] = padding[1];
 384     p0[2] = padding[2];
 385     p0[3] = padding[3];
 386     p1[0] = padding[4];
 387     p1[1] = padding[5];
 388     p1[2] = padding[6];
 389     p1[3] = padding[7];
 390     p2[0] = 0;
 391     p2[1] = 0;
 392     p2[2] = 0;
 393     p2[3] = 0;
 394     p3[0] = 0;
 395     p3[1] = 0;
 396     p3[2] = 0;
 397     p3[3] = 0;
 398
 399     switch_buffer_by_offset_le (p0, p1, p2, p3, pw_len);
 400
 401     // add password
 402     // truncate at 32 is wanted, not a bug!
 403     // add o_buf
 404
 405     w0[0] |= p0[0];
 406     w0[1] |= p0[1];
 407     w0[2] |= p0[2];
 408     w0[3] |= p0[3];
 409     w1[0] |= p1[0];
 410     w1[1] |= p1[1];
 411     w1[2] |= p1[2];
 412     w1[3] |= p1[3];
 413     w2[0]  = o_buf[0];
 414     w2[1]  = o_buf[1];
 415     w2[2]  = o_buf[2];
 416     w2[3]  = o_buf[3];
 417     w3[0]  = o_buf[4];
 418     w3[1]  = o_buf[5];
 419     w3[2]  = o_buf[6];
 420     w3[3]  = o_buf[7];
 421
 422     u32 digest[4];
 423
 424     digest[0] = MD5M_A;
 425     digest[1] = MD5M_B;
 426     digest[2] = MD5M_C;
 427     digest[3] = MD5M_D;
 428
 429     md5_transform (w0, w1, w2, w3, digest);
 430
 431     w0[0] = P;
 432     w0[1] = id_buf[0];
 433     w0[2] = id_buf[1];
 434     w0[3] = id_buf[2];
 435     w1[0] = id_buf[3];
 436     w1[1] = 0x80;
 437     w1[2] = 0;
 438     w1[3] = 0;
 439     w2[0] = 0;
 440     w2[1] = 0;
 441     w2[2] = 0;
 442     w2[3] = 0;
 443     w3[0] = 0;
 444     w3[1] = 0;
 445     w3[2] = 84 * 8;
 446     w3[3] = 0;
 447
 448     md5_transform (w0, w1, w2, w3, digest);
 449
 450     // now the RC4 part
 451
 452     digest[1] = digest[1] & 0xff;
 453     digest[2] = 0;
 454     digest[3] = 0;
 455
 456     rc4_init_16 (rc4_key, digest);
 457
 458     u32 out[4];
 459
 460     rc4_next_16 (rc4_key, 0, 0, padding, out);
 461
 462     COMPARE_M_SIMD (out[0], out[1], out[2], out[3]);
 463   }
 464 }
 465
 466 __kernel void m10400_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global pdf_t *pdf_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 467 {
 468 }
 469
 470 __kernel void m10400_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global pdf_t *pdf_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 471 {
 472 }
 473
 474 __kernel void m10400_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global pdf_t *pdf_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 475 {
 476   /**
 477    * modifier
 478    */
 479
 480   const u32 lid = get_local_id (0);
 481
 482   /**
 483    * base
 484    */
 485
 486   const u32 gid = get_global_id (0);
 487
 488   if (gid >= gid_max) return;
 489
 490   u32 pw_buf0[4];
 491   u32 pw_buf1[4];
 492
 493   pw_buf0[0] = pws[gid].i[0];
 494   pw_buf0[1] = pws[gid].i[1];
 495   pw_buf0[2] = pws[gid].i[2];
 496   pw_buf0[3] = pws[gid].i[3];
 497   pw_buf1[0] = pws[gid].i[4];
 498   pw_buf1[1] = pws[gid].i[5];
 499   pw_buf1[2] = pws[gid].i[6];
 500   pw_buf1[3] = pws[gid].i[7];
 501
 502   const u32 pw_l_len = pws[gid].pw_len;
 503
 504   /**
 505    * shared
 506    */
 507
 508   __local RC4_KEY rc4_keys[64];
 509
 510   __local RC4_KEY *rc4_key = &rc4_keys[lid];
 511
 512   /**
 513    * U_buf
 514    */
 515
 516   u32 o_buf[8];
 517
 518   o_buf[0] = pdf_bufs[salt_pos].o_buf[0];
 519   o_buf[1] = pdf_bufs[salt_pos].o_buf[1];
 520   o_buf[2] = pdf_bufs[salt_pos].o_buf[2];
 521   o_buf[3] = pdf_bufs[salt_pos].o_buf[3];
 522   o_buf[4] = pdf_bufs[salt_pos].o_buf[4];
 523   o_buf[5] = pdf_bufs[salt_pos].o_buf[5];
 524   o_buf[6] = pdf_bufs[salt_pos].o_buf[6];
 525   o_buf[7] = pdf_bufs[salt_pos].o_buf[7];
 526
 527   u32 P = pdf_bufs[salt_pos].P;
 528
 529   u32 id_buf[4];
 530
 531   id_buf[0] = pdf_bufs[salt_pos].id_buf[0];
 532   id_buf[1] = pdf_bufs[salt_pos].id_buf[1];
 533   id_buf[2] = pdf_bufs[salt_pos].id_buf[2];
 534   id_buf[3] = pdf_bufs[salt_pos].id_buf[3];
 535
 536   /**
 537    * digest
 538    */
 539
 540   const u32 search[4] =
 541   {
 542     digests_buf[digests_offset].digest_buf[DGST_R0],
 543     digests_buf[digests_offset].digest_buf[DGST_R1],
 544     digests_buf[digests_offset].digest_buf[DGST_R2],
 545     digests_buf[digests_offset].digest_buf[DGST_R3]
 546   };
 547
 548   /**
 549    * loop
 550    */
 551
 552   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 553   {
 554     const u32x pw_r_len = pwlenx_create_combt (combs_buf, il_pos);
 555
 556     const u32x pw_len = pw_l_len + pw_r_len;
 557
 558     /**
 559      * concat password candidate
 560      */
 561
 562     u32x wordl0[4] = { 0 };
 563     u32x wordl1[4] = { 0 };
 564     u32x wordl2[4] = { 0 };
 565     u32x wordl3[4] = { 0 };
 566
 567     wordl0[0] = pw_buf0[0];
 568     wordl0[1] = pw_buf0[1];
 569     wordl0[2] = pw_buf0[2];
 570     wordl0[3] = pw_buf0[3];
 571     wordl1[0] = pw_buf1[0];
 572     wordl1[1] = pw_buf1[1];
 573     wordl1[2] = pw_buf1[2];
 574     wordl1[3] = pw_buf1[3];
 575
 576     u32x wordr0[4] = { 0 };
 577     u32x wordr1[4] = { 0 };
 578     u32x wordr2[4] = { 0 };
 579     u32x wordr3[4] = { 0 };
 580
 581     wordr0[0] = ix_create_combt (combs_buf, il_pos, 0);
 582     wordr0[1] = ix_create_combt (combs_buf, il_pos, 1);
 583     wordr0[2] = ix_create_combt (combs_buf, il_pos, 2);
 584     wordr0[3] = ix_create_combt (combs_buf, il_pos, 3);
 585     wordr1[0] = ix_create_combt (combs_buf, il_pos, 4);
 586     wordr1[1] = ix_create_combt (combs_buf, il_pos, 5);
 587     wordr1[2] = ix_create_combt (combs_buf, il_pos, 6);
 588     wordr1[3] = ix_create_combt (combs_buf, il_pos, 7);
 589
 590     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 591     {
 592       switch_buffer_by_offset_le_VV (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 593     }
 594     else
 595     {
 596       switch_buffer_by_offset_le_VV (wordl0, wordl1, wordl2, wordl3, pw_r_len);
 597     }
 598
 599     u32x w0[4];
 600     u32x w1[4];
 601     u32x w2[4];
 602     u32x w3[4];
 603
 604     w0[0] = wordl0[0] | wordr0[0];
 605     w0[1] = wordl0[1] | wordr0[1];
 606     w0[2] = wordl0[2] | wordr0[2];
 607     w0[3] = wordl0[3] | wordr0[3];
 608     w1[0] = wordl1[0] | wordr1[0];
 609     w1[1] = wordl1[1] | wordr1[1];
 610     w1[2] = wordl1[2] | wordr1[2];
 611     w1[3] = wordl1[3] | wordr1[3];
 612     w2[0] = 0;
 613     w2[1] = 0;
 614     w2[2] = 0;
 615     w2[3] = 0;
 616     w3[0] = 0;
 617     w3[1] = 0;
 618     w3[2] = 0;
 619     w3[3] = 0;
 620
 621     /**
 622      * pdf
 623      */
 624
 625     u32 p0[4];
 626     u32 p1[4];
 627     u32 p2[4];
 628     u32 p3[4];
 629
 630     p0[0] = padding[0];
 631     p0[1] = padding[1];
 632     p0[2] = padding[2];
 633     p0[3] = padding[3];
 634     p1[0] = padding[4];
 635     p1[1] = padding[5];
 636     p1[2] = padding[6];
 637     p1[3] = padding[7];
 638     p2[0] = 0;
 639     p2[1] = 0;
 640     p2[2] = 0;
 641     p2[3] = 0;
 642     p3[0] = 0;
 643     p3[1] = 0;
 644     p3[2] = 0;
 645     p3[3] = 0;
 646
 647     switch_buffer_by_offset_le (p0, p1, p2, p3, pw_len);
 648
 649     // add password
 650     // truncate at 32 is wanted, not a bug!
 651     // add o_buf
 652
 653     w0[0] |= p0[0];
 654     w0[1] |= p0[1];
 655     w0[2] |= p0[2];
 656     w0[3] |= p0[3];
 657     w1[0] |= p1[0];
 658     w1[1] |= p1[1];
 659     w1[2] |= p1[2];
 660     w1[3] |= p1[3];
 661     w2[0]  = o_buf[0];
 662     w2[1]  = o_buf[1];
 663     w2[2]  = o_buf[2];
 664     w2[3]  = o_buf[3];
 665     w3[0]  = o_buf[4];
 666     w3[1]  = o_buf[5];
 667     w3[2]  = o_buf[6];
 668     w3[3]  = o_buf[7];
 669
 670     u32 digest[4];
 671
 672     digest[0] = MD5M_A;
 673     digest[1] = MD5M_B;
 674     digest[2] = MD5M_C;
 675     digest[3] = MD5M_D;
 676
 677     md5_transform (w0, w1, w2, w3, digest);
 678
 679     w0[0] = P;
 680     w0[1] = id_buf[0];
 681     w0[2] = id_buf[1];
 682     w0[3] = id_buf[2];
 683     w1[0] = id_buf[3];
 684     w1[1] = 0x80;
 685     w1[2] = 0;
 686     w1[3] = 0;
 687     w2[0] = 0;
 688     w2[1] = 0;
 689     w2[2] = 0;
 690     w2[3] = 0;
 691     w3[0] = 0;
 692     w3[1] = 0;
 693     w3[2] = 84 * 8;
 694     w3[3] = 0;
 695
 696     md5_transform (w0, w1, w2, w3, digest);
 697
 698     // now the RC4 part
 699
 700     digest[1] = digest[1] & 0xff;
 701     digest[2] = 0;
 702     digest[3] = 0;
 703
 704     rc4_init_16 (rc4_key, digest);
 705
 706     u32 out[4];
 707
 708     rc4_next_16 (rc4_key, 0, 0, padding, out);
 709
 710     COMPARE_S_SIMD (out[0], out[1], out[2], out[3]);
 711   }
 712 }
 713
 714 __kernel void m10400_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global pdf_t *pdf_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 715 {
 716 }
 717
 718 __kernel void m10400_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global pdf_t *pdf_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 719 {
 720 }