OpenCL/m05300_a3.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _MD5_
   7
   8 #define NEW_SIMD_CODE
   9
  10 #include "include/constants.h"
  11 #include "include/kernel_vendor.h"
  12
  13 #define DGST_R0 0
  14 #define DGST_R1 3
  15 #define DGST_R2 2
  16 #define DGST_R3 1
  17
  18 #include "include/kernel_functions.c"
  19 #include "OpenCL/types_ocl.c"
  20 #include "OpenCL/common.c"
  21 #include "OpenCL/simd.c"
  22
  23 static void md5_transform (const u32x w0[4], const u32x w1[4], const u32x w2[4], const u32x w3[4], u32x digest[4])
  24 {
  25   u32x a = digest[0];
  26   u32x b = digest[1];
  27   u32x c = digest[2];
  28   u32x d = digest[3];
  29
  30   u32x w0_t = w0[0];
  31   u32x w1_t = w0[1];
  32   u32x w2_t = w0[2];
  33   u32x w3_t = w0[3];
  34   u32x w4_t = w1[0];
  35   u32x w5_t = w1[1];
  36   u32x w6_t = w1[2];
  37   u32x w7_t = w1[3];
  38   u32x w8_t = w2[0];
  39   u32x w9_t = w2[1];
  40   u32x wa_t = w2[2];
  41   u32x wb_t = w2[3];
  42   u32x wc_t = w3[0];
  43   u32x wd_t = w3[1];
  44   u32x we_t = w3[2];
  45   u32x wf_t = w3[3];
  46
  47   MD5_STEP (MD5_Fo, a, b, c, d, w0_t, MD5C00, MD5S00);
  48   MD5_STEP (MD5_Fo, d, a, b, c, w1_t, MD5C01, MD5S01);
  49   MD5_STEP (MD5_Fo, c, d, a, b, w2_t, MD5C02, MD5S02);
  50   MD5_STEP (MD5_Fo, b, c, d, a, w3_t, MD5C03, MD5S03);
  51   MD5_STEP (MD5_Fo, a, b, c, d, w4_t, MD5C04, MD5S00);
  52   MD5_STEP (MD5_Fo, d, a, b, c, w5_t, MD5C05, MD5S01);
  53   MD5_STEP (MD5_Fo, c, d, a, b, w6_t, MD5C06, MD5S02);
  54   MD5_STEP (MD5_Fo, b, c, d, a, w7_t, MD5C07, MD5S03);
  55   MD5_STEP (MD5_Fo, a, b, c, d, w8_t, MD5C08, MD5S00);
  56   MD5_STEP (MD5_Fo, d, a, b, c, w9_t, MD5C09, MD5S01);
  57   MD5_STEP (MD5_Fo, c, d, a, b, wa_t, MD5C0a, MD5S02);
  58   MD5_STEP (MD5_Fo, b, c, d, a, wb_t, MD5C0b, MD5S03);
  59   MD5_STEP (MD5_Fo, a, b, c, d, wc_t, MD5C0c, MD5S00);
  60   MD5_STEP (MD5_Fo, d, a, b, c, wd_t, MD5C0d, MD5S01);
  61   MD5_STEP (MD5_Fo, c, d, a, b, we_t, MD5C0e, MD5S02);
  62   MD5_STEP (MD5_Fo, b, c, d, a, wf_t, MD5C0f, MD5S03);
  63
  64   MD5_STEP (MD5_Go, a, b, c, d, w1_t, MD5C10, MD5S10);
  65   MD5_STEP (MD5_Go, d, a, b, c, w6_t, MD5C11, MD5S11);
  66   MD5_STEP (MD5_Go, c, d, a, b, wb_t, MD5C12, MD5S12);
  67   MD5_STEP (MD5_Go, b, c, d, a, w0_t, MD5C13, MD5S13);
  68   MD5_STEP (MD5_Go, a, b, c, d, w5_t, MD5C14, MD5S10);
  69   MD5_STEP (MD5_Go, d, a, b, c, wa_t, MD5C15, MD5S11);
  70   MD5_STEP (MD5_Go, c, d, a, b, wf_t, MD5C16, MD5S12);
  71   MD5_STEP (MD5_Go, b, c, d, a, w4_t, MD5C17, MD5S13);
  72   MD5_STEP (MD5_Go, a, b, c, d, w9_t, MD5C18, MD5S10);
  73   MD5_STEP (MD5_Go, d, a, b, c, we_t, MD5C19, MD5S11);
  74   MD5_STEP (MD5_Go, c, d, a, b, w3_t, MD5C1a, MD5S12);
  75   MD5_STEP (MD5_Go, b, c, d, a, w8_t, MD5C1b, MD5S13);
  76   MD5_STEP (MD5_Go, a, b, c, d, wd_t, MD5C1c, MD5S10);
  77   MD5_STEP (MD5_Go, d, a, b, c, w2_t, MD5C1d, MD5S11);
  78   MD5_STEP (MD5_Go, c, d, a, b, w7_t, MD5C1e, MD5S12);
  79   MD5_STEP (MD5_Go, b, c, d, a, wc_t, MD5C1f, MD5S13);
  80
  81   MD5_STEP (MD5_H , a, b, c, d, w5_t, MD5C20, MD5S20);
  82   MD5_STEP (MD5_H , d, a, b, c, w8_t, MD5C21, MD5S21);
  83   MD5_STEP (MD5_H , c, d, a, b, wb_t, MD5C22, MD5S22);
  84   MD5_STEP (MD5_H , b, c, d, a, we_t, MD5C23, MD5S23);
  85   MD5_STEP (MD5_H , a, b, c, d, w1_t, MD5C24, MD5S20);
  86   MD5_STEP (MD5_H , d, a, b, c, w4_t, MD5C25, MD5S21);
  87   MD5_STEP (MD5_H , c, d, a, b, w7_t, MD5C26, MD5S22);
  88   MD5_STEP (MD5_H , b, c, d, a, wa_t, MD5C27, MD5S23);
  89   MD5_STEP (MD5_H , a, b, c, d, wd_t, MD5C28, MD5S20);
  90   MD5_STEP (MD5_H , d, a, b, c, w0_t, MD5C29, MD5S21);
  91   MD5_STEP (MD5_H , c, d, a, b, w3_t, MD5C2a, MD5S22);
  92   MD5_STEP (MD5_H , b, c, d, a, w6_t, MD5C2b, MD5S23);
  93   MD5_STEP (MD5_H , a, b, c, d, w9_t, MD5C2c, MD5S20);
  94   MD5_STEP (MD5_H , d, a, b, c, wc_t, MD5C2d, MD5S21);
  95   MD5_STEP (MD5_H , c, d, a, b, wf_t, MD5C2e, MD5S22);
  96   MD5_STEP (MD5_H , b, c, d, a, w2_t, MD5C2f, MD5S23);
  97
  98   MD5_STEP (MD5_I , a, b, c, d, w0_t, MD5C30, MD5S30);
  99   MD5_STEP (MD5_I , d, a, b, c, w7_t, MD5C31, MD5S31);
 100   MD5_STEP (MD5_I , c, d, a, b, we_t, MD5C32, MD5S32);
 101   MD5_STEP (MD5_I , b, c, d, a, w5_t, MD5C33, MD5S33);
 102   MD5_STEP (MD5_I , a, b, c, d, wc_t, MD5C34, MD5S30);
 103   MD5_STEP (MD5_I , d, a, b, c, w3_t, MD5C35, MD5S31);
 104   MD5_STEP (MD5_I , c, d, a, b, wa_t, MD5C36, MD5S32);
 105   MD5_STEP (MD5_I , b, c, d, a, w1_t, MD5C37, MD5S33);
 106   MD5_STEP (MD5_I , a, b, c, d, w8_t, MD5C38, MD5S30);
 107   MD5_STEP (MD5_I , d, a, b, c, wf_t, MD5C39, MD5S31);
 108   MD5_STEP (MD5_I , c, d, a, b, w6_t, MD5C3a, MD5S32);
 109   MD5_STEP (MD5_I , b, c, d, a, wd_t, MD5C3b, MD5S33);
 110   MD5_STEP (MD5_I , a, b, c, d, w4_t, MD5C3c, MD5S30);
 111   MD5_STEP (MD5_I , d, a, b, c, wb_t, MD5C3d, MD5S31);
 112   MD5_STEP (MD5_I , c, d, a, b, w2_t, MD5C3e, MD5S32);
 113   MD5_STEP (MD5_I , b, c, d, a, w9_t, MD5C3f, MD5S33);
 114
 115   digest[0] += a;
 116   digest[1] += b;
 117   digest[2] += c;
 118   digest[3] += d;
 119 }
 120
 121 static void hmac_md5_pad (u32x w0[4], u32x w1[4], u32x w2[4], u32x w3[4], u32x ipad[4], u32x opad[4])
 122 {
 123   w0[0] = w0[0] ^ 0x36363636;
 124   w0[1] = w0[1] ^ 0x36363636;
 125   w0[2] = w0[2] ^ 0x36363636;
 126   w0[3] = w0[3] ^ 0x36363636;
 127   w1[0] = w1[0] ^ 0x36363636;
 128   w1[1] = w1[1] ^ 0x36363636;
 129   w1[2] = w1[2] ^ 0x36363636;
 130   w1[3] = w1[3] ^ 0x36363636;
 131   w2[0] = w2[0] ^ 0x36363636;
 132   w2[1] = w2[1] ^ 0x36363636;
 133   w2[2] = w2[2] ^ 0x36363636;
 134   w2[3] = w2[3] ^ 0x36363636;
 135   w3[0] = w3[0] ^ 0x36363636;
 136   w3[1] = w3[1] ^ 0x36363636;
 137   w3[2] = w3[2] ^ 0x36363636;
 138   w3[3] = w3[3] ^ 0x36363636;
 139
 140   ipad[0] = MD5M_A;
 141   ipad[1] = MD5M_B;
 142   ipad[2] = MD5M_C;
 143   ipad[3] = MD5M_D;
 144
 145   md5_transform (w0, w1, w2, w3, ipad);
 146
 147   w0[0] = w0[0] ^ 0x6a6a6a6a;
 148   w0[1] = w0[1] ^ 0x6a6a6a6a;
 149   w0[2] = w0[2] ^ 0x6a6a6a6a;
 150   w0[3] = w0[3] ^ 0x6a6a6a6a;
 151   w1[0] = w1[0] ^ 0x6a6a6a6a;
 152   w1[1] = w1[1] ^ 0x6a6a6a6a;
 153   w1[2] = w1[2] ^ 0x6a6a6a6a;
 154   w1[3] = w1[3] ^ 0x6a6a6a6a;
 155   w2[0] = w2[0] ^ 0x6a6a6a6a;
 156   w2[1] = w2[1] ^ 0x6a6a6a6a;
 157   w2[2] = w2[2] ^ 0x6a6a6a6a;
 158   w2[3] = w2[3] ^ 0x6a6a6a6a;
 159   w3[0] = w3[0] ^ 0x6a6a6a6a;
 160   w3[1] = w3[1] ^ 0x6a6a6a6a;
 161   w3[2] = w3[2] ^ 0x6a6a6a6a;
 162   w3[3] = w3[3] ^ 0x6a6a6a6a;
 163
 164   opad[0] = MD5M_A;
 165   opad[1] = MD5M_B;
 166   opad[2] = MD5M_C;
 167   opad[3] = MD5M_D;
 168
 169   md5_transform (w0, w1, w2, w3, opad);
 170 }
 171
 172 static void hmac_md5_run (u32x w0[4], u32x w1[4], u32x w2[4], u32x w3[4], u32x ipad[4], u32x opad[4], u32x digest[4])
 173 {
 174   digest[0] = ipad[0];
 175   digest[1] = ipad[1];
 176   digest[2] = ipad[2];
 177   digest[3] = ipad[3];
 178
 179   md5_transform (w0, w1, w2, w3, digest);
 180
 181   w0[0] = digest[0];
 182   w0[1] = digest[1];
 183   w0[2] = digest[2];
 184   w0[3] = digest[3];
 185   w1[0] = 0x80;
 186   w1[1] = 0;
 187   w1[2] = 0;
 188   w1[3] = 0;
 189   w2[0] = 0;
 190   w2[1] = 0;
 191   w2[2] = 0;
 192   w2[3] = 0;
 193   w3[0] = 0;
 194   w3[1] = 0;
 195   w3[2] = (64 + 16) * 8;
 196   w3[3] = 0;
 197
 198   digest[0] = opad[0];
 199   digest[1] = opad[1];
 200   digest[2] = opad[2];
 201   digest[3] = opad[3];
 202
 203   md5_transform (w0, w1, w2, w3, digest);
 204 }
 205
 206 static void m05300m (__local u32 w_s[16], u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], const u32 pw_len, __global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global ikepsk_t *ikepsk_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, __local u32 s_msg_buf[128])
 207 {
 208   /**
 209    * modifier
 210    */
 211
 212   const u32 gid = get_global_id (0);
 213   const u32 lid = get_local_id (0);
 214
 215   /**
 216    * salt
 217    */
 218
 219   const u32 nr_len  = ikepsk_bufs[salt_pos].nr_len;
 220   const u32 msg_len = ikepsk_bufs[salt_pos].msg_len;
 221
 222   /**
 223    * loop
 224    */
 225
 226   u32 w0l = w0[0];
 227
 228   for (u32 il_pos = 0; il_pos < bfs_cnt; il_pos += VECT_SIZE)
 229   {
 230     const u32x w0r = w0r_create_bft (bfs_buf, il_pos);
 231
 232     const u32x w0lr = w0l | w0r;
 233
 234     /**
 235      * pads
 236      */
 237
 238     u32x w0_t[4];
 239
 240     w0_t[0] = w0lr;
 241     w0_t[1] = w0[1];
 242     w0_t[2] = w0[2];
 243     w0_t[3] = w0[3];
 244
 245     u32x w1_t[4];
 246
 247     w1_t[0] = w1[0];
 248     w1_t[1] = w1[1];
 249     w1_t[2] = w1[2];
 250     w1_t[3] = w1[3];
 251
 252     u32x w2_t[4];
 253
 254     w2_t[0] = w2[0];
 255     w2_t[1] = w2[1];
 256     w2_t[2] = w2[2];
 257     w2_t[3] = w2[3];
 258
 259     u32x w3_t[4];
 260
 261     w3_t[0] = w3[0];
 262     w3_t[1] = w3[1];
 263     w3_t[2] = w3[2];
 264     w3_t[3] = w3[3];
 265
 266     u32x ipad[4];
 267     u32x opad[4];
 268
 269     hmac_md5_pad (w0_t, w1_t, w2_t, w3_t, ipad, opad);
 270
 271     w0_t[0] = w_s[ 0];
 272     w0_t[1] = w_s[ 1];
 273     w0_t[2] = w_s[ 2];
 274     w0_t[3] = w_s[ 3];
 275     w1_t[0] = w_s[ 4];
 276     w1_t[1] = w_s[ 5];
 277     w1_t[2] = w_s[ 6];
 278     w1_t[3] = w_s[ 7];
 279     w2_t[0] = w_s[ 8];
 280     w2_t[1] = w_s[ 9];
 281     w2_t[2] = w_s[10];
 282     w2_t[3] = w_s[11];
 283     w3_t[0] = w_s[12];
 284     w3_t[1] = w_s[13];
 285     w3_t[2] = (64 + nr_len) * 8;
 286     w3_t[3] = 0;
 287
 288     u32x digest[4];
 289
 290     hmac_md5_run (w0_t, w1_t, w2_t, w3_t, ipad, opad, digest);
 291
 292     w0_t[0] = digest[0];
 293     w0_t[1] = digest[1];
 294     w0_t[2] = digest[2];
 295     w0_t[3] = digest[3];
 296     w1_t[0] = 0;
 297     w1_t[1] = 0;
 298     w1_t[2] = 0;
 299     w1_t[3] = 0;
 300     w2_t[0] = 0;
 301     w2_t[1] = 0;
 302     w2_t[2] = 0;
 303     w2_t[3] = 0;
 304     w3_t[0] = 0;
 305     w3_t[1] = 0;
 306     w3_t[2] = 0;
 307     w3_t[3] = 0;
 308
 309     hmac_md5_pad (w0_t, w1_t, w2_t, w3_t, ipad, opad);
 310
 311     int left;
 312     int off;
 313
 314     for (left = ikepsk_bufs[salt_pos].msg_len, off = 0; left >= 56; left -= 64, off += 16)
 315     {
 316       w0_t[0] = s_msg_buf[off +  0];
 317       w0_t[1] = s_msg_buf[off +  1];
 318       w0_t[2] = s_msg_buf[off +  2];
 319       w0_t[3] = s_msg_buf[off +  3];
 320       w1_t[0] = s_msg_buf[off +  4];
 321       w1_t[1] = s_msg_buf[off +  5];
 322       w1_t[2] = s_msg_buf[off +  6];
 323       w1_t[3] = s_msg_buf[off +  7];
 324       w2_t[0] = s_msg_buf[off +  8];
 325       w2_t[1] = s_msg_buf[off +  9];
 326       w2_t[2] = s_msg_buf[off + 10];
 327       w2_t[3] = s_msg_buf[off + 11];
 328       w3_t[0] = s_msg_buf[off + 12];
 329       w3_t[1] = s_msg_buf[off + 13];
 330       w3_t[2] = s_msg_buf[off + 14];
 331       w3_t[3] = s_msg_buf[off + 15];
 332
 333       md5_transform (w0_t, w1_t, w2_t, w3_t, ipad);
 334     }
 335
 336     w0_t[0] = s_msg_buf[off +  0];
 337     w0_t[1] = s_msg_buf[off +  1];
 338     w0_t[2] = s_msg_buf[off +  2];
 339     w0_t[3] = s_msg_buf[off +  3];
 340     w1_t[0] = s_msg_buf[off +  4];
 341     w1_t[1] = s_msg_buf[off +  5];
 342     w1_t[2] = s_msg_buf[off +  6];
 343     w1_t[3] = s_msg_buf[off +  7];
 344     w2_t[0] = s_msg_buf[off +  8];
 345     w2_t[1] = s_msg_buf[off +  9];
 346     w2_t[2] = s_msg_buf[off + 10];
 347     w2_t[3] = s_msg_buf[off + 11];
 348     w3_t[0] = s_msg_buf[off + 12];
 349     w3_t[1] = s_msg_buf[off + 13];
 350     w3_t[2] = (64 + msg_len) * 8;
 351     w3_t[3] = 0;
 352
 353     hmac_md5_run (w0_t, w1_t, w2_t, w3_t, ipad, opad, digest);
 354
 355     COMPARE_M_SIMD (digest[0], digest[3], digest[2], digest[1]);
 356   }
 357 }
 358
 359 static void m05300s (__local u32 w_s[16], u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], const u32 pw_len, __global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global ikepsk_t *ikepsk_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, __local u32 s_msg_buf[128])
 360 {
 361   /**
 362    * modifier
 363    */
 364
 365   const u32 gid = get_global_id (0);
 366   const u32 lid = get_local_id (0);
 367
 368   /**
 369    * salt
 370    */
 371
 372   const u32 nr_len  = ikepsk_bufs[salt_pos].nr_len;
 373   const u32 msg_len = ikepsk_bufs[salt_pos].msg_len;
 374
 375   /**
 376    * digest
 377    */
 378
 379   const u32 search[4] =
 380   {
 381     digests_buf[digests_offset].digest_buf[DGST_R0],
 382     digests_buf[digests_offset].digest_buf[DGST_R1],
 383     digests_buf[digests_offset].digest_buf[DGST_R2],
 384     digests_buf[digests_offset].digest_buf[DGST_R3]
 385   };
 386
 387   /**
 388    * loop
 389    */
 390
 391   u32 w0l = w0[0];
 392
 393   for (u32 il_pos = 0; il_pos < bfs_cnt; il_pos += VECT_SIZE)
 394   {
 395     const u32x w0r = w0r_create_bft (bfs_buf, il_pos);
 396
 397     const u32x w0lr = w0l | w0r;
 398
 399     /**
 400      * pads
 401      */
 402
 403     u32x w0_t[4];
 404
 405     w0_t[0] = w0lr;
 406     w0_t[1] = w0[1];
 407     w0_t[2] = w0[2];
 408     w0_t[3] = w0[3];
 409
 410     u32x w1_t[4];
 411
 412     w1_t[0] = w1[0];
 413     w1_t[1] = w1[1];
 414     w1_t[2] = w1[2];
 415     w1_t[3] = w1[3];
 416
 417     u32x w2_t[4];
 418
 419     w2_t[0] = w2[0];
 420     w2_t[1] = w2[1];
 421     w2_t[2] = w2[2];
 422     w2_t[3] = w2[3];
 423
 424     u32x w3_t[4];
 425
 426     w3_t[0] = w3[0];
 427     w3_t[1] = w3[1];
 428     w3_t[2] = w3[2];
 429     w3_t[3] = w3[3];
 430
 431     u32x ipad[4];
 432     u32x opad[4];
 433
 434     hmac_md5_pad (w0_t, w1_t, w2_t, w3_t, ipad, opad);
 435
 436     w0_t[0] = w_s[ 0];
 437     w0_t[1] = w_s[ 1];
 438     w0_t[2] = w_s[ 2];
 439     w0_t[3] = w_s[ 3];
 440     w1_t[0] = w_s[ 4];
 441     w1_t[1] = w_s[ 5];
 442     w1_t[2] = w_s[ 6];
 443     w1_t[3] = w_s[ 7];
 444     w2_t[0] = w_s[ 8];
 445     w2_t[1] = w_s[ 9];
 446     w2_t[2] = w_s[10];
 447     w2_t[3] = w_s[11];
 448     w3_t[0] = w_s[12];
 449     w3_t[1] = w_s[13];
 450     w3_t[2] = (64 + nr_len) * 8;
 451     w3_t[3] = 0;
 452
 453     u32x digest[4];
 454
 455     hmac_md5_run (w0_t, w1_t, w2_t, w3_t, ipad, opad, digest);
 456
 457     w0_t[0] = digest[0];
 458     w0_t[1] = digest[1];
 459     w0_t[2] = digest[2];
 460     w0_t[3] = digest[3];
 461     w1_t[0] = 0;
 462     w1_t[1] = 0;
 463     w1_t[2] = 0;
 464     w1_t[3] = 0;
 465     w2_t[0] = 0;
 466     w2_t[1] = 0;
 467     w2_t[2] = 0;
 468     w2_t[3] = 0;
 469     w3_t[0] = 0;
 470     w3_t[1] = 0;
 471     w3_t[2] = 0;
 472     w3_t[3] = 0;
 473
 474     hmac_md5_pad (w0_t, w1_t, w2_t, w3_t, ipad, opad);
 475
 476     int left;
 477     int off;
 478
 479     for (left = ikepsk_bufs[salt_pos].msg_len, off = 0; left >= 56; left -= 64, off += 16)
 480     {
 481       w0_t[0] = s_msg_buf[off +  0];
 482       w0_t[1] = s_msg_buf[off +  1];
 483       w0_t[2] = s_msg_buf[off +  2];
 484       w0_t[3] = s_msg_buf[off +  3];
 485       w1_t[0] = s_msg_buf[off +  4];
 486       w1_t[1] = s_msg_buf[off +  5];
 487       w1_t[2] = s_msg_buf[off +  6];
 488       w1_t[3] = s_msg_buf[off +  7];
 489       w2_t[0] = s_msg_buf[off +  8];
 490       w2_t[1] = s_msg_buf[off +  9];
 491       w2_t[2] = s_msg_buf[off + 10];
 492       w2_t[3] = s_msg_buf[off + 11];
 493       w3_t[0] = s_msg_buf[off + 12];
 494       w3_t[1] = s_msg_buf[off + 13];
 495       w3_t[2] = s_msg_buf[off + 14];
 496       w3_t[3] = s_msg_buf[off + 15];
 497
 498       md5_transform (w0_t, w1_t, w2_t, w3_t, ipad);
 499     }
 500
 501     w0_t[0] = s_msg_buf[off +  0];
 502     w0_t[1] = s_msg_buf[off +  1];
 503     w0_t[2] = s_msg_buf[off +  2];
 504     w0_t[3] = s_msg_buf[off +  3];
 505     w1_t[0] = s_msg_buf[off +  4];
 506     w1_t[1] = s_msg_buf[off +  5];
 507     w1_t[2] = s_msg_buf[off +  6];
 508     w1_t[3] = s_msg_buf[off +  7];
 509     w2_t[0] = s_msg_buf[off +  8];
 510     w2_t[1] = s_msg_buf[off +  9];
 511     w2_t[2] = s_msg_buf[off + 10];
 512     w2_t[3] = s_msg_buf[off + 11];
 513     w3_t[0] = s_msg_buf[off + 12];
 514     w3_t[1] = s_msg_buf[off + 13];
 515     w3_t[2] = (64 + msg_len) * 8;
 516     w3_t[3] = 0;
 517
 518     hmac_md5_run (w0_t, w1_t, w2_t, w3_t, ipad, opad, digest);
 519
 520     COMPARE_S_SIMD (digest[0], digest[3], digest[2], digest[1]);
 521   }
 522 }
 523
 524 __kernel void m05300_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global ikepsk_t *ikepsk_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 525 {
 526   /**
 527    * modifier
 528    */
 529
 530   const u32 gid = get_global_id (0);
 531   const u32 lid = get_local_id (0);
 532   const u32 lsz = get_local_size (0);
 533
 534   /**
 535    * s_msg
 536    */
 537
 538   __local u32 w_s[16];
 539
 540   for (u32 i = lid; i < 16; i += lsz)
 541   {
 542     w_s[i] = ikepsk_bufs[salt_pos].nr_buf[i];
 543   }
 544
 545   barrier (CLK_LOCAL_MEM_FENCE);
 546
 547   __local u32 s_msg_buf[128];
 548
 549   for (u32 i = lid; i < 128; i += lsz)
 550   {
 551     s_msg_buf[i] = ikepsk_bufs[salt_pos].msg_buf[i];
 552   }
 553
 554   barrier (CLK_LOCAL_MEM_FENCE);
 555
 556   if (gid >= gid_max) return;
 557
 558   /**
 559    * base
 560    */
 561
 562   u32 w0[4];
 563
 564   w0[0] = pws[gid].i[ 0];
 565   w0[1] = pws[gid].i[ 1];
 566   w0[2] = pws[gid].i[ 2];
 567   w0[3] = pws[gid].i[ 3];
 568
 569   u32 w1[4];
 570
 571   w1[0] = 0;
 572   w1[1] = 0;
 573   w1[2] = 0;
 574   w1[3] = 0;
 575
 576   u32 w2[4];
 577
 578   w2[0] = 0;
 579   w2[1] = 0;
 580   w2[2] = 0;
 581   w2[3] = 0;
 582
 583   u32 w3[4];
 584
 585   w3[0] = 0;
 586   w3[1] = 0;
 587   w3[2] = 0;
 588   w3[3] = 0;
 589
 590   const u32 pw_len = pws[gid].pw_len;
 591
 592   /**
 593    * main
 594    */
 595
 596   m05300m (w_s, w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, ikepsk_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset, s_msg_buf);
 597 }
 598
 599 __kernel void m05300_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global ikepsk_t *ikepsk_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 600 {
 601   /**
 602    * modifier
 603    */
 604
 605   const u32 gid = get_global_id (0);
 606   const u32 lid = get_local_id (0);
 607   const u32 lsz = get_local_size (0);
 608
 609   /**
 610    * s_msg
 611    */
 612
 613   __local u32 w_s[16];
 614
 615   for (u32 i = lid; i < 16; i += lsz)
 616   {
 617     w_s[i] = ikepsk_bufs[salt_pos].nr_buf[i];
 618   }
 619
 620   barrier (CLK_LOCAL_MEM_FENCE);
 621
 622   __local u32 s_msg_buf[128];
 623
 624   for (u32 i = lid; i < 128; i += lsz)
 625   {
 626     s_msg_buf[i] = ikepsk_bufs[salt_pos].msg_buf[i];
 627   }
 628
 629   barrier (CLK_LOCAL_MEM_FENCE);
 630
 631   if (gid >= gid_max) return;
 632
 633   /**
 634    * base
 635    */
 636
 637   u32 w0[4];
 638
 639   w0[0] = pws[gid].i[ 0];
 640   w0[1] = pws[gid].i[ 1];
 641   w0[2] = pws[gid].i[ 2];
 642   w0[3] = pws[gid].i[ 3];
 643
 644   u32 w1[4];
 645
 646   w1[0] = pws[gid].i[ 4];
 647   w1[1] = pws[gid].i[ 5];
 648   w1[2] = pws[gid].i[ 6];
 649   w1[3] = pws[gid].i[ 7];
 650
 651   u32 w2[4];
 652
 653   w2[0] = 0;
 654   w2[1] = 0;
 655   w2[2] = 0;
 656   w2[3] = 0;
 657
 658   u32 w3[4];
 659
 660   w3[0] = 0;
 661   w3[1] = 0;
 662   w3[2] = 0;
 663   w3[3] = 0;
 664
 665   const u32 pw_len = pws[gid].pw_len;
 666
 667   /**
 668    * main
 669    */
 670
 671   m05300m (w_s, w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, ikepsk_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset, s_msg_buf);
 672 }
 673
 674 __kernel void m05300_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global ikepsk_t *ikepsk_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 675 {
 676   /**
 677    * modifier
 678    */
 679
 680   const u32 gid = get_global_id (0);
 681   const u32 lid = get_local_id (0);
 682   const u32 lsz = get_local_size (0);
 683
 684   /**
 685    * s_msg
 686    */
 687
 688   __local u32 w_s[16];
 689
 690   for (u32 i = lid; i < 16; i += lsz)
 691   {
 692     w_s[i] = ikepsk_bufs[salt_pos].nr_buf[i];
 693   }
 694
 695   barrier (CLK_LOCAL_MEM_FENCE);
 696
 697   __local u32 s_msg_buf[128];
 698
 699   for (u32 i = lid; i < 128; i += lsz)
 700   {
 701     s_msg_buf[i] = ikepsk_bufs[salt_pos].msg_buf[i];
 702   }
 703
 704   barrier (CLK_LOCAL_MEM_FENCE);
 705
 706   if (gid >= gid_max) return;
 707
 708   /**
 709    * base
 710    */
 711
 712   u32 w0[4];
 713
 714   w0[0] = pws[gid].i[ 0];
 715   w0[1] = pws[gid].i[ 1];
 716   w0[2] = pws[gid].i[ 2];
 717   w0[3] = pws[gid].i[ 3];
 718
 719   u32 w1[4];
 720
 721   w1[0] = pws[gid].i[ 4];
 722   w1[1] = pws[gid].i[ 5];
 723   w1[2] = pws[gid].i[ 6];
 724   w1[3] = pws[gid].i[ 7];
 725
 726   u32 w2[4];
 727
 728   w2[0] = pws[gid].i[ 8];
 729   w2[1] = pws[gid].i[ 9];
 730   w2[2] = pws[gid].i[10];
 731   w2[3] = pws[gid].i[11];
 732
 733   u32 w3[4];
 734
 735   w3[0] = pws[gid].i[12];
 736   w3[1] = pws[gid].i[13];
 737   w3[2] = 0;
 738   w3[3] = 0;
 739
 740   const u32 pw_len = pws[gid].pw_len;
 741
 742   /**
 743    * main
 744    */
 745
 746   m05300m (w_s, w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, ikepsk_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset, s_msg_buf);
 747 }
 748
 749 __kernel void m05300_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global ikepsk_t *ikepsk_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 750 {
 751   /**
 752    * modifier
 753    */
 754
 755   const u32 gid = get_global_id (0);
 756   const u32 lid = get_local_id (0);
 757   const u32 lsz = get_local_size (0);
 758
 759   /**
 760    * s_msg
 761    */
 762
 763   __local u32 w_s[16];
 764
 765   for (u32 i = lid; i < 16; i += lsz)
 766   {
 767     w_s[i] = ikepsk_bufs[salt_pos].nr_buf[i];
 768   }
 769
 770   barrier (CLK_LOCAL_MEM_FENCE);
 771
 772   __local u32 s_msg_buf[128];
 773
 774   for (u32 i = lid; i < 128; i += lsz)
 775   {
 776     s_msg_buf[i] = ikepsk_bufs[salt_pos].msg_buf[i];
 777   }
 778
 779   barrier (CLK_LOCAL_MEM_FENCE);
 780
 781   if (gid >= gid_max) return;
 782
 783   /**
 784    * base
 785    */
 786
 787   u32 w0[4];
 788
 789   w0[0] = pws[gid].i[ 0];
 790   w0[1] = pws[gid].i[ 1];
 791   w0[2] = pws[gid].i[ 2];
 792   w0[3] = pws[gid].i[ 3];
 793
 794   u32 w1[4];
 795
 796   w1[0] = 0;
 797   w1[1] = 0;
 798   w1[2] = 0;
 799   w1[3] = 0;
 800
 801   u32 w2[4];
 802
 803   w2[0] = 0;
 804   w2[1] = 0;
 805   w2[2] = 0;
 806   w2[3] = 0;
 807
 808   u32 w3[4];
 809
 810   w3[0] = 0;
 811   w3[1] = 0;
 812   w3[2] = 0;
 813   w3[3] = 0;
 814
 815   const u32 pw_len = pws[gid].pw_len;
 816
 817   /**
 818    * main
 819    */
 820
 821   m05300s (w_s, w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, ikepsk_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset, s_msg_buf);
 822 }
 823
 824 __kernel void m05300_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global ikepsk_t *ikepsk_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 825 {
 826   /**
 827    * modifier
 828    */
 829
 830   const u32 gid = get_global_id (0);
 831   const u32 lid = get_local_id (0);
 832   const u32 lsz = get_local_size (0);
 833
 834   /**
 835    * s_msg
 836    */
 837
 838   __local u32 w_s[16];
 839
 840   for (u32 i = lid; i < 16; i += lsz)
 841   {
 842     w_s[i] = ikepsk_bufs[salt_pos].nr_buf[i];
 843   }
 844
 845   barrier (CLK_LOCAL_MEM_FENCE);
 846
 847   __local u32 s_msg_buf[128];
 848
 849   for (u32 i = lid; i < 128; i += lsz)
 850   {
 851     s_msg_buf[i] = ikepsk_bufs[salt_pos].msg_buf[i];
 852   }
 853
 854   barrier (CLK_LOCAL_MEM_FENCE);
 855
 856   if (gid >= gid_max) return;
 857
 858   /**
 859    * base
 860    */
 861
 862   u32 w0[4];
 863
 864   w0[0] = pws[gid].i[ 0];
 865   w0[1] = pws[gid].i[ 1];
 866   w0[2] = pws[gid].i[ 2];
 867   w0[3] = pws[gid].i[ 3];
 868
 869   u32 w1[4];
 870
 871   w1[0] = pws[gid].i[ 4];
 872   w1[1] = pws[gid].i[ 5];
 873   w1[2] = pws[gid].i[ 6];
 874   w1[3] = pws[gid].i[ 7];
 875
 876   u32 w2[4];
 877
 878   w2[0] = 0;
 879   w2[1] = 0;
 880   w2[2] = 0;
 881   w2[3] = 0;
 882
 883   u32 w3[4];
 884
 885   w3[0] = 0;
 886   w3[1] = 0;
 887   w3[2] = 0;
 888   w3[3] = 0;
 889
 890   const u32 pw_len = pws[gid].pw_len;
 891
 892   /**
 893    * main
 894    */
 895
 896   m05300s (w_s, w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, ikepsk_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset, s_msg_buf);
 897 }
 898
 899 __kernel void m05300_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global ikepsk_t *ikepsk_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 900 {
 901   /**
 902    * modifier
 903    */
 904
 905   const u32 gid = get_global_id (0);
 906   const u32 lid = get_local_id (0);
 907   const u32 lsz = get_local_size (0);
 908
 909   /**
 910    * s_msg
 911    */
 912
 913   __local u32 w_s[16];
 914
 915   for (u32 i = lid; i < 16; i += lsz)
 916   {
 917     w_s[i] = ikepsk_bufs[salt_pos].nr_buf[i];
 918   }
 919
 920   barrier (CLK_LOCAL_MEM_FENCE);
 921
 922   __local u32 s_msg_buf[128];
 923
 924   for (u32 i = lid; i < 128; i += lsz)
 925   {
 926     s_msg_buf[i] = ikepsk_bufs[salt_pos].msg_buf[i];
 927   }
 928
 929   barrier (CLK_LOCAL_MEM_FENCE);
 930
 931   if (gid >= gid_max) return;
 932
 933   /**
 934    * base
 935    */
 936
 937   u32 w0[4];
 938
 939   w0[0] = pws[gid].i[ 0];
 940   w0[1] = pws[gid].i[ 1];
 941   w0[2] = pws[gid].i[ 2];
 942   w0[3] = pws[gid].i[ 3];
 943
 944   u32 w1[4];
 945
 946   w1[0] = pws[gid].i[ 4];
 947   w1[1] = pws[gid].i[ 5];
 948   w1[2] = pws[gid].i[ 6];
 949   w1[3] = pws[gid].i[ 7];
 950
 951   u32 w2[4];
 952
 953   w2[0] = pws[gid].i[ 8];
 954   w2[1] = pws[gid].i[ 9];
 955   w2[2] = pws[gid].i[10];
 956   w2[3] = pws[gid].i[11];
 957
 958   u32 w3[4];
 959
 960   w3[0] = pws[gid].i[12];
 961   w3[1] = pws[gid].i[13];
 962   w3[2] = 0;
 963   w3[3] = 0;
 964
 965   const u32 pw_len = pws[gid].pw_len;
 966
 967   /**
 968    * main
 969    */
 970
 971   m05300s (w_s, w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, ikepsk_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset, s_msg_buf);
 972 }