OpenCL/m00040_a3.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _MD5_
   7
   8 #define NEW_SIMD_CODE
   9
  10 #include "inc_vendor.cl"
  11 #include "inc_hash_constants.h"
  12 #include "inc_hash_functions.cl"
  13 #include "inc_types.cl"
  14 #include "inc_common.cl"
  15 #include "inc_simd.cl"
  16
  17 void m00040m (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], const u32 pw_len, __global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset)
  18 {
  19   /**
  20    * modifier
  21    */
  22
  23   const u32 gid = get_global_id (0);
  24   const u32 lid = get_local_id (0);
  25
  26   /**
  27    * salt
  28    */
  29
  30   u32 salt_buf0[4];
  31   u32 salt_buf1[4];
  32   u32 salt_buf2[4];
  33   u32 salt_buf3[4];
  34
  35   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[ 0];
  36   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[ 1];
  37   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[ 2];
  38   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[ 3];
  39   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[ 4];
  40   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[ 5];
  41   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[ 6];
  42   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[ 7];
  43   salt_buf2[0] = salt_bufs[salt_pos].salt_buf[ 8];
  44   salt_buf2[1] = salt_bufs[salt_pos].salt_buf[ 9];
  45   salt_buf2[2] = salt_bufs[salt_pos].salt_buf[10];
  46   salt_buf2[3] = salt_bufs[salt_pos].salt_buf[11];
  47   salt_buf3[0] = salt_bufs[salt_pos].salt_buf[12];
  48   salt_buf3[1] = salt_bufs[salt_pos].salt_buf[13];
  49   salt_buf3[2] = salt_bufs[salt_pos].salt_buf[14];
  50   salt_buf3[3] = salt_bufs[salt_pos].salt_buf[15];
  51
  52   const u32 salt_len = salt_bufs[salt_pos].salt_len;
  53
  54   const u32 pw_salt_len = pw_len + salt_len;
  55
  56   /**
  57    * prepend salt
  58    */
  59
  60   const u32 w0l = w0[0];
  61
  62   switch_buffer_by_offset_le_S (w0, w1, w2, w3, salt_len);
  63
  64   w0[0] |= salt_buf0[0];
  65   w0[1] |= salt_buf0[1];
  66   w0[2] |= salt_buf0[2];
  67   w0[3] |= salt_buf0[3];
  68   w1[0] |= salt_buf1[0];
  69   w1[1] |= salt_buf1[1];
  70   w1[2] |= salt_buf1[2];
  71   w1[3] |= salt_buf1[3];
  72   w2[0] |= salt_buf2[0];
  73   w2[1] |= salt_buf2[1];
  74   w2[2] |= salt_buf2[2];
  75   w2[3] |= salt_buf2[3];
  76   w3[0] |= salt_buf3[0];
  77   w3[1] |= salt_buf3[1];
  78   w3[2] |= salt_buf3[2];
  79   w3[3] |= salt_buf3[3];
  80
  81   u32x t0[4];
  82   u32x t1[4];
  83   u32x t2[4];
  84   u32x t3[4];
  85
  86   t0[0] = w0[0];
  87   t0[1] = w0[1];
  88   t0[2] = w0[2];
  89   t0[3] = w0[3];
  90   t1[0] = w1[0];
  91   t1[1] = w1[1];
  92   t1[2] = w1[2];
  93   t1[3] = w1[3];
  94   t2[0] = w2[0];
  95   t2[1] = w2[1];
  96   t2[2] = w2[2];
  97   t2[3] = w2[3];
  98   t3[0] = w3[0];
  99   t3[1] = w3[1];
 100   t3[2] = pw_salt_len * 8;
 101   t3[3] = 0;
 102
 103   /**
 104    * loop
 105    */
 106
 107   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 108   {
 109     const u32x w0r = ix_create_bft (bfs_buf, il_pos);
 110
 111     const u32x w0lr = w0l | w0r;
 112
 113     overwrite_at_le_4x4 (t0, t1, t2, t3, w0lr, salt_len);
 114
 115     /**
 116      * md5
 117      */
 118
 119     u32x a = MD5M_A;
 120     u32x b = MD5M_B;
 121     u32x c = MD5M_C;
 122     u32x d = MD5M_D;
 123
 124     MD5_STEP (MD5_Fo, a, b, c, d, t0[0], MD5C00, MD5S00);
 125     MD5_STEP (MD5_Fo, d, a, b, c, t0[1], MD5C01, MD5S01);
 126     MD5_STEP (MD5_Fo, c, d, a, b, t0[2], MD5C02, MD5S02);
 127     MD5_STEP (MD5_Fo, b, c, d, a, t0[3], MD5C03, MD5S03);
 128     MD5_STEP (MD5_Fo, a, b, c, d, t1[0], MD5C04, MD5S00);
 129     MD5_STEP (MD5_Fo, d, a, b, c, t1[1], MD5C05, MD5S01);
 130     MD5_STEP (MD5_Fo, c, d, a, b, t1[2], MD5C06, MD5S02);
 131     MD5_STEP (MD5_Fo, b, c, d, a, t1[3], MD5C07, MD5S03);
 132     MD5_STEP (MD5_Fo, a, b, c, d, t2[0], MD5C08, MD5S00);
 133     MD5_STEP (MD5_Fo, d, a, b, c, t2[1], MD5C09, MD5S01);
 134     MD5_STEP (MD5_Fo, c, d, a, b, t2[2], MD5C0a, MD5S02);
 135     MD5_STEP (MD5_Fo, b, c, d, a, t2[3], MD5C0b, MD5S03);
 136     MD5_STEP (MD5_Fo, a, b, c, d, t3[0], MD5C0c, MD5S00);
 137     MD5_STEP (MD5_Fo, d, a, b, c, t3[1], MD5C0d, MD5S01);
 138     MD5_STEP (MD5_Fo, c, d, a, b, t3[2], MD5C0e, MD5S02);
 139     MD5_STEP (MD5_Fo, b, c, d, a, t3[3], MD5C0f, MD5S03);
 140
 141     MD5_STEP (MD5_Go, a, b, c, d, t0[1], MD5C10, MD5S10);
 142     MD5_STEP (MD5_Go, d, a, b, c, t1[2], MD5C11, MD5S11);
 143     MD5_STEP (MD5_Go, c, d, a, b, t2[3], MD5C12, MD5S12);
 144     MD5_STEP (MD5_Go, b, c, d, a, t0[0], MD5C13, MD5S13);
 145     MD5_STEP (MD5_Go, a, b, c, d, t1[1], MD5C14, MD5S10);
 146     MD5_STEP (MD5_Go, d, a, b, c, t2[2], MD5C15, MD5S11);
 147     MD5_STEP (MD5_Go, c, d, a, b, t3[3], MD5C16, MD5S12);
 148     MD5_STEP (MD5_Go, b, c, d, a, t1[0], MD5C17, MD5S13);
 149     MD5_STEP (MD5_Go, a, b, c, d, t2[1], MD5C18, MD5S10);
 150     MD5_STEP (MD5_Go, d, a, b, c, t3[2], MD5C19, MD5S11);
 151     MD5_STEP (MD5_Go, c, d, a, b, t0[3], MD5C1a, MD5S12);
 152     MD5_STEP (MD5_Go, b, c, d, a, t2[0], MD5C1b, MD5S13);
 153     MD5_STEP (MD5_Go, a, b, c, d, t3[1], MD5C1c, MD5S10);
 154     MD5_STEP (MD5_Go, d, a, b, c, t0[2], MD5C1d, MD5S11);
 155     MD5_STEP (MD5_Go, c, d, a, b, t1[3], MD5C1e, MD5S12);
 156     MD5_STEP (MD5_Go, b, c, d, a, t3[0], MD5C1f, MD5S13);
 157
 158     MD5_STEP (MD5_H , a, b, c, d, t1[1], MD5C20, MD5S20);
 159     MD5_STEP (MD5_H , d, a, b, c, t2[0], MD5C21, MD5S21);
 160     MD5_STEP (MD5_H , c, d, a, b, t2[3], MD5C22, MD5S22);
 161     MD5_STEP (MD5_H , b, c, d, a, t3[2], MD5C23, MD5S23);
 162     MD5_STEP (MD5_H , a, b, c, d, t0[1], MD5C24, MD5S20);
 163     MD5_STEP (MD5_H , d, a, b, c, t1[0], MD5C25, MD5S21);
 164     MD5_STEP (MD5_H , c, d, a, b, t1[3], MD5C26, MD5S22);
 165     MD5_STEP (MD5_H , b, c, d, a, t2[2], MD5C27, MD5S23);
 166     MD5_STEP (MD5_H , a, b, c, d, t3[1], MD5C28, MD5S20);
 167     MD5_STEP (MD5_H , d, a, b, c, t0[0], MD5C29, MD5S21);
 168     MD5_STEP (MD5_H , c, d, a, b, t0[3], MD5C2a, MD5S22);
 169     MD5_STEP (MD5_H , b, c, d, a, t1[2], MD5C2b, MD5S23);
 170     MD5_STEP (MD5_H , a, b, c, d, t2[1], MD5C2c, MD5S20);
 171     MD5_STEP (MD5_H , d, a, b, c, t3[0], MD5C2d, MD5S21);
 172     MD5_STEP (MD5_H , c, d, a, b, t3[3], MD5C2e, MD5S22);
 173     MD5_STEP (MD5_H , b, c, d, a, t0[2], MD5C2f, MD5S23);
 174
 175     MD5_STEP (MD5_I , a, b, c, d, t0[0], MD5C30, MD5S30);
 176     MD5_STEP (MD5_I , d, a, b, c, t1[3], MD5C31, MD5S31);
 177     MD5_STEP (MD5_I , c, d, a, b, t3[2], MD5C32, MD5S32);
 178     MD5_STEP (MD5_I , b, c, d, a, t1[1], MD5C33, MD5S33);
 179     MD5_STEP (MD5_I , a, b, c, d, t3[0], MD5C34, MD5S30);
 180     MD5_STEP (MD5_I , d, a, b, c, t0[3], MD5C35, MD5S31);
 181     MD5_STEP (MD5_I , c, d, a, b, t2[2], MD5C36, MD5S32);
 182     MD5_STEP (MD5_I , b, c, d, a, t0[1], MD5C37, MD5S33);
 183     MD5_STEP (MD5_I , a, b, c, d, t2[0], MD5C38, MD5S30);
 184     MD5_STEP (MD5_I , d, a, b, c, t3[3], MD5C39, MD5S31);
 185     MD5_STEP (MD5_I , c, d, a, b, t1[2], MD5C3a, MD5S32);
 186     MD5_STEP (MD5_I , b, c, d, a, t3[1], MD5C3b, MD5S33);
 187     MD5_STEP (MD5_I , a, b, c, d, t1[0], MD5C3c, MD5S30);
 188     MD5_STEP (MD5_I , d, a, b, c, t2[3], MD5C3d, MD5S31);
 189     MD5_STEP (MD5_I , c, d, a, b, t0[2], MD5C3e, MD5S32);
 190     MD5_STEP (MD5_I , b, c, d, a, t2[1], MD5C3f, MD5S33);
 191
 192     COMPARE_M_SIMD (a, d, c, b);
 193   }
 194 }
 195
 196 void m00040s (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], const u32 pw_len, __global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset)
 197 {
 198   /**
 199    * modifier
 200    */
 201
 202   const u32 gid = get_global_id (0);
 203   const u32 lid = get_local_id (0);
 204
 205   /**
 206    * digest
 207    */
 208
 209   const u32 search[4] =
 210   {
 211     digests_buf[digests_offset].digest_buf[DGST_R0],
 212     digests_buf[digests_offset].digest_buf[DGST_R1],
 213     digests_buf[digests_offset].digest_buf[DGST_R2],
 214     digests_buf[digests_offset].digest_buf[DGST_R3]
 215   };
 216
 217   /**
 218    * salt
 219    */
 220
 221   u32 salt_buf0[4];
 222   u32 salt_buf1[4];
 223   u32 salt_buf2[4];
 224   u32 salt_buf3[4];
 225
 226   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[ 0];
 227   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[ 1];
 228   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[ 2];
 229   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[ 3];
 230   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[ 4];
 231   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[ 5];
 232   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[ 6];
 233   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[ 7];
 234   salt_buf2[0] = salt_bufs[salt_pos].salt_buf[ 8];
 235   salt_buf2[1] = salt_bufs[salt_pos].salt_buf[ 9];
 236   salt_buf2[2] = salt_bufs[salt_pos].salt_buf[10];
 237   salt_buf2[3] = salt_bufs[salt_pos].salt_buf[11];
 238   salt_buf3[0] = salt_bufs[salt_pos].salt_buf[12];
 239   salt_buf3[1] = salt_bufs[salt_pos].salt_buf[13];
 240   salt_buf3[2] = salt_bufs[salt_pos].salt_buf[14];
 241   salt_buf3[3] = salt_bufs[salt_pos].salt_buf[15];
 242
 243   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 244
 245   const u32 pw_salt_len = pw_len + salt_len;
 246
 247   /**
 248    * prepend salt
 249    */
 250
 251   const u32 w0l = w0[0];
 252
 253   switch_buffer_by_offset_le_S (w0, w1, w2, w3, salt_len);
 254
 255   w0[0] |= salt_buf0[0];
 256   w0[1] |= salt_buf0[1];
 257   w0[2] |= salt_buf0[2];
 258   w0[3] |= salt_buf0[3];
 259   w1[0] |= salt_buf1[0];
 260   w1[1] |= salt_buf1[1];
 261   w1[2] |= salt_buf1[2];
 262   w1[3] |= salt_buf1[3];
 263   w2[0] |= salt_buf2[0];
 264   w2[1] |= salt_buf2[1];
 265   w2[2] |= salt_buf2[2];
 266   w2[3] |= salt_buf2[3];
 267   w3[0] |= salt_buf3[0];
 268   w3[1] |= salt_buf3[1];
 269   w3[2] |= salt_buf3[2];
 270   w3[3] |= salt_buf3[3];
 271
 272   u32x t0[4];
 273   u32x t1[4];
 274   u32x t2[4];
 275   u32x t3[4];
 276
 277   t0[0] = w0[0];
 278   t0[1] = w0[1];
 279   t0[2] = w0[2];
 280   t0[3] = w0[3];
 281   t1[0] = w1[0];
 282   t1[1] = w1[1];
 283   t1[2] = w1[2];
 284   t1[3] = w1[3];
 285   t2[0] = w2[0];
 286   t2[1] = w2[1];
 287   t2[2] = w2[2];
 288   t2[3] = w2[3];
 289   t3[0] = w3[0];
 290   t3[1] = w3[1];
 291   t3[2] = pw_salt_len * 8;
 292   t3[3] = 0;
 293
 294   /**
 295    * loop
 296    */
 297
 298   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 299   {
 300     const u32x w0r = ix_create_bft (bfs_buf, il_pos);
 301
 302     const u32x w0lr = w0l | w0r;
 303
 304     overwrite_at_le_4x4 (t0, t1, t2, t3, w0lr, salt_len);
 305
 306     /**
 307      * md5
 308      */
 309
 310     u32x a = MD5M_A;
 311     u32x b = MD5M_B;
 312     u32x c = MD5M_C;
 313     u32x d = MD5M_D;
 314
 315     MD5_STEP (MD5_Fo, a, b, c, d, t0[0], MD5C00, MD5S00);
 316     MD5_STEP (MD5_Fo, d, a, b, c, t0[1], MD5C01, MD5S01);
 317     MD5_STEP (MD5_Fo, c, d, a, b, t0[2], MD5C02, MD5S02);
 318     MD5_STEP (MD5_Fo, b, c, d, a, t0[3], MD5C03, MD5S03);
 319     MD5_STEP (MD5_Fo, a, b, c, d, t1[0], MD5C04, MD5S00);
 320     MD5_STEP (MD5_Fo, d, a, b, c, t1[1], MD5C05, MD5S01);
 321     MD5_STEP (MD5_Fo, c, d, a, b, t1[2], MD5C06, MD5S02);
 322     MD5_STEP (MD5_Fo, b, c, d, a, t1[3], MD5C07, MD5S03);
 323     MD5_STEP (MD5_Fo, a, b, c, d, t2[0], MD5C08, MD5S00);
 324     MD5_STEP (MD5_Fo, d, a, b, c, t2[1], MD5C09, MD5S01);
 325     MD5_STEP (MD5_Fo, c, d, a, b, t2[2], MD5C0a, MD5S02);
 326     MD5_STEP (MD5_Fo, b, c, d, a, t2[3], MD5C0b, MD5S03);
 327     MD5_STEP (MD5_Fo, a, b, c, d, t3[0], MD5C0c, MD5S00);
 328     MD5_STEP (MD5_Fo, d, a, b, c, t3[1], MD5C0d, MD5S01);
 329     MD5_STEP (MD5_Fo, c, d, a, b, t3[2], MD5C0e, MD5S02);
 330     MD5_STEP (MD5_Fo, b, c, d, a, t3[3], MD5C0f, MD5S03);
 331
 332     MD5_STEP (MD5_Go, a, b, c, d, t0[1], MD5C10, MD5S10);
 333     MD5_STEP (MD5_Go, d, a, b, c, t1[2], MD5C11, MD5S11);
 334     MD5_STEP (MD5_Go, c, d, a, b, t2[3], MD5C12, MD5S12);
 335     MD5_STEP (MD5_Go, b, c, d, a, t0[0], MD5C13, MD5S13);
 336     MD5_STEP (MD5_Go, a, b, c, d, t1[1], MD5C14, MD5S10);
 337     MD5_STEP (MD5_Go, d, a, b, c, t2[2], MD5C15, MD5S11);
 338     MD5_STEP (MD5_Go, c, d, a, b, t3[3], MD5C16, MD5S12);
 339     MD5_STEP (MD5_Go, b, c, d, a, t1[0], MD5C17, MD5S13);
 340     MD5_STEP (MD5_Go, a, b, c, d, t2[1], MD5C18, MD5S10);
 341     MD5_STEP (MD5_Go, d, a, b, c, t3[2], MD5C19, MD5S11);
 342     MD5_STEP (MD5_Go, c, d, a, b, t0[3], MD5C1a, MD5S12);
 343     MD5_STEP (MD5_Go, b, c, d, a, t2[0], MD5C1b, MD5S13);
 344     MD5_STEP (MD5_Go, a, b, c, d, t3[1], MD5C1c, MD5S10);
 345     MD5_STEP (MD5_Go, d, a, b, c, t0[2], MD5C1d, MD5S11);
 346     MD5_STEP (MD5_Go, c, d, a, b, t1[3], MD5C1e, MD5S12);
 347     MD5_STEP (MD5_Go, b, c, d, a, t3[0], MD5C1f, MD5S13);
 348
 349     MD5_STEP (MD5_H , a, b, c, d, t1[1], MD5C20, MD5S20);
 350     MD5_STEP (MD5_H , d, a, b, c, t2[0], MD5C21, MD5S21);
 351     MD5_STEP (MD5_H , c, d, a, b, t2[3], MD5C22, MD5S22);
 352     MD5_STEP (MD5_H , b, c, d, a, t3[2], MD5C23, MD5S23);
 353     MD5_STEP (MD5_H , a, b, c, d, t0[1], MD5C24, MD5S20);
 354     MD5_STEP (MD5_H , d, a, b, c, t1[0], MD5C25, MD5S21);
 355     MD5_STEP (MD5_H , c, d, a, b, t1[3], MD5C26, MD5S22);
 356     MD5_STEP (MD5_H , b, c, d, a, t2[2], MD5C27, MD5S23);
 357     MD5_STEP (MD5_H , a, b, c, d, t3[1], MD5C28, MD5S20);
 358     MD5_STEP (MD5_H , d, a, b, c, t0[0], MD5C29, MD5S21);
 359     MD5_STEP (MD5_H , c, d, a, b, t0[3], MD5C2a, MD5S22);
 360     MD5_STEP (MD5_H , b, c, d, a, t1[2], MD5C2b, MD5S23);
 361     MD5_STEP (MD5_H , a, b, c, d, t2[1], MD5C2c, MD5S20);
 362     MD5_STEP (MD5_H , d, a, b, c, t3[0], MD5C2d, MD5S21);
 363     MD5_STEP (MD5_H , c, d, a, b, t3[3], MD5C2e, MD5S22);
 364     MD5_STEP (MD5_H , b, c, d, a, t0[2], MD5C2f, MD5S23);
 365
 366     MD5_STEP (MD5_I , a, b, c, d, t0[0], MD5C30, MD5S30);
 367     MD5_STEP (MD5_I , d, a, b, c, t1[3], MD5C31, MD5S31);
 368     MD5_STEP (MD5_I , c, d, a, b, t3[2], MD5C32, MD5S32);
 369     MD5_STEP (MD5_I , b, c, d, a, t1[1], MD5C33, MD5S33);
 370     MD5_STEP (MD5_I , a, b, c, d, t3[0], MD5C34, MD5S30);
 371     MD5_STEP (MD5_I , d, a, b, c, t0[3], MD5C35, MD5S31);
 372     MD5_STEP (MD5_I , c, d, a, b, t2[2], MD5C36, MD5S32);
 373     MD5_STEP (MD5_I , b, c, d, a, t0[1], MD5C37, MD5S33);
 374     MD5_STEP (MD5_I , a, b, c, d, t2[0], MD5C38, MD5S30);
 375     MD5_STEP (MD5_I , d, a, b, c, t3[3], MD5C39, MD5S31);
 376     MD5_STEP (MD5_I , c, d, a, b, t1[2], MD5C3a, MD5S32);
 377     MD5_STEP (MD5_I , b, c, d, a, t3[1], MD5C3b, MD5S33);
 378     MD5_STEP (MD5_I , a, b, c, d, t1[0], MD5C3c, MD5S30);
 379
 380     if (MATCHES_NONE_VS (a, search[0])) continue;
 381
 382     MD5_STEP (MD5_I , d, a, b, c, t2[3], MD5C3d, MD5S31);
 383     MD5_STEP (MD5_I , c, d, a, b, t0[2], MD5C3e, MD5S32);
 384     MD5_STEP (MD5_I , b, c, d, a, t2[1], MD5C3f, MD5S33);
 385
 386     COMPARE_S_SIMD (a, d, c, b);
 387   }
 388 }
 389
 390 __kernel void m00040_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 391 {
 392   /**
 393    * base
 394    */
 395
 396   const u32 gid = get_global_id (0);
 397
 398   if (gid >= gid_max) return;
 399
 400   u32 w0[4];
 401
 402   w0[0] = pws[gid].i[ 0];
 403   w0[1] = pws[gid].i[ 1];
 404   w0[2] = pws[gid].i[ 2];
 405   w0[3] = pws[gid].i[ 3];
 406
 407   u32 w1[4];
 408
 409   w1[0] = 0;
 410   w1[1] = 0;
 411   w1[2] = 0;
 412   w1[3] = 0;
 413
 414   u32 w2[4];
 415
 416   w2[0] = 0;
 417   w2[1] = 0;
 418   w2[2] = 0;
 419   w2[3] = 0;
 420
 421   u32 w3[4];
 422
 423   w3[0] = 0;
 424   w3[1] = 0;
 425   w3[2] = 0;
 426   w3[3] = 0;
 427
 428   const u32 pw_len = pws[gid].pw_len;
 429
 430   /**
 431    * main
 432    */
 433
 434   m00040m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV0_buf, d_scryptV1_buf, d_scryptV2_buf, d_scryptV3_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset);
 435 }
 436
 437 __kernel void m00040_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 438 {
 439   /**
 440    * base
 441    */
 442
 443   const u32 gid = get_global_id (0);
 444
 445   if (gid >= gid_max) return;
 446
 447   u32 w0[4];
 448
 449   w0[0] = pws[gid].i[ 0];
 450   w0[1] = pws[gid].i[ 1];
 451   w0[2] = pws[gid].i[ 2];
 452   w0[3] = pws[gid].i[ 3];
 453
 454   u32 w1[4];
 455
 456   w1[0] = pws[gid].i[ 4];
 457   w1[1] = pws[gid].i[ 5];
 458   w1[2] = pws[gid].i[ 6];
 459   w1[3] = pws[gid].i[ 7];
 460
 461   u32 w2[4];
 462
 463   w2[0] = 0;
 464   w2[1] = 0;
 465   w2[2] = 0;
 466   w2[3] = 0;
 467
 468   u32 w3[4];
 469
 470   w3[0] = 0;
 471   w3[1] = 0;
 472   w3[2] = 0;
 473   w3[3] = 0;
 474
 475   const u32 pw_len = pws[gid].pw_len;
 476
 477   /**
 478    * main
 479    */
 480
 481   m00040m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV0_buf, d_scryptV1_buf, d_scryptV2_buf, d_scryptV3_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset);
 482 }
 483
 484 __kernel void m00040_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 485 {
 486   /**
 487    * base
 488    */
 489
 490   const u32 gid = get_global_id (0);
 491
 492   if (gid >= gid_max) return;
 493
 494   u32 w0[4];
 495
 496   w0[0] = pws[gid].i[ 0];
 497   w0[1] = pws[gid].i[ 1];
 498   w0[2] = pws[gid].i[ 2];
 499   w0[3] = pws[gid].i[ 3];
 500
 501   u32 w1[4];
 502
 503   w1[0] = pws[gid].i[ 4];
 504   w1[1] = pws[gid].i[ 5];
 505   w1[2] = pws[gid].i[ 6];
 506   w1[3] = pws[gid].i[ 7];
 507
 508   u32 w2[4];
 509
 510   w2[0] = pws[gid].i[ 8];
 511   w2[1] = pws[gid].i[ 9];
 512   w2[2] = pws[gid].i[10];
 513   w2[3] = pws[gid].i[11];
 514
 515   u32 w3[4];
 516
 517   w3[0] = pws[gid].i[12];
 518   w3[1] = pws[gid].i[13];
 519   w3[2] = 0;
 520   w3[3] = 0;
 521
 522   const u32 pw_len = pws[gid].pw_len;
 523
 524   /**
 525    * main
 526    */
 527
 528   m00040m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV0_buf, d_scryptV1_buf, d_scryptV2_buf, d_scryptV3_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset);
 529 }
 530
 531 __kernel void m00040_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 532 {
 533   /**
 534    * base
 535    */
 536
 537   const u32 gid = get_global_id (0);
 538
 539   if (gid >= gid_max) return;
 540
 541   u32 w0[4];
 542
 543   w0[0] = pws[gid].i[ 0];
 544   w0[1] = pws[gid].i[ 1];
 545   w0[2] = pws[gid].i[ 2];
 546   w0[3] = pws[gid].i[ 3];
 547
 548   u32 w1[4];
 549
 550   w1[0] = 0;
 551   w1[1] = 0;
 552   w1[2] = 0;
 553   w1[3] = 0;
 554
 555   u32 w2[4];
 556
 557   w2[0] = 0;
 558   w2[1] = 0;
 559   w2[2] = 0;
 560   w2[3] = 0;
 561
 562   u32 w3[4];
 563
 564   w3[0] = 0;
 565   w3[1] = 0;
 566   w3[2] = 0;
 567   w3[3] = 0;
 568
 569   const u32 pw_len = pws[gid].pw_len;
 570
 571   /**
 572    * main
 573    */
 574
 575   m00040s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV0_buf, d_scryptV1_buf, d_scryptV2_buf, d_scryptV3_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset);
 576 }
 577
 578 __kernel void m00040_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 579 {
 580   /**
 581    * base
 582    */
 583
 584   const u32 gid = get_global_id (0);
 585
 586   if (gid >= gid_max) return;
 587
 588   u32 w0[4];
 589
 590   w0[0] = pws[gid].i[ 0];
 591   w0[1] = pws[gid].i[ 1];
 592   w0[2] = pws[gid].i[ 2];
 593   w0[3] = pws[gid].i[ 3];
 594
 595   u32 w1[4];
 596
 597   w1[0] = pws[gid].i[ 4];
 598   w1[1] = pws[gid].i[ 5];
 599   w1[2] = pws[gid].i[ 6];
 600   w1[3] = pws[gid].i[ 7];
 601
 602   u32 w2[4];
 603
 604   w2[0] = 0;
 605   w2[1] = 0;
 606   w2[2] = 0;
 607   w2[3] = 0;
 608
 609   u32 w3[4];
 610
 611   w3[0] = 0;
 612   w3[1] = 0;
 613   w3[2] = 0;
 614   w3[3] = 0;
 615
 616   const u32 pw_len = pws[gid].pw_len;
 617
 618   /**
 619    * main
 620    */
 621
 622   m00040s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV0_buf, d_scryptV1_buf, d_scryptV2_buf, d_scryptV3_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset);
 623 }
 624
 625 __kernel void m00040_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 626 {
 627   /**
 628    * base
 629    */
 630
 631   const u32 gid = get_global_id (0);
 632
 633   if (gid >= gid_max) return;
 634
 635   u32 w0[4];
 636
 637   w0[0] = pws[gid].i[ 0];
 638   w0[1] = pws[gid].i[ 1];
 639   w0[2] = pws[gid].i[ 2];
 640   w0[3] = pws[gid].i[ 3];
 641
 642   u32 w1[4];
 643
 644   w1[0] = pws[gid].i[ 4];
 645   w1[1] = pws[gid].i[ 5];
 646   w1[2] = pws[gid].i[ 6];
 647   w1[3] = pws[gid].i[ 7];
 648
 649   u32 w2[4];
 650
 651   w2[0] = pws[gid].i[ 8];
 652   w2[1] = pws[gid].i[ 9];
 653   w2[2] = pws[gid].i[10];
 654   w2[3] = pws[gid].i[11];
 655
 656   u32 w3[4];
 657
 658   w3[0] = pws[gid].i[12];
 659   w3[1] = pws[gid].i[13];
 660   w3[2] = 0;
 661   w3[3] = 0;
 662
 663   const u32 pw_len = pws[gid].pw_len;
 664
 665   /**
 666    * main
 667    */
 668
 669   m00040s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV0_buf, d_scryptV1_buf, d_scryptV2_buf, d_scryptV3_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset);
 670 }