OpenCL/m10100_a1.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _SIPHASH_
   7
   8 //incompatible to simd
   9 //#define NEW_SIMD_CODE
  10
  11 #include "inc_hash_constants.h"
  12 #include "inc_vendor.cl"
  13
  14 #define DGST_R0 0
  15 #define DGST_R1 1
  16 #define DGST_R2 2
  17 #define DGST_R3 3
  18
  19 #include "inc_hash_functions.cl"
  20 #include "inc_types.cl"
  21 #include "inc_common.cl"
  22 #include "inc_simd.cl"
  23
  24 #define SIPROUND(v0,v1,v2,v3) \
  25   (v0) += (v1);               \
  26   (v1)  = rotl64 ((v1), 13);  \
  27   (v1) ^= (v0);               \
  28   (v0)  = rotl64 ((v0), 32);  \
  29   (v2) += (v3);               \
  30   (v3)  = rotl64 ((v3), 16);  \
  31   (v3) ^= (v2);               \
  32   (v0) += (v3);               \
  33   (v3)  = rotl64 ((v3), 21);  \
  34   (v3) ^= (v0);               \
  35   (v2) += (v1);               \
  36   (v1)  = rotl64 ((v1), 17);  \
  37   (v1) ^= (v2);               \
  38   (v2)  = rotl64 ((v2), 32)
  39
  40 __kernel void m10100_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
  41 {
  42   /**
  43    * modifier
  44    */
  45
  46   const u32 lid = get_local_id (0);
  47
  48   /**
  49    * base
  50    */
  51
  52   const u32 gid = get_global_id (0);
  53
  54   if (gid >= gid_max) return;
  55
  56   u32 pw_buf0[4];
  57   u32 pw_buf1[4];
  58
  59   pw_buf0[0] = pws[gid].i[0];
  60   pw_buf0[1] = pws[gid].i[1];
  61   pw_buf0[2] = pws[gid].i[2];
  62   pw_buf0[3] = pws[gid].i[3];
  63   pw_buf1[0] = pws[gid].i[4];
  64   pw_buf1[1] = pws[gid].i[5];
  65   pw_buf1[2] = pws[gid].i[6];
  66   pw_buf1[3] = pws[gid].i[7];
  67
  68   const u32 pw_l_len = pws[gid].pw_len;
  69
  70   /**
  71    * salt
  72    */
  73
  74   u64x v0p = SIPHASHM_0;
  75   u64x v1p = SIPHASHM_1;
  76   u64x v2p = SIPHASHM_2;
  77   u64x v3p = SIPHASHM_3;
  78
  79   v0p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[1], salt_bufs[salt_pos].salt_buf[0]);
  80   v1p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[3], salt_bufs[salt_pos].salt_buf[2]);
  81   v2p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[1], salt_bufs[salt_pos].salt_buf[0]);
  82   v3p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[3], salt_bufs[salt_pos].salt_buf[2]);
  83
  84   /**
  85    * loop
  86    */
  87
  88   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
  89   {
  90     const u32x pw_r_len = pwlenx_create_combt (combs_buf, il_pos);
  91
  92     const u32x pw_len = pw_l_len + pw_r_len;
  93
  94     /**
  95      * concat password candidate
  96      */
  97
  98     u32x wordl0[4] = { 0 };
  99     u32x wordl1[4] = { 0 };
 100     u32x wordl2[4] = { 0 };
 101     u32x wordl3[4] = { 0 };
 102
 103     wordl0[0] = pw_buf0[0];
 104     wordl0[1] = pw_buf0[1];
 105     wordl0[2] = pw_buf0[2];
 106     wordl0[3] = pw_buf0[3];
 107     wordl1[0] = pw_buf1[0];
 108     wordl1[1] = pw_buf1[1];
 109     wordl1[2] = pw_buf1[2];
 110     wordl1[3] = pw_buf1[3];
 111
 112     u32x wordr0[4] = { 0 };
 113     u32x wordr1[4] = { 0 };
 114     u32x wordr2[4] = { 0 };
 115     u32x wordr3[4] = { 0 };
 116
 117     wordr0[0] = ix_create_combt (combs_buf, il_pos, 0);
 118     wordr0[1] = ix_create_combt (combs_buf, il_pos, 1);
 119     wordr0[2] = ix_create_combt (combs_buf, il_pos, 2);
 120     wordr0[3] = ix_create_combt (combs_buf, il_pos, 3);
 121     wordr1[0] = ix_create_combt (combs_buf, il_pos, 4);
 122     wordr1[1] = ix_create_combt (combs_buf, il_pos, 5);
 123     wordr1[2] = ix_create_combt (combs_buf, il_pos, 6);
 124     wordr1[3] = ix_create_combt (combs_buf, il_pos, 7);
 125
 126     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 127     {
 128       switch_buffer_by_offset_le_VV (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 129     }
 130     else
 131     {
 132       switch_buffer_by_offset_le_VV (wordl0, wordl1, wordl2, wordl3, pw_r_len);
 133     }
 134
 135     u32x w0[4];
 136     u32x w1[4];
 137     u32x w2[4];
 138     u32x w3[4];
 139
 140     w0[0] = wordl0[0] | wordr0[0];
 141     w0[1] = wordl0[1] | wordr0[1];
 142     w0[2] = wordl0[2] | wordr0[2];
 143     w0[3] = wordl0[3] | wordr0[3];
 144     w1[0] = wordl1[0] | wordr1[0];
 145     w1[1] = wordl1[1] | wordr1[1];
 146     w1[2] = wordl1[2] | wordr1[2];
 147     w1[3] = wordl1[3] | wordr1[3];
 148     w2[0] = wordl2[0] | wordr2[0];
 149     w2[1] = wordl2[1] | wordr2[1];
 150     w2[2] = wordl2[2] | wordr2[2];
 151     w2[3] = wordl2[3] | wordr2[3];
 152     w3[0] = wordl3[0] | wordr3[0];
 153     w3[1] = wordl3[1] | wordr3[1];
 154     w3[2] = wordl3[2] | wordr3[2];
 155     w3[3] = wordl3[3] | wordr3[3];
 156
 157     /**
 158      * siphash
 159      */
 160
 161     switch (pw_len / 8)
 162     {
 163       case 0: w0[1] |= pw_len << 24; break;
 164       case 1: w0[3] |= pw_len << 24; break;
 165       case 2: w1[1] |= pw_len << 24; break;
 166       case 3: w1[3] |= pw_len << 24; break;
 167     }
 168
 169     u64x v0 = v0p;
 170     u64x v1 = v1p;
 171     u64x v2 = v2p;
 172     u64x v3 = v3p;
 173
 174     int i;
 175     int j;
 176
 177     for (i = 0, j = 0; i <= pw_len && i < 16; i += 8, j += 2)
 178     {
 179       u64x m = hl32_to_64 (w0[j + 1], w0[j + 0]);
 180
 181       v3 ^= m;
 182
 183       SIPROUND (v0, v1, v2, v3);
 184       SIPROUND (v0, v1, v2, v3);
 185
 186       v0 ^= m;
 187     }
 188
 189     for (       j = 0; i <= pw_len && i < 32; i += 8, j += 2)
 190     {
 191       u64x m = hl32_to_64 (w1[j + 1], w1[j + 0]);
 192
 193       v3 ^= m;
 194
 195       SIPROUND (v0, v1, v2, v3);
 196       SIPROUND (v0, v1, v2, v3);
 197
 198       v0 ^= m;
 199     }
 200
 201     v2 ^= 0xff;
 202
 203     SIPROUND (v0, v1, v2, v3);
 204     SIPROUND (v0, v1, v2, v3);
 205     SIPROUND (v0, v1, v2, v3);
 206     SIPROUND (v0, v1, v2, v3);
 207
 208     const u64x v = v0 ^ v1 ^ v2 ^ v3;
 209
 210     const u32x a = l32_from_64 (v);
 211     const u32x b = h32_from_64 (v);
 212
 213     const u32x z = 0;
 214
 215     COMPARE_M_SIMD (a, b, z, z);
 216   }
 217 }
 218
 219 __kernel void m10100_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 220 {
 221 }
 222
 223 __kernel void m10100_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 224 {
 225 }
 226
 227 __kernel void m10100_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 228 {
 229   /**
 230    * modifier
 231    */
 232
 233   const u32 lid = get_local_id (0);
 234
 235   /**
 236    * base
 237    */
 238
 239   const u32 gid = get_global_id (0);
 240
 241   if (gid >= gid_max) return;
 242
 243   u32 pw_buf0[4];
 244   u32 pw_buf1[4];
 245
 246   pw_buf0[0] = pws[gid].i[0];
 247   pw_buf0[1] = pws[gid].i[1];
 248   pw_buf0[2] = pws[gid].i[2];
 249   pw_buf0[3] = pws[gid].i[3];
 250   pw_buf1[0] = pws[gid].i[4];
 251   pw_buf1[1] = pws[gid].i[5];
 252   pw_buf1[2] = pws[gid].i[6];
 253   pw_buf1[3] = pws[gid].i[7];
 254
 255   const u32 pw_l_len = pws[gid].pw_len;
 256
 257   /**
 258    * salt
 259    */
 260
 261   u64x v0p = SIPHASHM_0;
 262   u64x v1p = SIPHASHM_1;
 263   u64x v2p = SIPHASHM_2;
 264   u64x v3p = SIPHASHM_3;
 265
 266   v0p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[1], salt_bufs[salt_pos].salt_buf[0]);
 267   v1p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[3], salt_bufs[salt_pos].salt_buf[2]);
 268   v2p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[1], salt_bufs[salt_pos].salt_buf[0]);
 269   v3p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[3], salt_bufs[salt_pos].salt_buf[2]);
 270
 271   /**
 272    * digest
 273    */
 274
 275   const u32 search[4] =
 276   {
 277     digests_buf[digests_offset].digest_buf[DGST_R0],
 278     digests_buf[digests_offset].digest_buf[DGST_R1],
 279     0,
 280     0
 281   };
 282
 283   /**
 284    * loop
 285    */
 286
 287   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 288   {
 289     const u32x pw_r_len = pwlenx_create_combt (combs_buf, il_pos);
 290
 291     const u32x pw_len = pw_l_len + pw_r_len;
 292
 293     /**
 294      * concat password candidate
 295      */
 296
 297     u32x wordl0[4] = { 0 };
 298     u32x wordl1[4] = { 0 };
 299     u32x wordl2[4] = { 0 };
 300     u32x wordl3[4] = { 0 };
 301
 302     wordl0[0] = pw_buf0[0];
 303     wordl0[1] = pw_buf0[1];
 304     wordl0[2] = pw_buf0[2];
 305     wordl0[3] = pw_buf0[3];
 306     wordl1[0] = pw_buf1[0];
 307     wordl1[1] = pw_buf1[1];
 308     wordl1[2] = pw_buf1[2];
 309     wordl1[3] = pw_buf1[3];
 310
 311     u32x wordr0[4] = { 0 };
 312     u32x wordr1[4] = { 0 };
 313     u32x wordr2[4] = { 0 };
 314     u32x wordr3[4] = { 0 };
 315
 316     wordr0[0] = ix_create_combt (combs_buf, il_pos, 0);
 317     wordr0[1] = ix_create_combt (combs_buf, il_pos, 1);
 318     wordr0[2] = ix_create_combt (combs_buf, il_pos, 2);
 319     wordr0[3] = ix_create_combt (combs_buf, il_pos, 3);
 320     wordr1[0] = ix_create_combt (combs_buf, il_pos, 4);
 321     wordr1[1] = ix_create_combt (combs_buf, il_pos, 5);
 322     wordr1[2] = ix_create_combt (combs_buf, il_pos, 6);
 323     wordr1[3] = ix_create_combt (combs_buf, il_pos, 7);
 324
 325     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 326     {
 327       switch_buffer_by_offset_le_VV (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 328     }
 329     else
 330     {
 331       switch_buffer_by_offset_le_VV (wordl0, wordl1, wordl2, wordl3, pw_r_len);
 332     }
 333
 334     u32x w0[4];
 335     u32x w1[4];
 336     u32x w2[4];
 337     u32x w3[4];
 338
 339     w0[0] = wordl0[0] | wordr0[0];
 340     w0[1] = wordl0[1] | wordr0[1];
 341     w0[2] = wordl0[2] | wordr0[2];
 342     w0[3] = wordl0[3] | wordr0[3];
 343     w1[0] = wordl1[0] | wordr1[0];
 344     w1[1] = wordl1[1] | wordr1[1];
 345     w1[2] = wordl1[2] | wordr1[2];
 346     w1[3] = wordl1[3] | wordr1[3];
 347     w2[0] = wordl2[0] | wordr2[0];
 348     w2[1] = wordl2[1] | wordr2[1];
 349     w2[2] = wordl2[2] | wordr2[2];
 350     w2[3] = wordl2[3] | wordr2[3];
 351     w3[0] = wordl3[0] | wordr3[0];
 352     w3[1] = wordl3[1] | wordr3[1];
 353     w3[2] = wordl3[2] | wordr3[2];
 354     w3[3] = wordl3[3] | wordr3[3];
 355
 356     /**
 357      * siphash
 358      */
 359
 360     switch (pw_len / 8)
 361     {
 362       case 0: w0[1] |= pw_len << 24; break;
 363       case 1: w0[3] |= pw_len << 24; break;
 364       case 2: w1[1] |= pw_len << 24; break;
 365       case 3: w1[3] |= pw_len << 24; break;
 366     }
 367
 368     u64x v0 = v0p;
 369     u64x v1 = v1p;
 370     u64x v2 = v2p;
 371     u64x v3 = v3p;
 372
 373     int i;
 374     int j;
 375
 376     for (i = 0, j = 0; i <= pw_len && i < 16; i += 8, j += 2)
 377     {
 378       u64x m = hl32_to_64 (w0[j + 1], w0[j + 0]);
 379
 380       v3 ^= m;
 381
 382       SIPROUND (v0, v1, v2, v3);
 383       SIPROUND (v0, v1, v2, v3);
 384
 385       v0 ^= m;
 386     }
 387
 388     for (       j = 0; i <= pw_len && i < 32; i += 8, j += 2)
 389     {
 390       u64x m = hl32_to_64 (w1[j + 1], w1[j + 0]);
 391
 392       v3 ^= m;
 393
 394       SIPROUND (v0, v1, v2, v3);
 395       SIPROUND (v0, v1, v2, v3);
 396
 397       v0 ^= m;
 398     }
 399
 400     v2 ^= 0xff;
 401
 402     SIPROUND (v0, v1, v2, v3);
 403     SIPROUND (v0, v1, v2, v3);
 404     SIPROUND (v0, v1, v2, v3);
 405     SIPROUND (v0, v1, v2, v3);
 406
 407     const u64x v = v0 ^ v1 ^ v2 ^ v3;
 408
 409     const u32x a = l32_from_64 (v);
 410     const u32x b = h32_from_64 (v);
 411
 412     const u32x z = 0;
 413
 414     COMPARE_S_SIMD (a, b, z, z);
 415   }
 416 }
 417
 418 __kernel void m10100_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 419 {
 420 }
 421
 422 __kernel void m10100_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 423 {
 424 }