OpenCL/m10100_a0.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _SIPHASH_
   7
   8 //incompatible to simd
   9 //#define NEW_SIMD_CODE
  10
  11 #include "inc_hash_constants.h"
  12 #include "inc_vendor.cl"
  13
  14 #define DGST_R0 0
  15 #define DGST_R1 1
  16 #define DGST_R2 2
  17 #define DGST_R3 3
  18
  19 #include "inc_hash_functions.cl"
  20 #include "inc_types.cl"
  21 #include "inc_common.cl"
  22 #include "inc_rp.h"
  23 #include "inc_rp.cl"
  24 #include "inc_simd.cl"
  25
  26 #define SIPROUND(v0,v1,v2,v3) \
  27   (v0) += (v1);               \
  28   (v1)  = rotl64 ((v1), 13);  \
  29   (v1) ^= (v0);               \
  30   (v0)  = rotl64 ((v0), 32);  \
  31   (v2) += (v3);               \
  32   (v3)  = rotl64 ((v3), 16);  \
  33   (v3) ^= (v2);               \
  34   (v0) += (v3);               \
  35   (v3)  = rotl64 ((v3), 21);  \
  36   (v3) ^= (v0);               \
  37   (v2) += (v1);               \
  38   (v1)  = rotl64 ((v1), 17);  \
  39   (v1) ^= (v2);               \
  40   (v2)  = rotl64 ((v2), 32)
  41
  42 __kernel void m10100_m04 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
  43 {
  44   /**
  45    * modifier
  46    */
  47
  48   const u32 lid = get_local_id (0);
  49
  50   /**
  51    * base
  52    */
  53
  54   const u32 gid = get_global_id (0);
  55
  56   if (gid >= gid_max) return;
  57
  58   u32 pw_buf0[4];
  59   u32 pw_buf1[4];
  60
  61   pw_buf0[0] = pws[gid].i[ 0];
  62   pw_buf0[1] = pws[gid].i[ 1];
  63   pw_buf0[2] = pws[gid].i[ 2];
  64   pw_buf0[3] = pws[gid].i[ 3];
  65   pw_buf1[0] = pws[gid].i[ 4];
  66   pw_buf1[1] = pws[gid].i[ 5];
  67   pw_buf1[2] = pws[gid].i[ 6];
  68   pw_buf1[3] = pws[gid].i[ 7];
  69
  70   const u32 pw_len = pws[gid].pw_len;
  71
  72   /**
  73    * salt
  74    */
  75
  76   u64x v0p = SIPHASHM_0;
  77   u64x v1p = SIPHASHM_1;
  78   u64x v2p = SIPHASHM_2;
  79   u64x v3p = SIPHASHM_3;
  80
  81   v0p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[1], salt_bufs[salt_pos].salt_buf[0]);
  82   v1p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[3], salt_bufs[salt_pos].salt_buf[2]);
  83   v2p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[1], salt_bufs[salt_pos].salt_buf[0]);
  84   v3p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[3], salt_bufs[salt_pos].salt_buf[2]);
  85
  86   /**
  87    * loop
  88    */
  89
  90   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
  91   {
  92     u32x w0[4] = { 0 };
  93     u32x w1[4] = { 0 };
  94     u32x w2[4] = { 0 };
  95     u32x w3[4] = { 0 };
  96
  97     const u32x out_len = apply_rules_vect (pw_buf0, pw_buf1, pw_len, rules_buf, il_pos, w0, w1);
  98
  99     /**
 100      * siphash
 101      */
 102
 103     switch (out_len / 8)
 104     {
 105       case 0: w0[1] |= out_len << 24; break;
 106       case 1: w0[3] |= out_len << 24; break;
 107       case 2: w1[1] |= out_len << 24; break;
 108       case 3: w1[3] |= out_len << 24; break;
 109     }
 110
 111     u64x v0 = v0p;
 112     u64x v1 = v1p;
 113     u64x v2 = v2p;
 114     u64x v3 = v3p;
 115
 116     int i;
 117     int j;
 118
 119     for (i = 0, j = 0; i <= out_len && i < 16; i += 8, j += 2)
 120     {
 121       u64x m = hl32_to_64 (w0[j + 1], w0[j + 0]);
 122
 123       v3 ^= m;
 124
 125       SIPROUND (v0, v1, v2, v3);
 126       SIPROUND (v0, v1, v2, v3);
 127
 128       v0 ^= m;
 129     }
 130
 131     for (       j = 0; i <= out_len && i < 32; i += 8, j += 2)
 132     {
 133       u64x m = hl32_to_64 (w1[j + 1], w1[j + 0]);
 134
 135       v3 ^= m;
 136
 137       SIPROUND (v0, v1, v2, v3);
 138       SIPROUND (v0, v1, v2, v3);
 139
 140       v0 ^= m;
 141     }
 142
 143     v2 ^= 0xff;
 144
 145     SIPROUND (v0, v1, v2, v3);
 146     SIPROUND (v0, v1, v2, v3);
 147     SIPROUND (v0, v1, v2, v3);
 148     SIPROUND (v0, v1, v2, v3);
 149
 150     const u64x v = v0 ^ v1 ^ v2 ^ v3;
 151
 152     const u32x a = l32_from_64 (v);
 153     const u32x b = h32_from_64 (v);
 154
 155     const u32x z = 0;
 156
 157     COMPARE_M_SIMD (a, b, z, z);
 158   }
 159 }
 160
 161 __kernel void m10100_m08 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 162 {
 163 }
 164
 165 __kernel void m10100_m16 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 166 {
 167 }
 168
 169 __kernel void m10100_s04 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 170 {
 171   /**
 172    * modifier
 173    */
 174
 175   const u32 lid = get_local_id (0);
 176
 177   /**
 178    * base
 179    */
 180
 181   const u32 gid = get_global_id (0);
 182
 183   if (gid >= gid_max) return;
 184
 185   u32 pw_buf0[4];
 186   u32 pw_buf1[4];
 187
 188   pw_buf0[0] = pws[gid].i[ 0];
 189   pw_buf0[1] = pws[gid].i[ 1];
 190   pw_buf0[2] = pws[gid].i[ 2];
 191   pw_buf0[3] = pws[gid].i[ 3];
 192   pw_buf1[0] = pws[gid].i[ 4];
 193   pw_buf1[1] = pws[gid].i[ 5];
 194   pw_buf1[2] = pws[gid].i[ 6];
 195   pw_buf1[3] = pws[gid].i[ 7];
 196
 197   const u32 pw_len = pws[gid].pw_len;
 198
 199   /**
 200    * salt
 201    */
 202
 203   u64x v0p = SIPHASHM_0;
 204   u64x v1p = SIPHASHM_1;
 205   u64x v2p = SIPHASHM_2;
 206   u64x v3p = SIPHASHM_3;
 207
 208   v0p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[1], salt_bufs[salt_pos].salt_buf[0]);
 209   v1p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[3], salt_bufs[salt_pos].salt_buf[2]);
 210   v2p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[1], salt_bufs[salt_pos].salt_buf[0]);
 211   v3p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[3], salt_bufs[salt_pos].salt_buf[2]);
 212
 213   /**
 214    * digest
 215    */
 216
 217   const u32 search[4] =
 218   {
 219     digests_buf[digests_offset].digest_buf[DGST_R0],
 220     digests_buf[digests_offset].digest_buf[DGST_R1],
 221     0,
 222     0
 223   };
 224
 225   /**
 226    * loop
 227    */
 228
 229   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 230   {
 231     u32x w0[4] = { 0 };
 232     u32x w1[4] = { 0 };
 233     u32x w2[4] = { 0 };
 234     u32x w3[4] = { 0 };
 235
 236     const u32x out_len = apply_rules_vect (pw_buf0, pw_buf1, pw_len, rules_buf, il_pos, w0, w1);
 237
 238     /**
 239      * siphash
 240      */
 241
 242     switch (out_len / 8)
 243     {
 244       case 0: w0[1] |= out_len << 24; break;
 245       case 1: w0[3] |= out_len << 24; break;
 246       case 2: w1[1] |= out_len << 24; break;
 247       case 3: w1[3] |= out_len << 24; break;
 248     }
 249
 250     u64x v0 = v0p;
 251     u64x v1 = v1p;
 252     u64x v2 = v2p;
 253     u64x v3 = v3p;
 254
 255     int i;
 256     int j;
 257
 258     for (i = 0, j = 0; i <= out_len && i < 16; i += 8, j += 2)
 259     {
 260       u64x m = hl32_to_64 (w0[j + 1], w0[j + 0]);
 261
 262       v3 ^= m;
 263
 264       SIPROUND (v0, v1, v2, v3);
 265       SIPROUND (v0, v1, v2, v3);
 266
 267       v0 ^= m;
 268     }
 269
 270     for (       j = 0; i <= out_len && i < 32; i += 8, j += 2)
 271     {
 272       u64x m = hl32_to_64 (w1[j + 1], w1[j + 0]);
 273
 274       v3 ^= m;
 275
 276       SIPROUND (v0, v1, v2, v3);
 277       SIPROUND (v0, v1, v2, v3);
 278
 279       v0 ^= m;
 280     }
 281
 282     v2 ^= 0xff;
 283
 284     SIPROUND (v0, v1, v2, v3);
 285     SIPROUND (v0, v1, v2, v3);
 286     SIPROUND (v0, v1, v2, v3);
 287     SIPROUND (v0, v1, v2, v3);
 288
 289     const u64x v = v0 ^ v1 ^ v2 ^ v3;
 290
 291     const u32x a = l32_from_64 (v);
 292     const u32x b = h32_from_64 (v);
 293
 294     const u32x z = 0;
 295
 296     COMPARE_S_SIMD (a, b, z, z);
 297   }
 298 }
 299
 300 __kernel void m10100_s08 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 301 {
 302 }
 303
 304 __kernel void m10100_s16 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 305 {
 306 }