OpenCL/m10100_a0.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _SIPHASH_
   7
   8 //incompatible to simd
   9 //#define NEW_SIMD_CODE
  10
  11 #include "include/constants.h"
  12 #include "include/kernel_vendor.h"
  13
  14 #define DGST_R0 0
  15 #define DGST_R1 1
  16 #define DGST_R2 2
  17 #define DGST_R3 3
  18
  19 #include "include/kernel_functions.c"
  20 #include "OpenCL/types_ocl.c"
  21 #include "OpenCL/common.c"
  22 #include "include/rp_kernel.h"
  23 #include "OpenCL/rp.c"
  24 #include "OpenCL/simd.c"
  25
  26 #define SIPROUND(v0,v1,v2,v3) \
  27   (v0) += (v1);               \
  28   (v1)  = rotl64 ((v1), 13);  \
  29   (v1) ^= (v0);               \
  30   (v0)  = rotl64 ((v0), 32);  \
  31   (v2) += (v3);               \
  32   (v3)  = rotl64 ((v3), 16);  \
  33   (v3) ^= (v2);               \
  34   (v0) += (v3);               \
  35   (v3)  = rotl64 ((v3), 21);  \
  36   (v3) ^= (v0);               \
  37   (v2) += (v1);               \
  38   (v1)  = rotl64 ((v1), 17);  \
  39   (v1) ^= (v2);               \
  40   (v2)  = rotl64 ((v2), 32)
  41
  42 __kernel void m10100_m04 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
  43 {
  44   /**
  45    * modifier
  46    */
  47
  48   const u32 lid = get_local_id (0);
  49
  50   /**
  51    * base
  52    */
  53
  54   const u32 gid = get_global_id (0);
  55
  56   if (gid >= gid_max) return;
  57
  58   u32 pw_buf0[4];
  59
  60   pw_buf0[0] = pws[gid].i[ 0];
  61   pw_buf0[1] = pws[gid].i[ 1];
  62   pw_buf0[2] = pws[gid].i[ 2];
  63   pw_buf0[3] = pws[gid].i[ 3];
  64
  65   u32 pw_buf1[4];
  66
  67   pw_buf1[0] = pws[gid].i[ 4];
  68   pw_buf1[1] = pws[gid].i[ 5];
  69   pw_buf1[2] = pws[gid].i[ 6];
  70   pw_buf1[3] = pws[gid].i[ 7];
  71
  72   const u32 pw_len = pws[gid].pw_len;
  73
  74   /**
  75    * base
  76    */
  77
  78   u64x v0p = SIPHASHM_0;
  79   u64x v1p = SIPHASHM_1;
  80   u64x v2p = SIPHASHM_2;
  81   u64x v3p = SIPHASHM_3;
  82
  83   v0p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[1], salt_bufs[salt_pos].salt_buf[0]);
  84   v1p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[3], salt_bufs[salt_pos].salt_buf[2]);
  85   v2p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[1], salt_bufs[salt_pos].salt_buf[0]);
  86   v3p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[3], salt_bufs[salt_pos].salt_buf[2]);
  87
  88   /**
  89    * loop
  90    */
  91
  92   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
  93   {
  94     u32x w0[4] = { 0 };
  95     u32x w1[4] = { 0 };
  96     u32x w2[4] = { 0 };
  97     u32x w3[4] = { 0 };
  98
  99     const u32x out_len = apply_rules_vect (pw_buf0, pw_buf1, pw_len, rules_buf, il_pos, w0, w1);
 100
 101     switch (out_len / 8)
 102     {
 103       case 0: w0[1] |= out_len << 24; break;
 104       case 1: w0[3] |= out_len << 24; break;
 105       case 2: w1[1] |= out_len << 24; break;
 106       case 3: w1[3] |= out_len << 24; break;
 107     }
 108
 109     u64x v0 = v0p;
 110     u64x v1 = v1p;
 111     u64x v2 = v2p;
 112     u64x v3 = v3p;
 113
 114     int i;
 115     int j;
 116
 117     for (i = 0, j = 0; i <= out_len && i < 16; i += 8, j += 2)
 118     {
 119       u64x m = hl32_to_64 (w0[j + 1], w0[j + 0]);
 120
 121       v3 ^= m;
 122
 123       SIPROUND (v0, v1, v2, v3);
 124       SIPROUND (v0, v1, v2, v3);
 125
 126       v0 ^= m;
 127     }
 128
 129     for (       j = 0; i <= out_len && i < 32; i += 8, j += 2)
 130     {
 131       u64x m = hl32_to_64 (w1[j + 1], w1[j + 0]);
 132
 133       v3 ^= m;
 134
 135       SIPROUND (v0, v1, v2, v3);
 136       SIPROUND (v0, v1, v2, v3);
 137
 138       v0 ^= m;
 139     }
 140
 141     v2 ^= 0xff;
 142
 143     SIPROUND (v0, v1, v2, v3);
 144     SIPROUND (v0, v1, v2, v3);
 145     SIPROUND (v0, v1, v2, v3);
 146     SIPROUND (v0, v1, v2, v3);
 147
 148     const u64x v = v0 ^ v1 ^ v2 ^ v3;
 149
 150     const u32x a = l32_from_64 (v);
 151     const u32x b = h32_from_64 (v);
 152     const u32x c = 0;
 153     const u32x d = 0;
 154
 155     COMPARE_M_SIMD (a, b, c, d);
 156   }
 157 }
 158
 159 __kernel void m10100_m08 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 160 {
 161 }
 162
 163 __kernel void m10100_m16 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 164 {
 165 }
 166
 167 __kernel void m10100_s04 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 168 {
 169   /**
 170    * modifier
 171    */
 172
 173   const u32 lid = get_local_id (0);
 174
 175   /**
 176    * base
 177    */
 178
 179   const u32 gid = get_global_id (0);
 180
 181   if (gid >= gid_max) return;
 182
 183   u32 pw_buf0[4];
 184
 185   pw_buf0[0] = pws[gid].i[ 0];
 186   pw_buf0[1] = pws[gid].i[ 1];
 187   pw_buf0[2] = pws[gid].i[ 2];
 188   pw_buf0[3] = pws[gid].i[ 3];
 189
 190   u32 pw_buf1[4];
 191
 192   pw_buf1[0] = pws[gid].i[ 4];
 193   pw_buf1[1] = pws[gid].i[ 5];
 194   pw_buf1[2] = pws[gid].i[ 6];
 195   pw_buf1[3] = pws[gid].i[ 7];
 196
 197   const u32 pw_len = pws[gid].pw_len;
 198
 199   /**
 200    * base
 201    */
 202
 203   u64x v0p = SIPHASHM_0;
 204   u64x v1p = SIPHASHM_1;
 205   u64x v2p = SIPHASHM_2;
 206   u64x v3p = SIPHASHM_3;
 207
 208   v0p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[1], salt_bufs[salt_pos].salt_buf[0]);
 209   v1p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[3], salt_bufs[salt_pos].salt_buf[2]);
 210   v2p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[1], salt_bufs[salt_pos].salt_buf[0]);
 211   v3p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[3], salt_bufs[salt_pos].salt_buf[2]);
 212
 213   /**
 214    * digest
 215    */
 216
 217   const u32 search[4] =
 218   {
 219     digests_buf[digests_offset].digest_buf[DGST_R0],
 220     digests_buf[digests_offset].digest_buf[DGST_R1],
 221     digests_buf[digests_offset].digest_buf[DGST_R2],
 222     digests_buf[digests_offset].digest_buf[DGST_R3]
 223   };
 224
 225   /**
 226    * loop
 227    */
 228
 229   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 230   {
 231     u32x w0[4] = { 0 };
 232     u32x w1[4] = { 0 };
 233     u32x w2[4] = { 0 };
 234     u32x w3[4] = { 0 };
 235
 236     const u32x out_len = apply_rules_vect (pw_buf0, pw_buf1, pw_len, rules_buf, il_pos, w0, w1);
 237
 238     switch (out_len / 8)
 239     {
 240       case 0: w0[1] |= out_len << 24; break;
 241       case 1: w0[3] |= out_len << 24; break;
 242       case 2: w1[1] |= out_len << 24; break;
 243       case 3: w1[3] |= out_len << 24; break;
 244     }
 245
 246     u64x v0 = v0p;
 247     u64x v1 = v1p;
 248     u64x v2 = v2p;
 249     u64x v3 = v3p;
 250
 251     int i;
 252     int j;
 253
 254     for (i = 0, j = 0; i <= out_len && i < 16; i += 8, j += 2)
 255     {
 256       u64x m = hl32_to_64 (w0[j + 1], w0[j + 0]);
 257
 258       v3 ^= m;
 259
 260       SIPROUND (v0, v1, v2, v3);
 261       SIPROUND (v0, v1, v2, v3);
 262
 263       v0 ^= m;
 264     }
 265
 266     for (       j = 0; i <= out_len && i < 32; i += 8, j += 2)
 267     {
 268       u64x m = hl32_to_64 (w1[j + 1], w1[j + 0]);
 269
 270       v3 ^= m;
 271
 272       SIPROUND (v0, v1, v2, v3);
 273       SIPROUND (v0, v1, v2, v3);
 274
 275       v0 ^= m;
 276     }
 277
 278     v2 ^= 0xff;
 279
 280     SIPROUND (v0, v1, v2, v3);
 281     SIPROUND (v0, v1, v2, v3);
 282     SIPROUND (v0, v1, v2, v3);
 283     SIPROUND (v0, v1, v2, v3);
 284
 285     const u64x v = v0 ^ v1 ^ v2 ^ v3;
 286
 287     const u32x a = l32_from_64 (v);
 288     const u32x b = h32_from_64 (v);
 289     const u32x c = 0;
 290     const u32x d = 0;
 291
 292     COMPARE_S_SIMD (a, b, c, d);
 293   }
 294 }
 295
 296 __kernel void m10100_s08 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 297 {
 298 }
 299
 300 __kernel void m10100_s16 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 301 {
 302 }