OpenCL/m10100_a0.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _SIPHASH_
   7
   8 #include "include/constants.h"
   9 #include "include/kernel_vendor.h"
  10
  11 #define DGST_R0 0
  12 #define DGST_R1 1
  13 #define DGST_R2 2
  14 #define DGST_R3 3
  15
  16 #include "include/kernel_functions.c"
  17 #include "types_ocl.c"
  18 #include "common.c"
  19 #include "include/rp_gpu.h"
  20 #include "rp.c"
  21
  22 #define COMPARE_S "check_single_comp4.c"
  23 #define COMPARE_M "check_multi_comp4.c"
  24
  25 #ifdef VECT_SIZE1
  26 #define SIPROUND(v0,v1,v2,v3) \
  27   (v0) += (v1);               \
  28   (v1)  = rotl64 ((v1), 13);  \
  29   (v1) ^= (v0);               \
  30   (v0)  = as_ulong (as_uint2 ((v0)).s10); \
  31   (v2) += (v3);               \
  32   (v3)  = rotl64 ((v3), 16);  \
  33   (v3) ^= (v2);               \
  34   (v0) += (v3);               \
  35   (v3)  = rotl64 ((v3), 21);  \
  36   (v3) ^= (v0);               \
  37   (v2) += (v1);               \
  38   (v1)  = rotl64 ((v1), 17);  \
  39   (v1) ^= (v2);               \
  40   (v2)  = as_ulong (as_uint2 ((v2)).s10);
  41 #else
  42 #define SIPROUND(v0,v1,v2,v3) \
  43   (v0) += (v1);               \
  44   (v1)  = rotl64 ((v1), 13);  \
  45   (v1) ^= (v0);               \
  46   (v0)  = rotl64 ((v0), 32);  \
  47   (v2) += (v3);               \
  48   (v3)  = rotl64 ((v3), 16);  \
  49   (v3) ^= (v2);               \
  50   (v0) += (v3);               \
  51   (v3)  = rotl64 ((v3), 21);  \
  52   (v3) ^= (v0);               \
  53   (v2) += (v1);               \
  54   (v1)  = rotl64 ((v1), 17);  \
  55   (v1) ^= (v2);               \
  56   (v2)  = rotl64 ((v2), 32);
  57 #endif
  58
  59 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m10100_m04 (__global pw_t *pws, __global gpu_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
  60 {
  61   /**
  62    * modifier
  63    */
  64
  65   const u32 lid = get_local_id (0);
  66
  67   /**
  68    * base
  69    */
  70
  71   const u32 gid = get_global_id (0);
  72
  73   if (gid >= gid_max) return;
  74
  75   u32 pw_buf0[4];
  76
  77   pw_buf0[0] = pws[gid].i[ 0];
  78   pw_buf0[1] = pws[gid].i[ 1];
  79   pw_buf0[2] = pws[gid].i[ 2];
  80   pw_buf0[3] = pws[gid].i[ 3];
  81
  82   u32 pw_buf1[4];
  83
  84   pw_buf1[0] = pws[gid].i[ 4];
  85   pw_buf1[1] = pws[gid].i[ 5];
  86   pw_buf1[2] = pws[gid].i[ 6];
  87   pw_buf1[3] = pws[gid].i[ 7];
  88
  89   const u32 pw_len = pws[gid].pw_len;
  90
  91   /**
  92    * base
  93    */
  94
  95   u64 v0p = SIPHASHM_0;
  96   u64 v1p = SIPHASHM_1;
  97   u64 v2p = SIPHASHM_2;
  98   u64 v3p = SIPHASHM_3;
  99
 100   v0p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[1], salt_bufs[salt_pos].salt_buf[0]);
 101   v1p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[3], salt_bufs[salt_pos].salt_buf[2]);
 102   v2p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[1], salt_bufs[salt_pos].salt_buf[0]);
 103   v3p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[3], salt_bufs[salt_pos].salt_buf[2]);
 104
 105   /**
 106    * loop
 107    */
 108
 109   for (u32 il_pos = 0; il_pos < rules_cnt; il_pos++)
 110   {
 111     u32 w[16];
 112
 113     w[ 0] = pw_buf0[0];
 114     w[ 1] = pw_buf0[1];
 115     w[ 2] = pw_buf0[2];
 116     w[ 3] = pw_buf0[3];
 117     w[ 4] = pw_buf1[0];
 118     w[ 5] = pw_buf1[1];
 119     w[ 6] = pw_buf1[2];
 120     w[ 7] = pw_buf1[3];
 121     w[ 8] = 0;
 122     w[ 9] = 0;
 123     w[10] = 0;
 124     w[11] = 0;
 125     w[12] = 0;
 126     w[13] = 0;
 127     w[14] = 0;
 128     w[15] = 0;
 129
 130     const u32 out_len = apply_rules (rules_buf[il_pos].cmds, &w[0], &w[4], pw_len);
 131
 132     u64 *w_ptr = (u64 *) w;
 133
 134     w_ptr[out_len / 8] |= (u64) out_len << 56;
 135
 136     u64 v0 = v0p;
 137     u64 v1 = v1p;
 138     u64 v2 = v2p;
 139     u64 v3 = v3p;
 140
 141     int i;
 142     int j;
 143
 144     for (i = 0, j = 0; i <= pw_len; i += 8, j += 2)
 145     {
 146       u64 m = hl32_to_64 (w[j + 1], w[j + 0]);
 147
 148       v3 ^= m;
 149
 150       SIPROUND (v0, v1, v2, v3);
 151       SIPROUND (v0, v1, v2, v3);
 152
 153       v0 ^= m;
 154     }
 155
 156     v2 ^= 0xff;
 157
 158     SIPROUND (v0, v1, v2, v3);
 159     SIPROUND (v0, v1, v2, v3);
 160     SIPROUND (v0, v1, v2, v3);
 161     SIPROUND (v0, v1, v2, v3);
 162
 163     const u64 v = v0 ^ v1 ^ v2 ^ v3;
 164
 165     const u32 a = l32_from_64 (v);
 166     const u32 b = h32_from_64 (v);
 167
 168     const u32 r0 = a;
 169     const u32 r1 = b;
 170     const u32 r2 = 0;
 171     const u32 r3 = 0;
 172
 173     #include COMPARE_M
 174   }
 175 }
 176
 177 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m10100_m08 (__global pw_t *pws, __global gpu_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 178 {
 179 }
 180
 181 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m10100_m16 (__global pw_t *pws, __global gpu_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 182 {
 183 }
 184
 185 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m10100_s04 (__global pw_t *pws, __global gpu_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 186 {
 187   /**
 188    * modifier
 189    */
 190
 191   const u32 lid = get_local_id (0);
 192
 193   /**
 194    * base
 195    */
 196
 197   const u32 gid = get_global_id (0);
 198
 199   if (gid >= gid_max) return;
 200
 201   u32 pw_buf0[4];
 202
 203   pw_buf0[0] = pws[gid].i[ 0];
 204   pw_buf0[1] = pws[gid].i[ 1];
 205   pw_buf0[2] = pws[gid].i[ 2];
 206   pw_buf0[3] = pws[gid].i[ 3];
 207
 208   u32 pw_buf1[4];
 209
 210   pw_buf1[0] = pws[gid].i[ 4];
 211   pw_buf1[1] = pws[gid].i[ 5];
 212   pw_buf1[2] = pws[gid].i[ 6];
 213   pw_buf1[3] = pws[gid].i[ 7];
 214
 215   const u32 pw_len = pws[gid].pw_len;
 216
 217   /**
 218    * base
 219    */
 220
 221   u64 v0p = SIPHASHM_0;
 222   u64 v1p = SIPHASHM_1;
 223   u64 v2p = SIPHASHM_2;
 224   u64 v3p = SIPHASHM_3;
 225
 226   v0p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[1], salt_bufs[salt_pos].salt_buf[0]);
 227   v1p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[3], salt_bufs[salt_pos].salt_buf[2]);
 228   v2p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[1], salt_bufs[salt_pos].salt_buf[0]);
 229   v3p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[3], salt_bufs[salt_pos].salt_buf[2]);
 230
 231   /**
 232    * digest
 233    */
 234
 235   const u32 search[4] =
 236   {
 237     digests_buf[digests_offset].digest_buf[DGST_R0],
 238     digests_buf[digests_offset].digest_buf[DGST_R1],
 239     digests_buf[digests_offset].digest_buf[DGST_R2],
 240     digests_buf[digests_offset].digest_buf[DGST_R3]
 241   };
 242
 243   /**
 244    * loop
 245    */
 246
 247   for (u32 il_pos = 0; il_pos < rules_cnt; il_pos++)
 248   {
 249     u32 w[16];
 250
 251     w[ 0] = pw_buf0[0];
 252     w[ 1] = pw_buf0[1];
 253     w[ 2] = pw_buf0[2];
 254     w[ 3] = pw_buf0[3];
 255     w[ 4] = pw_buf1[0];
 256     w[ 5] = pw_buf1[1];
 257     w[ 6] = pw_buf1[2];
 258     w[ 7] = pw_buf1[3];
 259     w[ 8] = 0;
 260     w[ 9] = 0;
 261     w[10] = 0;
 262     w[11] = 0;
 263     w[12] = 0;
 264     w[13] = 0;
 265     w[14] = 0;
 266     w[15] = 0;
 267
 268     const u32 out_len = apply_rules (rules_buf[il_pos].cmds, &w[0], &w[4], pw_len);
 269
 270     u64 *w_ptr = (u64 *) w;
 271
 272     w_ptr[out_len / 8] |= (u64) out_len << 56;
 273
 274     u64 v0 = v0p;
 275     u64 v1 = v1p;
 276     u64 v2 = v2p;
 277     u64 v3 = v3p;
 278
 279     int i;
 280     int j;
 281
 282     for (i = 0, j = 0; i <= pw_len; i += 8, j += 2)
 283     {
 284       u64 m = hl32_to_64 (w[j + 1], w[j + 0]);
 285
 286       v3 ^= m;
 287
 288       SIPROUND (v0, v1, v2, v3);
 289       SIPROUND (v0, v1, v2, v3);
 290
 291       v0 ^= m;
 292     }
 293
 294     v2 ^= 0xff;
 295
 296     SIPROUND (v0, v1, v2, v3);
 297     SIPROUND (v0, v1, v2, v3);
 298     SIPROUND (v0, v1, v2, v3);
 299     SIPROUND (v0, v1, v2, v3);
 300
 301     const u64 v = v0 ^ v1 ^ v2 ^ v3;
 302
 303     const u32 a = l32_from_64 (v);
 304     const u32 b = h32_from_64 (v);
 305
 306     const u32 r0 = a;
 307     const u32 r1 = b;
 308     const u32 r2 = 0;
 309     const u32 r3 = 0;
 310
 311     #include COMPARE_S
 312   }
 313 }
 314
 315 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m10100_s08 (__global pw_t *pws, __global gpu_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 316 {
 317 }
 318
 319 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m10100_s16 (__global pw_t *pws, __global gpu_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 320 {
 321 }