OpenCL/m10100_a0.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _SIPHASH_
   7
   8 #include "include/constants.h"
   9 #include "include/kernel_vendor.h"
  10
  11 #define DGST_R0 0
  12 #define DGST_R1 1
  13 #define DGST_R2 2
  14 #define DGST_R3 3
  15
  16 #include "include/kernel_functions.c"
  17 #include "OpenCL/types_ocl.c"
  18 #include "OpenCL/common.c"
  19 #include "include/rp_gpu.h"
  20 #include "rp.c"
  21
  22 #define COMPARE_S "OpenCL/check_single_comp4.c"
  23 #define COMPARE_M "OpenCL/check_multi_comp4.c"
  24
  25 #define SIPROUND(v0,v1,v2,v3) \
  26   (v0) += (v1);               \
  27   (v1)  = rotl64 ((v1), 13);  \
  28   (v1) ^= (v0);               \
  29   (v0)  = as_ulong (as_uint2 ((v0)).s10); \
  30   (v2) += (v3);               \
  31   (v3)  = rotl64 ((v3), 16);  \
  32   (v3) ^= (v2);               \
  33   (v0) += (v3);               \
  34   (v3)  = rotl64 ((v3), 21);  \
  35   (v3) ^= (v0);               \
  36   (v2) += (v1);               \
  37   (v1)  = rotl64 ((v1), 17);  \
  38   (v1) ^= (v2);               \
  39   (v2)  = as_ulong (as_uint2 ((v2)).s10);
  40
  41 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m10100_m04 (__global pw_t *pws, __global gpu_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
  42 {
  43   /**
  44    * modifier
  45    */
  46
  47   const u32 lid = get_local_id (0);
  48
  49   /**
  50    * base
  51    */
  52
  53   const u32 gid = get_global_id (0);
  54
  55   if (gid >= gid_max) return;
  56
  57   u32 pw_buf0[4];
  58
  59   pw_buf0[0] = pws[gid].i[ 0];
  60   pw_buf0[1] = pws[gid].i[ 1];
  61   pw_buf0[2] = pws[gid].i[ 2];
  62   pw_buf0[3] = pws[gid].i[ 3];
  63
  64   u32 pw_buf1[4];
  65
  66   pw_buf1[0] = pws[gid].i[ 4];
  67   pw_buf1[1] = pws[gid].i[ 5];
  68   pw_buf1[2] = pws[gid].i[ 6];
  69   pw_buf1[3] = pws[gid].i[ 7];
  70
  71   const u32 pw_len = pws[gid].pw_len;
  72
  73   /**
  74    * base
  75    */
  76
  77   u64 v0p = SIPHASHM_0;
  78   u64 v1p = SIPHASHM_1;
  79   u64 v2p = SIPHASHM_2;
  80   u64 v3p = SIPHASHM_3;
  81
  82   v0p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[1], salt_bufs[salt_pos].salt_buf[0]);
  83   v1p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[3], salt_bufs[salt_pos].salt_buf[2]);
  84   v2p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[1], salt_bufs[salt_pos].salt_buf[0]);
  85   v3p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[3], salt_bufs[salt_pos].salt_buf[2]);
  86
  87   /**
  88    * loop
  89    */
  90
  91   for (u32 il_pos = 0; il_pos < rules_cnt; il_pos++)
  92   {
  93     u32 w[16];
  94
  95     w[ 0] = pw_buf0[0];
  96     w[ 1] = pw_buf0[1];
  97     w[ 2] = pw_buf0[2];
  98     w[ 3] = pw_buf0[3];
  99     w[ 4] = pw_buf1[0];
 100     w[ 5] = pw_buf1[1];
 101     w[ 6] = pw_buf1[2];
 102     w[ 7] = pw_buf1[3];
 103     w[ 8] = 0;
 104     w[ 9] = 0;
 105     w[10] = 0;
 106     w[11] = 0;
 107     w[12] = 0;
 108     w[13] = 0;
 109     w[14] = 0;
 110     w[15] = 0;
 111
 112     const u32 out_len = apply_rules (rules_buf[il_pos].cmds, &w[0], &w[4], pw_len);
 113
 114     u64 *w_ptr = (u64 *) w;
 115
 116     w_ptr[out_len / 8] |= (u64) out_len << 56;
 117
 118     u64 v0 = v0p;
 119     u64 v1 = v1p;
 120     u64 v2 = v2p;
 121     u64 v3 = v3p;
 122
 123     int i;
 124     int j;
 125
 126     for (i = 0, j = 0; i <= pw_len; i += 8, j += 2)
 127     {
 128       u64 m = hl32_to_64 (w[j + 1], w[j + 0]);
 129
 130       v3 ^= m;
 131
 132       SIPROUND (v0, v1, v2, v3);
 133       SIPROUND (v0, v1, v2, v3);
 134
 135       v0 ^= m;
 136     }
 137
 138     v2 ^= 0xff;
 139
 140     SIPROUND (v0, v1, v2, v3);
 141     SIPROUND (v0, v1, v2, v3);
 142     SIPROUND (v0, v1, v2, v3);
 143     SIPROUND (v0, v1, v2, v3);
 144
 145     const u64 v = v0 ^ v1 ^ v2 ^ v3;
 146
 147     const u32 a = l32_from_64 (v);
 148     const u32 b = h32_from_64 (v);
 149
 150     const u32 r0 = a;
 151     const u32 r1 = b;
 152     const u32 r2 = 0;
 153     const u32 r3 = 0;
 154
 155     #include COMPARE_M
 156   }
 157 }
 158
 159 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m10100_m08 (__global pw_t *pws, __global gpu_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 160 {
 161 }
 162
 163 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m10100_m16 (__global pw_t *pws, __global gpu_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 164 {
 165 }
 166
 167 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m10100_s04 (__global pw_t *pws, __global gpu_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 168 {
 169   /**
 170    * modifier
 171    */
 172
 173   const u32 lid = get_local_id (0);
 174
 175   /**
 176    * base
 177    */
 178
 179   const u32 gid = get_global_id (0);
 180
 181   if (gid >= gid_max) return;
 182
 183   u32 pw_buf0[4];
 184
 185   pw_buf0[0] = pws[gid].i[ 0];
 186   pw_buf0[1] = pws[gid].i[ 1];
 187   pw_buf0[2] = pws[gid].i[ 2];
 188   pw_buf0[3] = pws[gid].i[ 3];
 189
 190   u32 pw_buf1[4];
 191
 192   pw_buf1[0] = pws[gid].i[ 4];
 193   pw_buf1[1] = pws[gid].i[ 5];
 194   pw_buf1[2] = pws[gid].i[ 6];
 195   pw_buf1[3] = pws[gid].i[ 7];
 196
 197   const u32 pw_len = pws[gid].pw_len;
 198
 199   /**
 200    * base
 201    */
 202
 203   u64 v0p = SIPHASHM_0;
 204   u64 v1p = SIPHASHM_1;
 205   u64 v2p = SIPHASHM_2;
 206   u64 v3p = SIPHASHM_3;
 207
 208   v0p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[1], salt_bufs[salt_pos].salt_buf[0]);
 209   v1p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[3], salt_bufs[salt_pos].salt_buf[2]);
 210   v2p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[1], salt_bufs[salt_pos].salt_buf[0]);
 211   v3p ^= hl32_to_64 (salt_bufs[salt_pos].salt_buf[3], salt_bufs[salt_pos].salt_buf[2]);
 212
 213   /**
 214    * digest
 215    */
 216
 217   const u32 search[4] =
 218   {
 219     digests_buf[digests_offset].digest_buf[DGST_R0],
 220     digests_buf[digests_offset].digest_buf[DGST_R1],
 221     digests_buf[digests_offset].digest_buf[DGST_R2],
 222     digests_buf[digests_offset].digest_buf[DGST_R3]
 223   };
 224
 225   /**
 226    * loop
 227    */
 228
 229   for (u32 il_pos = 0; il_pos < rules_cnt; il_pos++)
 230   {
 231     u32 w[16];
 232
 233     w[ 0] = pw_buf0[0];
 234     w[ 1] = pw_buf0[1];
 235     w[ 2] = pw_buf0[2];
 236     w[ 3] = pw_buf0[3];
 237     w[ 4] = pw_buf1[0];
 238     w[ 5] = pw_buf1[1];
 239     w[ 6] = pw_buf1[2];
 240     w[ 7] = pw_buf1[3];
 241     w[ 8] = 0;
 242     w[ 9] = 0;
 243     w[10] = 0;
 244     w[11] = 0;
 245     w[12] = 0;
 246     w[13] = 0;
 247     w[14] = 0;
 248     w[15] = 0;
 249
 250     const u32 out_len = apply_rules (rules_buf[il_pos].cmds, &w[0], &w[4], pw_len);
 251
 252     u64 *w_ptr = (u64 *) w;
 253
 254     w_ptr[out_len / 8] |= (u64) out_len << 56;
 255
 256     u64 v0 = v0p;
 257     u64 v1 = v1p;
 258     u64 v2 = v2p;
 259     u64 v3 = v3p;
 260
 261     int i;
 262     int j;
 263
 264     for (i = 0, j = 0; i <= pw_len; i += 8, j += 2)
 265     {
 266       u64 m = hl32_to_64 (w[j + 1], w[j + 0]);
 267
 268       v3 ^= m;
 269
 270       SIPROUND (v0, v1, v2, v3);
 271       SIPROUND (v0, v1, v2, v3);
 272
 273       v0 ^= m;
 274     }
 275
 276     v2 ^= 0xff;
 277
 278     SIPROUND (v0, v1, v2, v3);
 279     SIPROUND (v0, v1, v2, v3);
 280     SIPROUND (v0, v1, v2, v3);
 281     SIPROUND (v0, v1, v2, v3);
 282
 283     const u64 v = v0 ^ v1 ^ v2 ^ v3;
 284
 285     const u32 a = l32_from_64 (v);
 286     const u32 b = h32_from_64 (v);
 287
 288     const u32 r0 = a;
 289     const u32 r1 = b;
 290     const u32 r2 = 0;
 291     const u32 r3 = 0;
 292
 293     #include COMPARE_S
 294   }
 295 }
 296
 297 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m10100_s08 (__global pw_t *pws, __global gpu_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 298 {
 299 }
 300
 301 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m10100_s16 (__global pw_t *pws, __global gpu_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 302 {
 303 }