OpenCL/m03100_a0.cl

   1 /**
   2  * Authors.....: Jens Steube <jens.steube@gmail.com>
   3  *               Gabriele Gristina <matrix@hashcat.net>
   4  *               magnum <john.magnum@hushmail.com>
   5  *
   6  * License.....: MIT
   7  */
   8
   9 #define _DES_
  10
  11 //incompatible
  12 //#define NEW_SIMD_CODE
  13
  14 #include "inc_hash_constants.h"
  15 #include "inc_vendor.cl"
  16
  17 #define DGST_R0 0
  18 #define DGST_R1 1
  19 #define DGST_R2 2
  20 #define DGST_R3 3
  21
  22 #include "inc_hash_functions.cl"
  23 #include "inc_types.cl"
  24 #include "inc_common.cl"
  25 #include "inc_rp.h"
  26 #include "inc_rp.cl"
  27 #include "inc_simd.cl"
  28
  29 #define PERM_OP(a,b,tt,n,m) \
  30 {                           \
  31   tt = a >> n;              \
  32   tt = tt ^ b;              \
  33   tt = tt & m;              \
  34   b = b ^ tt;               \
  35   tt = tt << n;             \
  36   a = a ^ tt;               \
  37 }
  38
  39 #define HPERM_OP(a,tt,n,m)  \
  40 {                           \
  41   tt = a << (16 + n);       \
  42   tt = tt ^ a;              \
  43   tt = tt & m;              \
  44   a  = a ^ tt;              \
  45   tt = tt >> (16 + n);      \
  46   a  = a ^ tt;              \
  47 }
  48
  49 #define IP(l,r,tt)                     \
  50 {                                      \
  51   PERM_OP (r, l, tt,  4, 0x0f0f0f0f);  \
  52   PERM_OP (l, r, tt, 16, 0x0000ffff);  \
  53   PERM_OP (r, l, tt,  2, 0x33333333);  \
  54   PERM_OP (l, r, tt,  8, 0x00ff00ff);  \
  55   PERM_OP (r, l, tt,  1, 0x55555555);  \
  56 }
  57
  58 #define FP(l,r,tt)                     \
  59 {                                      \
  60   PERM_OP (l, r, tt,  1, 0x55555555);  \
  61   PERM_OP (r, l, tt,  8, 0x00ff00ff);  \
  62   PERM_OP (l, r, tt,  2, 0x33333333);  \
  63   PERM_OP (r, l, tt, 16, 0x0000ffff);  \
  64   PERM_OP (l, r, tt,  4, 0x0f0f0f0f);  \
  65 }
  66
  67 __constant u32 c_SPtrans[8][64] =
  68 {
  69   {
  70     0x02080800, 0x00080000, 0x02000002, 0x02080802,
  71     0x02000000, 0x00080802, 0x00080002, 0x02000002,
  72     0x00080802, 0x02080800, 0x02080000, 0x00000802,
  73     0x02000802, 0x02000000, 0x00000000, 0x00080002,
  74     0x00080000, 0x00000002, 0x02000800, 0x00080800,
  75     0x02080802, 0x02080000, 0x00000802, 0x02000800,
  76     0x00000002, 0x00000800, 0x00080800, 0x02080002,
  77     0x00000800, 0x02000802, 0x02080002, 0x00000000,
  78     0x00000000, 0x02080802, 0x02000800, 0x00080002,
  79     0x02080800, 0x00080000, 0x00000802, 0x02000800,
  80     0x02080002, 0x00000800, 0x00080800, 0x02000002,
  81     0x00080802, 0x00000002, 0x02000002, 0x02080000,
  82     0x02080802, 0x00080800, 0x02080000, 0x02000802,
  83     0x02000000, 0x00000802, 0x00080002, 0x00000000,
  84     0x00080000, 0x02000000, 0x02000802, 0x02080800,
  85     0x00000002, 0x02080002, 0x00000800, 0x00080802,
  86   },
  87   {
  88     0x40108010, 0x00000000, 0x00108000, 0x40100000,
  89     0x40000010, 0x00008010, 0x40008000, 0x00108000,
  90     0x00008000, 0x40100010, 0x00000010, 0x40008000,
  91     0x00100010, 0x40108000, 0x40100000, 0x00000010,
  92     0x00100000, 0x40008010, 0x40100010, 0x00008000,
  93     0x00108010, 0x40000000, 0x00000000, 0x00100010,
  94     0x40008010, 0x00108010, 0x40108000, 0x40000010,
  95     0x40000000, 0x00100000, 0x00008010, 0x40108010,
  96     0x00100010, 0x40108000, 0x40008000, 0x00108010,
  97     0x40108010, 0x00100010, 0x40000010, 0x00000000,
  98     0x40000000, 0x00008010, 0x00100000, 0x40100010,
  99     0x00008000, 0x40000000, 0x00108010, 0x40008010,
 100     0x40108000, 0x00008000, 0x00000000, 0x40000010,
 101     0x00000010, 0x40108010, 0x00108000, 0x40100000,
 102     0x40100010, 0x00100000, 0x00008010, 0x40008000,
 103     0x40008010, 0x00000010, 0x40100000, 0x00108000,
 104   },
 105   {
 106     0x04000001, 0x04040100, 0x00000100, 0x04000101,
 107     0x00040001, 0x04000000, 0x04000101, 0x00040100,
 108     0x04000100, 0x00040000, 0x04040000, 0x00000001,
 109     0x04040101, 0x00000101, 0x00000001, 0x04040001,
 110     0x00000000, 0x00040001, 0x04040100, 0x00000100,
 111     0x00000101, 0x04040101, 0x00040000, 0x04000001,
 112     0x04040001, 0x04000100, 0x00040101, 0x04040000,
 113     0x00040100, 0x00000000, 0x04000000, 0x00040101,
 114     0x04040100, 0x00000100, 0x00000001, 0x00040000,
 115     0x00000101, 0x00040001, 0x04040000, 0x04000101,
 116     0x00000000, 0x04040100, 0x00040100, 0x04040001,
 117     0x00040001, 0x04000000, 0x04040101, 0x00000001,
 118     0x00040101, 0x04000001, 0x04000000, 0x04040101,
 119     0x00040000, 0x04000100, 0x04000101, 0x00040100,
 120     0x04000100, 0x00000000, 0x04040001, 0x00000101,
 121     0x04000001, 0x00040101, 0x00000100, 0x04040000,
 122   },
 123   {
 124     0x00401008, 0x10001000, 0x00000008, 0x10401008,
 125     0x00000000, 0x10400000, 0x10001008, 0x00400008,
 126     0x10401000, 0x10000008, 0x10000000, 0x00001008,
 127     0x10000008, 0x00401008, 0x00400000, 0x10000000,
 128     0x10400008, 0x00401000, 0x00001000, 0x00000008,
 129     0x00401000, 0x10001008, 0x10400000, 0x00001000,
 130     0x00001008, 0x00000000, 0x00400008, 0x10401000,
 131     0x10001000, 0x10400008, 0x10401008, 0x00400000,
 132     0x10400008, 0x00001008, 0x00400000, 0x10000008,
 133     0x00401000, 0x10001000, 0x00000008, 0x10400000,
 134     0x10001008, 0x00000000, 0x00001000, 0x00400008,
 135     0x00000000, 0x10400008, 0x10401000, 0x00001000,
 136     0x10000000, 0x10401008, 0x00401008, 0x00400000,
 137     0x10401008, 0x00000008, 0x10001000, 0x00401008,
 138     0x00400008, 0x00401000, 0x10400000, 0x10001008,
 139     0x00001008, 0x10000000, 0x10000008, 0x10401000,
 140   },
 141   {
 142     0x08000000, 0x00010000, 0x00000400, 0x08010420,
 143     0x08010020, 0x08000400, 0x00010420, 0x08010000,
 144     0x00010000, 0x00000020, 0x08000020, 0x00010400,
 145     0x08000420, 0x08010020, 0x08010400, 0x00000000,
 146     0x00010400, 0x08000000, 0x00010020, 0x00000420,
 147     0x08000400, 0x00010420, 0x00000000, 0x08000020,
 148     0x00000020, 0x08000420, 0x08010420, 0x00010020,
 149     0x08010000, 0x00000400, 0x00000420, 0x08010400,
 150     0x08010400, 0x08000420, 0x00010020, 0x08010000,
 151     0x00010000, 0x00000020, 0x08000020, 0x08000400,
 152     0x08000000, 0x00010400, 0x08010420, 0x00000000,
 153     0x00010420, 0x08000000, 0x00000400, 0x00010020,
 154     0x08000420, 0x00000400, 0x00000000, 0x08010420,
 155     0x08010020, 0x08010400, 0x00000420, 0x00010000,
 156     0x00010400, 0x08010020, 0x08000400, 0x00000420,
 157     0x00000020, 0x00010420, 0x08010000, 0x08000020,
 158   },
 159   {
 160     0x80000040, 0x00200040, 0x00000000, 0x80202000,
 161     0x00200040, 0x00002000, 0x80002040, 0x00200000,
 162     0x00002040, 0x80202040, 0x00202000, 0x80000000,
 163     0x80002000, 0x80000040, 0x80200000, 0x00202040,
 164     0x00200000, 0x80002040, 0x80200040, 0x00000000,
 165     0x00002000, 0x00000040, 0x80202000, 0x80200040,
 166     0x80202040, 0x80200000, 0x80000000, 0x00002040,
 167     0x00000040, 0x00202000, 0x00202040, 0x80002000,
 168     0x00002040, 0x80000000, 0x80002000, 0x00202040,
 169     0x80202000, 0x00200040, 0x00000000, 0x80002000,
 170     0x80000000, 0x00002000, 0x80200040, 0x00200000,
 171     0x00200040, 0x80202040, 0x00202000, 0x00000040,
 172     0x80202040, 0x00202000, 0x00200000, 0x80002040,
 173     0x80000040, 0x80200000, 0x00202040, 0x00000000,
 174     0x00002000, 0x80000040, 0x80002040, 0x80202000,
 175     0x80200000, 0x00002040, 0x00000040, 0x80200040,
 176   },
 177   {
 178     0x00004000, 0x00000200, 0x01000200, 0x01000004,
 179     0x01004204, 0x00004004, 0x00004200, 0x00000000,
 180     0x01000000, 0x01000204, 0x00000204, 0x01004000,
 181     0x00000004, 0x01004200, 0x01004000, 0x00000204,
 182     0x01000204, 0x00004000, 0x00004004, 0x01004204,
 183     0x00000000, 0x01000200, 0x01000004, 0x00004200,
 184     0x01004004, 0x00004204, 0x01004200, 0x00000004,
 185     0x00004204, 0x01004004, 0x00000200, 0x01000000,
 186     0x00004204, 0x01004000, 0x01004004, 0x00000204,
 187     0x00004000, 0x00000200, 0x01000000, 0x01004004,
 188     0x01000204, 0x00004204, 0x00004200, 0x00000000,
 189     0x00000200, 0x01000004, 0x00000004, 0x01000200,
 190     0x00000000, 0x01000204, 0x01000200, 0x00004200,
 191     0x00000204, 0x00004000, 0x01004204, 0x01000000,
 192     0x01004200, 0x00000004, 0x00004004, 0x01004204,
 193     0x01000004, 0x01004200, 0x01004000, 0x00004004,
 194   },
 195   {
 196     0x20800080, 0x20820000, 0x00020080, 0x00000000,
 197     0x20020000, 0x00800080, 0x20800000, 0x20820080,
 198     0x00000080, 0x20000000, 0x00820000, 0x00020080,
 199     0x00820080, 0x20020080, 0x20000080, 0x20800000,
 200     0x00020000, 0x00820080, 0x00800080, 0x20020000,
 201     0x20820080, 0x20000080, 0x00000000, 0x00820000,
 202     0x20000000, 0x00800000, 0x20020080, 0x20800080,
 203     0x00800000, 0x00020000, 0x20820000, 0x00000080,
 204     0x00800000, 0x00020000, 0x20000080, 0x20820080,
 205     0x00020080, 0x20000000, 0x00000000, 0x00820000,
 206     0x20800080, 0x20020080, 0x20020000, 0x00800080,
 207     0x20820000, 0x00000080, 0x00800080, 0x20020000,
 208     0x20820080, 0x00800000, 0x20800000, 0x20000080,
 209     0x00820000, 0x00020080, 0x20020080, 0x20800000,
 210     0x00000080, 0x20820000, 0x00820080, 0x00000000,
 211     0x20000000, 0x20800080, 0x00020000, 0x00820080,
 212   }
 213 };
 214
 215 __constant u32 c_skb[8][64] =
 216 {
 217   {
 218     0x00000000, 0x00000010, 0x20000000, 0x20000010,
 219     0x00010000, 0x00010010, 0x20010000, 0x20010010,
 220     0x00000800, 0x00000810, 0x20000800, 0x20000810,
 221     0x00010800, 0x00010810, 0x20010800, 0x20010810,
 222     0x00000020, 0x00000030, 0x20000020, 0x20000030,
 223     0x00010020, 0x00010030, 0x20010020, 0x20010030,
 224     0x00000820, 0x00000830, 0x20000820, 0x20000830,
 225     0x00010820, 0x00010830, 0x20010820, 0x20010830,
 226     0x00080000, 0x00080010, 0x20080000, 0x20080010,
 227     0x00090000, 0x00090010, 0x20090000, 0x20090010,
 228     0x00080800, 0x00080810, 0x20080800, 0x20080810,
 229     0x00090800, 0x00090810, 0x20090800, 0x20090810,
 230     0x00080020, 0x00080030, 0x20080020, 0x20080030,
 231     0x00090020, 0x00090030, 0x20090020, 0x20090030,
 232     0x00080820, 0x00080830, 0x20080820, 0x20080830,
 233     0x00090820, 0x00090830, 0x20090820, 0x20090830,
 234   },
 235   {
 236     0x00000000, 0x02000000, 0x00002000, 0x02002000,
 237     0x00200000, 0x02200000, 0x00202000, 0x02202000,
 238     0x00000004, 0x02000004, 0x00002004, 0x02002004,
 239     0x00200004, 0x02200004, 0x00202004, 0x02202004,
 240     0x00000400, 0x02000400, 0x00002400, 0x02002400,
 241     0x00200400, 0x02200400, 0x00202400, 0x02202400,
 242     0x00000404, 0x02000404, 0x00002404, 0x02002404,
 243     0x00200404, 0x02200404, 0x00202404, 0x02202404,
 244     0x10000000, 0x12000000, 0x10002000, 0x12002000,
 245     0x10200000, 0x12200000, 0x10202000, 0x12202000,
 246     0x10000004, 0x12000004, 0x10002004, 0x12002004,
 247     0x10200004, 0x12200004, 0x10202004, 0x12202004,
 248     0x10000400, 0x12000400, 0x10002400, 0x12002400,
 249     0x10200400, 0x12200400, 0x10202400, 0x12202400,
 250     0x10000404, 0x12000404, 0x10002404, 0x12002404,
 251     0x10200404, 0x12200404, 0x10202404, 0x12202404,
 252   },
 253   {
 254     0x00000000, 0x00000001, 0x00040000, 0x00040001,
 255     0x01000000, 0x01000001, 0x01040000, 0x01040001,
 256     0x00000002, 0x00000003, 0x00040002, 0x00040003,
 257     0x01000002, 0x01000003, 0x01040002, 0x01040003,
 258     0x00000200, 0x00000201, 0x00040200, 0x00040201,
 259     0x01000200, 0x01000201, 0x01040200, 0x01040201,
 260     0x00000202, 0x00000203, 0x00040202, 0x00040203,
 261     0x01000202, 0x01000203, 0x01040202, 0x01040203,
 262     0x08000000, 0x08000001, 0x08040000, 0x08040001,
 263     0x09000000, 0x09000001, 0x09040000, 0x09040001,
 264     0x08000002, 0x08000003, 0x08040002, 0x08040003,
 265     0x09000002, 0x09000003, 0x09040002, 0x09040003,
 266     0x08000200, 0x08000201, 0x08040200, 0x08040201,
 267     0x09000200, 0x09000201, 0x09040200, 0x09040201,
 268     0x08000202, 0x08000203, 0x08040202, 0x08040203,
 269     0x09000202, 0x09000203, 0x09040202, 0x09040203,
 270   },
 271   {
 272     0x00000000, 0x00100000, 0x00000100, 0x00100100,
 273     0x00000008, 0x00100008, 0x00000108, 0x00100108,
 274     0x00001000, 0x00101000, 0x00001100, 0x00101100,
 275     0x00001008, 0x00101008, 0x00001108, 0x00101108,
 276     0x04000000, 0x04100000, 0x04000100, 0x04100100,
 277     0x04000008, 0x04100008, 0x04000108, 0x04100108,
 278     0x04001000, 0x04101000, 0x04001100, 0x04101100,
 279     0x04001008, 0x04101008, 0x04001108, 0x04101108,
 280     0x00020000, 0x00120000, 0x00020100, 0x00120100,
 281     0x00020008, 0x00120008, 0x00020108, 0x00120108,
 282     0x00021000, 0x00121000, 0x00021100, 0x00121100,
 283     0x00021008, 0x00121008, 0x00021108, 0x00121108,
 284     0x04020000, 0x04120000, 0x04020100, 0x04120100,
 285     0x04020008, 0x04120008, 0x04020108, 0x04120108,
 286     0x04021000, 0x04121000, 0x04021100, 0x04121100,
 287     0x04021008, 0x04121008, 0x04021108, 0x04121108,
 288   },
 289   {
 290     0x00000000, 0x10000000, 0x00010000, 0x10010000,
 291     0x00000004, 0x10000004, 0x00010004, 0x10010004,
 292     0x20000000, 0x30000000, 0x20010000, 0x30010000,
 293     0x20000004, 0x30000004, 0x20010004, 0x30010004,
 294     0x00100000, 0x10100000, 0x00110000, 0x10110000,
 295     0x00100004, 0x10100004, 0x00110004, 0x10110004,
 296     0x20100000, 0x30100000, 0x20110000, 0x30110000,
 297     0x20100004, 0x30100004, 0x20110004, 0x30110004,
 298     0x00001000, 0x10001000, 0x00011000, 0x10011000,
 299     0x00001004, 0x10001004, 0x00011004, 0x10011004,
 300     0x20001000, 0x30001000, 0x20011000, 0x30011000,
 301     0x20001004, 0x30001004, 0x20011004, 0x30011004,
 302     0x00101000, 0x10101000, 0x00111000, 0x10111000,
 303     0x00101004, 0x10101004, 0x00111004, 0x10111004,
 304     0x20101000, 0x30101000, 0x20111000, 0x30111000,
 305     0x20101004, 0x30101004, 0x20111004, 0x30111004,
 306   },
 307   {
 308     0x00000000, 0x08000000, 0x00000008, 0x08000008,
 309     0x00000400, 0x08000400, 0x00000408, 0x08000408,
 310     0x00020000, 0x08020000, 0x00020008, 0x08020008,
 311     0x00020400, 0x08020400, 0x00020408, 0x08020408,
 312     0x00000001, 0x08000001, 0x00000009, 0x08000009,
 313     0x00000401, 0x08000401, 0x00000409, 0x08000409,
 314     0x00020001, 0x08020001, 0x00020009, 0x08020009,
 315     0x00020401, 0x08020401, 0x00020409, 0x08020409,
 316     0x02000000, 0x0A000000, 0x02000008, 0x0A000008,
 317     0x02000400, 0x0A000400, 0x02000408, 0x0A000408,
 318     0x02020000, 0x0A020000, 0x02020008, 0x0A020008,
 319     0x02020400, 0x0A020400, 0x02020408, 0x0A020408,
 320     0x02000001, 0x0A000001, 0x02000009, 0x0A000009,
 321     0x02000401, 0x0A000401, 0x02000409, 0x0A000409,
 322     0x02020001, 0x0A020001, 0x02020009, 0x0A020009,
 323     0x02020401, 0x0A020401, 0x02020409, 0x0A020409,
 324   },
 325   {
 326     0x00000000, 0x00000100, 0x00080000, 0x00080100,
 327     0x01000000, 0x01000100, 0x01080000, 0x01080100,
 328     0x00000010, 0x00000110, 0x00080010, 0x00080110,
 329     0x01000010, 0x01000110, 0x01080010, 0x01080110,
 330     0x00200000, 0x00200100, 0x00280000, 0x00280100,
 331     0x01200000, 0x01200100, 0x01280000, 0x01280100,
 332     0x00200010, 0x00200110, 0x00280010, 0x00280110,
 333     0x01200010, 0x01200110, 0x01280010, 0x01280110,
 334     0x00000200, 0x00000300, 0x00080200, 0x00080300,
 335     0x01000200, 0x01000300, 0x01080200, 0x01080300,
 336     0x00000210, 0x00000310, 0x00080210, 0x00080310,
 337     0x01000210, 0x01000310, 0x01080210, 0x01080310,
 338     0x00200200, 0x00200300, 0x00280200, 0x00280300,
 339     0x01200200, 0x01200300, 0x01280200, 0x01280300,
 340     0x00200210, 0x00200310, 0x00280210, 0x00280310,
 341     0x01200210, 0x01200310, 0x01280210, 0x01280310,
 342   },
 343   {
 344     0x00000000, 0x04000000, 0x00040000, 0x04040000,
 345     0x00000002, 0x04000002, 0x00040002, 0x04040002,
 346     0x00002000, 0x04002000, 0x00042000, 0x04042000,
 347     0x00002002, 0x04002002, 0x00042002, 0x04042002,
 348     0x00000020, 0x04000020, 0x00040020, 0x04040020,
 349     0x00000022, 0x04000022, 0x00040022, 0x04040022,
 350     0x00002020, 0x04002020, 0x00042020, 0x04042020,
 351     0x00002022, 0x04002022, 0x00042022, 0x04042022,
 352     0x00000800, 0x04000800, 0x00040800, 0x04040800,
 353     0x00000802, 0x04000802, 0x00040802, 0x04040802,
 354     0x00002800, 0x04002800, 0x00042800, 0x04042800,
 355     0x00002802, 0x04002802, 0x00042802, 0x04042802,
 356     0x00000820, 0x04000820, 0x00040820, 0x04040820,
 357     0x00000822, 0x04000822, 0x00040822, 0x04040822,
 358     0x00002820, 0x04002820, 0x00042820, 0x04042820,
 359     0x00002822, 0x04002822, 0x00042822, 0x04042822
 360   }
 361 };
 362
 363 #if   VECT_SIZE == 1
 364 #define BOX(i,n,S) (S)[(n)][(i)]
 365 #elif VECT_SIZE == 2
 366 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1])
 367 #elif VECT_SIZE == 4
 368 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3])
 369 #elif VECT_SIZE == 8
 370 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3], (S)[(n)][(i).s4], (S)[(n)][(i).s5], (S)[(n)][(i).s6], (S)[(n)][(i).s7])
 371 #elif VECT_SIZE == 16
 372 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3], (S)[(n)][(i).s4], (S)[(n)][(i).s5], (S)[(n)][(i).s6], (S)[(n)][(i).s7], (S)[(n)][(i).s8], (S)[(n)][(i).s9], (S)[(n)][(i).sa], (S)[(n)][(i).sb], (S)[(n)][(i).sc], (S)[(n)][(i).sd], (S)[(n)][(i).se], (S)[(n)][(i).sf])
 373 #endif
 374
 375 void _des_crypt_encrypt (u32x iv[2], u32x data[2], u32x Kc[16], u32x Kd[16], __local u32 (*s_SPtrans)[64])
 376 {
 377   u32x tt;
 378
 379   u32x r = data[0];
 380   u32x l = data[1];
 381
 382   IP (r, l, tt);
 383
 384   r = rotl32 (r, 3u);
 385   l = rotl32 (l, 3u);
 386
 387   #ifdef _unroll
 388   #pragma unroll
 389   #endif
 390   for (u32 i = 0; i < 16; i += 2)
 391   {
 392     u32x u;
 393     u32x t;
 394
 395     u = Kc[i + 0] ^ r;
 396     t = Kd[i + 0] ^ rotl32 (r, 28u);
 397
 398     l ^= BOX (((u >>  2) & 0x3f), 0, s_SPtrans)
 399        | BOX (((u >> 10) & 0x3f), 2, s_SPtrans)
 400        | BOX (((u >> 18) & 0x3f), 4, s_SPtrans)
 401        | BOX (((u >> 26) & 0x3f), 6, s_SPtrans)
 402        | BOX (((t >>  2) & 0x3f), 1, s_SPtrans)
 403        | BOX (((t >> 10) & 0x3f), 3, s_SPtrans)
 404        | BOX (((t >> 18) & 0x3f), 5, s_SPtrans)
 405        | BOX (((t >> 26) & 0x3f), 7, s_SPtrans);
 406
 407     u = Kc[i + 1] ^ l;
 408     t = Kd[i + 1] ^ rotl32 (l, 28u);
 409
 410     r ^= BOX (((u >>  2) & 0x3f), 0, s_SPtrans)
 411        | BOX (((u >> 10) & 0x3f), 2, s_SPtrans)
 412        | BOX (((u >> 18) & 0x3f), 4, s_SPtrans)
 413        | BOX (((u >> 26) & 0x3f), 6, s_SPtrans)
 414        | BOX (((t >>  2) & 0x3f), 1, s_SPtrans)
 415        | BOX (((t >> 10) & 0x3f), 3, s_SPtrans)
 416        | BOX (((t >> 18) & 0x3f), 5, s_SPtrans)
 417        | BOX (((t >> 26) & 0x3f), 7, s_SPtrans);
 418   }
 419
 420   l = rotl32 (l, 29u);
 421   r = rotl32 (r, 29u);
 422
 423   FP (r, l, tt);
 424
 425   iv[0] = l;
 426   iv[1] = r;
 427 }
 428
 429 void _des_crypt_keysetup (u32x c, u32x d, u32x Kc[16], u32x Kd[16], __local u32 (*s_skb)[64])
 430 {
 431   u32x tt;
 432
 433   PERM_OP  (d, c, tt, 4, 0x0f0f0f0f);
 434   HPERM_OP (c,    tt, 2, 0xcccc0000);
 435   HPERM_OP (d,    tt, 2, 0xcccc0000);
 436   PERM_OP  (d, c, tt, 1, 0x55555555);
 437   PERM_OP  (c, d, tt, 8, 0x00ff00ff);
 438   PERM_OP  (d, c, tt, 1, 0x55555555);
 439
 440   d = ((d & 0x000000ff) << 16)
 441     | ((d & 0x0000ff00) <<  0)
 442     | ((d & 0x00ff0000) >> 16)
 443     | ((c & 0xf0000000) >>  4);
 444
 445   c = c & 0x0fffffff;
 446
 447   #ifdef _unroll
 448   #pragma unroll
 449   #endif
 450   for (u32 i = 0; i < 16; i++)
 451   {
 452     if ((i < 2) || (i == 8) || (i == 15))
 453     {
 454       c = ((c >> 1) | (c << 27));
 455       d = ((d >> 1) | (d << 27));
 456     }
 457     else
 458     {
 459       c = ((c >> 2) | (c << 26));
 460       d = ((d >> 2) | (d << 26));
 461     }
 462
 463     c = c & 0x0fffffff;
 464     d = d & 0x0fffffff;
 465
 466     const u32x c00 = (c >>  0) & 0x0000003f;
 467     const u32x c06 = (c >>  6) & 0x00383003;
 468     const u32x c07 = (c >>  7) & 0x0000003c;
 469     const u32x c13 = (c >> 13) & 0x0000060f;
 470     const u32x c20 = (c >> 20) & 0x00000001;
 471
 472     u32x s = BOX (((c00 >>  0) & 0xff), 0, s_skb)
 473            | BOX (((c06 >>  0) & 0xff)
 474                  |((c07 >>  0) & 0xff), 1, s_skb)
 475            | BOX (((c13 >>  0) & 0xff)
 476                  |((c06 >>  8) & 0xff), 2, s_skb)
 477            | BOX (((c20 >>  0) & 0xff)
 478                  |((c13 >>  8) & 0xff)
 479                  |((c06 >> 16) & 0xff), 3, s_skb);
 480
 481     const u32x d00 = (d >>  0) & 0x00003c3f;
 482     const u32x d07 = (d >>  7) & 0x00003f03;
 483     const u32x d21 = (d >> 21) & 0x0000000f;
 484     const u32x d22 = (d >> 22) & 0x00000030;
 485
 486     u32x t = BOX (((d00 >>  0) & 0xff), 4, s_skb)
 487            | BOX (((d07 >>  0) & 0xff)
 488                  |((d00 >>  8) & 0xff), 5, s_skb)
 489            | BOX (((d07 >>  8) & 0xff), 6, s_skb)
 490            | BOX (((d21 >>  0) & 0xff)
 491                  |((d22 >>  0) & 0xff), 7, s_skb);
 492
 493     Kc[i] = ((t << 16) | (s & 0x0000ffff));
 494     Kd[i] = ((s >> 16) | (t & 0xffff0000));
 495
 496     Kc[i] = rotl32 (Kc[i], 2u);
 497     Kd[i] = rotl32 (Kd[i], 2u);
 498   }
 499 }
 500
 501 __kernel void m03100_m04 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 502 {
 503   /**
 504    * modifier
 505    */
 506
 507   const u32 gid = get_global_id (0);
 508   const u32 lid = get_local_id (0);
 509   const u32 lsz = get_local_size (0);
 510
 511   /**
 512    * sbox, kbox
 513    */
 514
 515   __local u32 s_SPtrans[8][64];
 516   __local u32 s_skb[8][64];
 517
 518   for (u32 i = lid; i < 64; i += lsz)
 519   {
 520     s_SPtrans[0][i] = c_SPtrans[0][i];
 521     s_SPtrans[1][i] = c_SPtrans[1][i];
 522     s_SPtrans[2][i] = c_SPtrans[2][i];
 523     s_SPtrans[3][i] = c_SPtrans[3][i];
 524     s_SPtrans[4][i] = c_SPtrans[4][i];
 525     s_SPtrans[5][i] = c_SPtrans[5][i];
 526     s_SPtrans[6][i] = c_SPtrans[6][i];
 527     s_SPtrans[7][i] = c_SPtrans[7][i];
 528
 529     s_skb[0][i] = c_skb[0][i];
 530     s_skb[1][i] = c_skb[1][i];
 531     s_skb[2][i] = c_skb[2][i];
 532     s_skb[3][i] = c_skb[3][i];
 533     s_skb[4][i] = c_skb[4][i];
 534     s_skb[5][i] = c_skb[5][i];
 535     s_skb[6][i] = c_skb[6][i];
 536     s_skb[7][i] = c_skb[7][i];
 537   }
 538
 539   barrier (CLK_LOCAL_MEM_FENCE);
 540
 541   if (gid >= gid_max) return;
 542
 543   /**
 544    * base
 545    */
 546
 547   u32 pw_buf0[4];
 548   u32 pw_buf1[4];
 549
 550   pw_buf0[0] = pws[gid].i[0];
 551   pw_buf0[1] = pws[gid].i[1];
 552   pw_buf0[2] = pws[gid].i[2];
 553   pw_buf0[3] = pws[gid].i[3];
 554   pw_buf1[0] = pws[gid].i[4];
 555   pw_buf1[1] = pws[gid].i[5];
 556   pw_buf1[2] = pws[gid].i[6];
 557   pw_buf1[3] = pws[gid].i[7];
 558
 559   const u32 pw_len = pws[gid].pw_len;
 560
 561   /**
 562    * salt
 563    */
 564
 565   u32 salt_buf0[4];
 566   u32 salt_buf1[4];
 567
 568   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
 569   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
 570   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[2];
 571   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[3];
 572   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[4];
 573   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[5];
 574   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[6];
 575   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[7];
 576
 577   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 578
 579   /**
 580    * main
 581    */
 582
 583   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 584   {
 585     u32x w0[4] = { 0 };
 586     u32x w1[4] = { 0 };
 587     u32x w2[4] = { 0 };
 588     u32x w3[4] = { 0 };
 589
 590     const u32x out_len = apply_rules_vect (pw_buf0, pw_buf1, pw_len, rules_buf, il_pos, w0, w1);
 591
 592     const u32x salt_word_len = (salt_len + out_len) * 2;
 593
 594     /**
 595      * prepend salt
 596      */
 597
 598     switch_buffer_by_offset_le (w0, w1, w2, w3, salt_len);
 599
 600     u32x dst[16];
 601
 602     dst[ 0] = w0[0] | salt_buf0[0];
 603     dst[ 1] = w0[1] | salt_buf0[1];
 604     dst[ 2] = w0[2] | salt_buf0[2];
 605     dst[ 3] = w0[3] | salt_buf0[3];
 606     dst[ 4] = w1[0] | salt_buf1[0];
 607     dst[ 5] = w1[1] | salt_buf1[1];
 608     dst[ 6] = w1[2] | salt_buf1[2];
 609     dst[ 7] = w1[3] | salt_buf1[3];
 610     dst[ 8] = w2[0];
 611     dst[ 9] = w2[1];
 612     dst[10] = w2[2];
 613     dst[11] = w2[3];
 614     dst[12] = w3[0];
 615     dst[13] = w3[1];
 616     dst[14] = w3[2];
 617     dst[15] = w3[3];
 618
 619     /**
 620      * precompute key1 since key is static: 0x0123456789abcdef
 621      * plus LEFT_ROTATE by 2
 622      */
 623
 624     u32x Kc[16];
 625
 626     Kc[ 0] = 0x64649040;
 627     Kc[ 1] = 0x14909858;
 628     Kc[ 2] = 0xc4b44888;
 629     Kc[ 3] = 0x9094e438;
 630     Kc[ 4] = 0xd8a004f0;
 631     Kc[ 5] = 0xa8f02810;
 632     Kc[ 6] = 0xc84048d8;
 633     Kc[ 7] = 0x68d804a8;
 634     Kc[ 8] = 0x0490e40c;
 635     Kc[ 9] = 0xac183024;
 636     Kc[10] = 0x24c07c10;
 637     Kc[11] = 0x8c88c038;
 638     Kc[12] = 0xc048c824;
 639     Kc[13] = 0x4c0470a8;
 640     Kc[14] = 0x584020b4;
 641     Kc[15] = 0x00742c4c;
 642
 643     u32x Kd[16];
 644
 645     Kd[ 0] = 0xa42ce40c;
 646     Kd[ 1] = 0x64689858;
 647     Kd[ 2] = 0x484050b8;
 648     Kd[ 3] = 0xe8184814;
 649     Kd[ 4] = 0x405cc070;
 650     Kd[ 5] = 0xa010784c;
 651     Kd[ 6] = 0x6074a800;
 652     Kd[ 7] = 0x80701c1c;
 653     Kd[ 8] = 0x9cd49430;
 654     Kd[ 9] = 0x4c8ce078;
 655     Kd[10] = 0x5c18c088;
 656     Kd[11] = 0x28a8a4c8;
 657     Kd[12] = 0x3c180838;
 658     Kd[13] = 0xb0b86c20;
 659     Kd[14] = 0xac84a094;
 660     Kd[15] = 0x4ce0c0c4;
 661
 662     /**
 663      * key1 (generate key)
 664      */
 665
 666     u32x iv[2];
 667
 668     iv[0] = 0;
 669     iv[1] = 0;
 670
 671     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 672     {
 673       u32x data[2];
 674
 675       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 676       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 677
 678       data[0] ^= iv[0];
 679       data[1] ^= iv[1];
 680
 681       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 682     }
 683
 684     /**
 685      * key2 (generate hash)
 686      */
 687
 688     _des_crypt_keysetup (iv[0], iv[1], Kc, Kd, s_skb);
 689
 690     iv[0] = 0;
 691     iv[1] = 0;
 692
 693     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 694     {
 695       u32x data[2];
 696
 697       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 698       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 699
 700       data[0] ^= iv[0];
 701       data[1] ^= iv[1];
 702
 703       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 704     }
 705
 706     /**
 707      * cmp
 708      */
 709
 710     u32x z = 0;
 711
 712     COMPARE_M_SIMD (iv[0], iv[1], z, z);
 713   }
 714 }
 715
 716 __kernel void m03100_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 717 {
 718 }
 719
 720 __kernel void m03100_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 721 {
 722 }
 723
 724 __kernel void m03100_s04 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 725 {
 726   /**
 727    * modifier
 728    */
 729
 730   const u32 gid = get_global_id (0);
 731   const u32 lid = get_local_id (0);
 732   const u32 lsz = get_local_size (0);
 733
 734   /**
 735    * sbox, kbox
 736    */
 737
 738   __local u32 s_SPtrans[8][64];
 739   __local u32 s_skb[8][64];
 740
 741   for (u32 i = lid; i < 64; i += lsz)
 742   {
 743     s_SPtrans[0][i] = c_SPtrans[0][i];
 744     s_SPtrans[1][i] = c_SPtrans[1][i];
 745     s_SPtrans[2][i] = c_SPtrans[2][i];
 746     s_SPtrans[3][i] = c_SPtrans[3][i];
 747     s_SPtrans[4][i] = c_SPtrans[4][i];
 748     s_SPtrans[5][i] = c_SPtrans[5][i];
 749     s_SPtrans[6][i] = c_SPtrans[6][i];
 750     s_SPtrans[7][i] = c_SPtrans[7][i];
 751
 752     s_skb[0][i] = c_skb[0][i];
 753     s_skb[1][i] = c_skb[1][i];
 754     s_skb[2][i] = c_skb[2][i];
 755     s_skb[3][i] = c_skb[3][i];
 756     s_skb[4][i] = c_skb[4][i];
 757     s_skb[5][i] = c_skb[5][i];
 758     s_skb[6][i] = c_skb[6][i];
 759     s_skb[7][i] = c_skb[7][i];
 760   }
 761
 762   barrier (CLK_LOCAL_MEM_FENCE);
 763
 764   if (gid >= gid_max) return;
 765
 766   /**
 767    * base
 768    */
 769
 770   u32 pw_buf0[4];
 771   u32 pw_buf1[4];
 772
 773   pw_buf0[0] = pws[gid].i[0];
 774   pw_buf0[1] = pws[gid].i[1];
 775   pw_buf0[2] = pws[gid].i[2];
 776   pw_buf0[3] = pws[gid].i[3];
 777   pw_buf1[0] = pws[gid].i[4];
 778   pw_buf1[1] = pws[gid].i[5];
 779   pw_buf1[2] = pws[gid].i[6];
 780   pw_buf1[3] = pws[gid].i[7];
 781
 782   const u32 pw_len = pws[gid].pw_len;
 783
 784   /**
 785    * salt
 786    */
 787
 788   u32 salt_buf0[4];
 789   u32 salt_buf1[4];
 790
 791   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
 792   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
 793   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[2];
 794   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[3];
 795   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[4];
 796   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[5];
 797   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[6];
 798   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[7];
 799
 800   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 801
 802   /**
 803    * digest
 804    */
 805
 806   const u32 search[4] =
 807   {
 808     digests_buf[digests_offset].digest_buf[DGST_R0],
 809     digests_buf[digests_offset].digest_buf[DGST_R1],
 810     0,
 811     0
 812   };
 813
 814   /**
 815    * main
 816    */
 817
 818   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 819   {
 820     u32x w0[4] = { 0 };
 821     u32x w1[4] = { 0 };
 822     u32x w2[4] = { 0 };
 823     u32x w3[4] = { 0 };
 824
 825     const u32x out_len = apply_rules_vect (pw_buf0, pw_buf1, pw_len, rules_buf, il_pos, w0, w1);
 826
 827     const u32x salt_word_len = (salt_len + out_len) * 2;
 828
 829     /**
 830      * prepend salt
 831      */
 832
 833     switch_buffer_by_offset_le (w0, w1, w2, w3, salt_len);
 834
 835     u32x dst[16];
 836
 837     dst[ 0] = w0[0] | salt_buf0[0];
 838     dst[ 1] = w0[1] | salt_buf0[1];
 839     dst[ 2] = w0[2] | salt_buf0[2];
 840     dst[ 3] = w0[3] | salt_buf0[3];
 841     dst[ 4] = w1[0] | salt_buf1[0];
 842     dst[ 5] = w1[1] | salt_buf1[1];
 843     dst[ 6] = w1[2] | salt_buf1[2];
 844     dst[ 7] = w1[3] | salt_buf1[3];
 845     dst[ 8] = w2[0];
 846     dst[ 9] = w2[1];
 847     dst[10] = w2[2];
 848     dst[11] = w2[3];
 849     dst[12] = w3[0];
 850     dst[13] = w3[1];
 851     dst[14] = w3[2];
 852     dst[15] = w3[3];
 853
 854     /**
 855      * precompute key1 since key is static: 0x0123456789abcdef
 856      * plus LEFT_ROTATE by 2
 857      */
 858
 859     u32x Kc[16];
 860
 861     Kc[ 0] = 0x64649040;
 862     Kc[ 1] = 0x14909858;
 863     Kc[ 2] = 0xc4b44888;
 864     Kc[ 3] = 0x9094e438;
 865     Kc[ 4] = 0xd8a004f0;
 866     Kc[ 5] = 0xa8f02810;
 867     Kc[ 6] = 0xc84048d8;
 868     Kc[ 7] = 0x68d804a8;
 869     Kc[ 8] = 0x0490e40c;
 870     Kc[ 9] = 0xac183024;
 871     Kc[10] = 0x24c07c10;
 872     Kc[11] = 0x8c88c038;
 873     Kc[12] = 0xc048c824;
 874     Kc[13] = 0x4c0470a8;
 875     Kc[14] = 0x584020b4;
 876     Kc[15] = 0x00742c4c;
 877
 878     u32x Kd[16];
 879
 880     Kd[ 0] = 0xa42ce40c;
 881     Kd[ 1] = 0x64689858;
 882     Kd[ 2] = 0x484050b8;
 883     Kd[ 3] = 0xe8184814;
 884     Kd[ 4] = 0x405cc070;
 885     Kd[ 5] = 0xa010784c;
 886     Kd[ 6] = 0x6074a800;
 887     Kd[ 7] = 0x80701c1c;
 888     Kd[ 8] = 0x9cd49430;
 889     Kd[ 9] = 0x4c8ce078;
 890     Kd[10] = 0x5c18c088;
 891     Kd[11] = 0x28a8a4c8;
 892     Kd[12] = 0x3c180838;
 893     Kd[13] = 0xb0b86c20;
 894     Kd[14] = 0xac84a094;
 895     Kd[15] = 0x4ce0c0c4;
 896
 897     /**
 898      * key1 (generate key)
 899      */
 900
 901     u32x iv[2];
 902
 903     iv[0] = 0;
 904     iv[1] = 0;
 905
 906     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 907     {
 908       u32x data[2];
 909
 910       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 911       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 912
 913       data[0] ^= iv[0];
 914       data[1] ^= iv[1];
 915
 916       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 917     }
 918
 919     /**
 920      * key2 (generate hash)
 921      */
 922
 923     _des_crypt_keysetup (iv[0], iv[1], Kc, Kd, s_skb);
 924
 925     iv[0] = 0;
 926     iv[1] = 0;
 927
 928     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 929     {
 930       u32x data[2];
 931
 932       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 933       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 934
 935       data[0] ^= iv[0];
 936       data[1] ^= iv[1];
 937
 938       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 939     }
 940
 941     /**
 942      * cmp
 943      */
 944
 945     u32x z = 0;
 946
 947     COMPARE_S_SIMD (iv[0], iv[1], z, z);
 948   }
 949 }
 950
 951 __kernel void m03100_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 952 {
 953 }
 954
 955 __kernel void m03100_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 956 {
 957 }