OpenCL/m03100_a0.cl

   1 /**
   2  * Authors.....: Jens Steube <jens.steube@gmail.com>
   3  *               Gabriele Gristina <matrix@hashcat.net>
   4  *               magnum <john.magnum@hushmail.com>
   5  *
   6  * License.....: MIT
   7  */
   8
   9 #define _DES_
  10
  11 //incompatible
  12 //#define NEW_SIMD_CODE
  13
  14 #include "inc_vendor.cl"
  15 #include "inc_hash_constants.h"
  16 #include "inc_hash_functions.cl"
  17 #include "inc_types.cl"
  18 #include "inc_common.cl"
  19 #include "inc_rp.h"
  20 #include "inc_rp.cl"
  21 #include "inc_simd.cl"
  22
  23 #define PERM_OP(a,b,tt,n,m) \
  24 {                           \
  25   tt = a >> n;              \
  26   tt = tt ^ b;              \
  27   tt = tt & m;              \
  28   b = b ^ tt;               \
  29   tt = tt << n;             \
  30   a = a ^ tt;               \
  31 }
  32
  33 #define HPERM_OP(a,tt,n,m)  \
  34 {                           \
  35   tt = a << (16 + n);       \
  36   tt = tt ^ a;              \
  37   tt = tt & m;              \
  38   a  = a ^ tt;              \
  39   tt = tt >> (16 + n);      \
  40   a  = a ^ tt;              \
  41 }
  42
  43 #define IP(l,r,tt)                     \
  44 {                                      \
  45   PERM_OP (r, l, tt,  4, 0x0f0f0f0f);  \
  46   PERM_OP (l, r, tt, 16, 0x0000ffff);  \
  47   PERM_OP (r, l, tt,  2, 0x33333333);  \
  48   PERM_OP (l, r, tt,  8, 0x00ff00ff);  \
  49   PERM_OP (r, l, tt,  1, 0x55555555);  \
  50 }
  51
  52 #define FP(l,r,tt)                     \
  53 {                                      \
  54   PERM_OP (l, r, tt,  1, 0x55555555);  \
  55   PERM_OP (r, l, tt,  8, 0x00ff00ff);  \
  56   PERM_OP (l, r, tt,  2, 0x33333333);  \
  57   PERM_OP (r, l, tt, 16, 0x0000ffff);  \
  58   PERM_OP (l, r, tt,  4, 0x0f0f0f0f);  \
  59 }
  60
  61 __constant u32 c_SPtrans[8][64] =
  62 {
  63   {
  64     0x02080800, 0x00080000, 0x02000002, 0x02080802,
  65     0x02000000, 0x00080802, 0x00080002, 0x02000002,
  66     0x00080802, 0x02080800, 0x02080000, 0x00000802,
  67     0x02000802, 0x02000000, 0x00000000, 0x00080002,
  68     0x00080000, 0x00000002, 0x02000800, 0x00080800,
  69     0x02080802, 0x02080000, 0x00000802, 0x02000800,
  70     0x00000002, 0x00000800, 0x00080800, 0x02080002,
  71     0x00000800, 0x02000802, 0x02080002, 0x00000000,
  72     0x00000000, 0x02080802, 0x02000800, 0x00080002,
  73     0x02080800, 0x00080000, 0x00000802, 0x02000800,
  74     0x02080002, 0x00000800, 0x00080800, 0x02000002,
  75     0x00080802, 0x00000002, 0x02000002, 0x02080000,
  76     0x02080802, 0x00080800, 0x02080000, 0x02000802,
  77     0x02000000, 0x00000802, 0x00080002, 0x00000000,
  78     0x00080000, 0x02000000, 0x02000802, 0x02080800,
  79     0x00000002, 0x02080002, 0x00000800, 0x00080802,
  80   },
  81   {
  82     0x40108010, 0x00000000, 0x00108000, 0x40100000,
  83     0x40000010, 0x00008010, 0x40008000, 0x00108000,
  84     0x00008000, 0x40100010, 0x00000010, 0x40008000,
  85     0x00100010, 0x40108000, 0x40100000, 0x00000010,
  86     0x00100000, 0x40008010, 0x40100010, 0x00008000,
  87     0x00108010, 0x40000000, 0x00000000, 0x00100010,
  88     0x40008010, 0x00108010, 0x40108000, 0x40000010,
  89     0x40000000, 0x00100000, 0x00008010, 0x40108010,
  90     0x00100010, 0x40108000, 0x40008000, 0x00108010,
  91     0x40108010, 0x00100010, 0x40000010, 0x00000000,
  92     0x40000000, 0x00008010, 0x00100000, 0x40100010,
  93     0x00008000, 0x40000000, 0x00108010, 0x40008010,
  94     0x40108000, 0x00008000, 0x00000000, 0x40000010,
  95     0x00000010, 0x40108010, 0x00108000, 0x40100000,
  96     0x40100010, 0x00100000, 0x00008010, 0x40008000,
  97     0x40008010, 0x00000010, 0x40100000, 0x00108000,
  98   },
  99   {
 100     0x04000001, 0x04040100, 0x00000100, 0x04000101,
 101     0x00040001, 0x04000000, 0x04000101, 0x00040100,
 102     0x04000100, 0x00040000, 0x04040000, 0x00000001,
 103     0x04040101, 0x00000101, 0x00000001, 0x04040001,
 104     0x00000000, 0x00040001, 0x04040100, 0x00000100,
 105     0x00000101, 0x04040101, 0x00040000, 0x04000001,
 106     0x04040001, 0x04000100, 0x00040101, 0x04040000,
 107     0x00040100, 0x00000000, 0x04000000, 0x00040101,
 108     0x04040100, 0x00000100, 0x00000001, 0x00040000,
 109     0x00000101, 0x00040001, 0x04040000, 0x04000101,
 110     0x00000000, 0x04040100, 0x00040100, 0x04040001,
 111     0x00040001, 0x04000000, 0x04040101, 0x00000001,
 112     0x00040101, 0x04000001, 0x04000000, 0x04040101,
 113     0x00040000, 0x04000100, 0x04000101, 0x00040100,
 114     0x04000100, 0x00000000, 0x04040001, 0x00000101,
 115     0x04000001, 0x00040101, 0x00000100, 0x04040000,
 116   },
 117   {
 118     0x00401008, 0x10001000, 0x00000008, 0x10401008,
 119     0x00000000, 0x10400000, 0x10001008, 0x00400008,
 120     0x10401000, 0x10000008, 0x10000000, 0x00001008,
 121     0x10000008, 0x00401008, 0x00400000, 0x10000000,
 122     0x10400008, 0x00401000, 0x00001000, 0x00000008,
 123     0x00401000, 0x10001008, 0x10400000, 0x00001000,
 124     0x00001008, 0x00000000, 0x00400008, 0x10401000,
 125     0x10001000, 0x10400008, 0x10401008, 0x00400000,
 126     0x10400008, 0x00001008, 0x00400000, 0x10000008,
 127     0x00401000, 0x10001000, 0x00000008, 0x10400000,
 128     0x10001008, 0x00000000, 0x00001000, 0x00400008,
 129     0x00000000, 0x10400008, 0x10401000, 0x00001000,
 130     0x10000000, 0x10401008, 0x00401008, 0x00400000,
 131     0x10401008, 0x00000008, 0x10001000, 0x00401008,
 132     0x00400008, 0x00401000, 0x10400000, 0x10001008,
 133     0x00001008, 0x10000000, 0x10000008, 0x10401000,
 134   },
 135   {
 136     0x08000000, 0x00010000, 0x00000400, 0x08010420,
 137     0x08010020, 0x08000400, 0x00010420, 0x08010000,
 138     0x00010000, 0x00000020, 0x08000020, 0x00010400,
 139     0x08000420, 0x08010020, 0x08010400, 0x00000000,
 140     0x00010400, 0x08000000, 0x00010020, 0x00000420,
 141     0x08000400, 0x00010420, 0x00000000, 0x08000020,
 142     0x00000020, 0x08000420, 0x08010420, 0x00010020,
 143     0x08010000, 0x00000400, 0x00000420, 0x08010400,
 144     0x08010400, 0x08000420, 0x00010020, 0x08010000,
 145     0x00010000, 0x00000020, 0x08000020, 0x08000400,
 146     0x08000000, 0x00010400, 0x08010420, 0x00000000,
 147     0x00010420, 0x08000000, 0x00000400, 0x00010020,
 148     0x08000420, 0x00000400, 0x00000000, 0x08010420,
 149     0x08010020, 0x08010400, 0x00000420, 0x00010000,
 150     0x00010400, 0x08010020, 0x08000400, 0x00000420,
 151     0x00000020, 0x00010420, 0x08010000, 0x08000020,
 152   },
 153   {
 154     0x80000040, 0x00200040, 0x00000000, 0x80202000,
 155     0x00200040, 0x00002000, 0x80002040, 0x00200000,
 156     0x00002040, 0x80202040, 0x00202000, 0x80000000,
 157     0x80002000, 0x80000040, 0x80200000, 0x00202040,
 158     0x00200000, 0x80002040, 0x80200040, 0x00000000,
 159     0x00002000, 0x00000040, 0x80202000, 0x80200040,
 160     0x80202040, 0x80200000, 0x80000000, 0x00002040,
 161     0x00000040, 0x00202000, 0x00202040, 0x80002000,
 162     0x00002040, 0x80000000, 0x80002000, 0x00202040,
 163     0x80202000, 0x00200040, 0x00000000, 0x80002000,
 164     0x80000000, 0x00002000, 0x80200040, 0x00200000,
 165     0x00200040, 0x80202040, 0x00202000, 0x00000040,
 166     0x80202040, 0x00202000, 0x00200000, 0x80002040,
 167     0x80000040, 0x80200000, 0x00202040, 0x00000000,
 168     0x00002000, 0x80000040, 0x80002040, 0x80202000,
 169     0x80200000, 0x00002040, 0x00000040, 0x80200040,
 170   },
 171   {
 172     0x00004000, 0x00000200, 0x01000200, 0x01000004,
 173     0x01004204, 0x00004004, 0x00004200, 0x00000000,
 174     0x01000000, 0x01000204, 0x00000204, 0x01004000,
 175     0x00000004, 0x01004200, 0x01004000, 0x00000204,
 176     0x01000204, 0x00004000, 0x00004004, 0x01004204,
 177     0x00000000, 0x01000200, 0x01000004, 0x00004200,
 178     0x01004004, 0x00004204, 0x01004200, 0x00000004,
 179     0x00004204, 0x01004004, 0x00000200, 0x01000000,
 180     0x00004204, 0x01004000, 0x01004004, 0x00000204,
 181     0x00004000, 0x00000200, 0x01000000, 0x01004004,
 182     0x01000204, 0x00004204, 0x00004200, 0x00000000,
 183     0x00000200, 0x01000004, 0x00000004, 0x01000200,
 184     0x00000000, 0x01000204, 0x01000200, 0x00004200,
 185     0x00000204, 0x00004000, 0x01004204, 0x01000000,
 186     0x01004200, 0x00000004, 0x00004004, 0x01004204,
 187     0x01000004, 0x01004200, 0x01004000, 0x00004004,
 188   },
 189   {
 190     0x20800080, 0x20820000, 0x00020080, 0x00000000,
 191     0x20020000, 0x00800080, 0x20800000, 0x20820080,
 192     0x00000080, 0x20000000, 0x00820000, 0x00020080,
 193     0x00820080, 0x20020080, 0x20000080, 0x20800000,
 194     0x00020000, 0x00820080, 0x00800080, 0x20020000,
 195     0x20820080, 0x20000080, 0x00000000, 0x00820000,
 196     0x20000000, 0x00800000, 0x20020080, 0x20800080,
 197     0x00800000, 0x00020000, 0x20820000, 0x00000080,
 198     0x00800000, 0x00020000, 0x20000080, 0x20820080,
 199     0x00020080, 0x20000000, 0x00000000, 0x00820000,
 200     0x20800080, 0x20020080, 0x20020000, 0x00800080,
 201     0x20820000, 0x00000080, 0x00800080, 0x20020000,
 202     0x20820080, 0x00800000, 0x20800000, 0x20000080,
 203     0x00820000, 0x00020080, 0x20020080, 0x20800000,
 204     0x00000080, 0x20820000, 0x00820080, 0x00000000,
 205     0x20000000, 0x20800080, 0x00020000, 0x00820080,
 206   }
 207 };
 208
 209 __constant u32 c_skb[8][64] =
 210 {
 211   {
 212     0x00000000, 0x00000010, 0x20000000, 0x20000010,
 213     0x00010000, 0x00010010, 0x20010000, 0x20010010,
 214     0x00000800, 0x00000810, 0x20000800, 0x20000810,
 215     0x00010800, 0x00010810, 0x20010800, 0x20010810,
 216     0x00000020, 0x00000030, 0x20000020, 0x20000030,
 217     0x00010020, 0x00010030, 0x20010020, 0x20010030,
 218     0x00000820, 0x00000830, 0x20000820, 0x20000830,
 219     0x00010820, 0x00010830, 0x20010820, 0x20010830,
 220     0x00080000, 0x00080010, 0x20080000, 0x20080010,
 221     0x00090000, 0x00090010, 0x20090000, 0x20090010,
 222     0x00080800, 0x00080810, 0x20080800, 0x20080810,
 223     0x00090800, 0x00090810, 0x20090800, 0x20090810,
 224     0x00080020, 0x00080030, 0x20080020, 0x20080030,
 225     0x00090020, 0x00090030, 0x20090020, 0x20090030,
 226     0x00080820, 0x00080830, 0x20080820, 0x20080830,
 227     0x00090820, 0x00090830, 0x20090820, 0x20090830,
 228   },
 229   {
 230     0x00000000, 0x02000000, 0x00002000, 0x02002000,
 231     0x00200000, 0x02200000, 0x00202000, 0x02202000,
 232     0x00000004, 0x02000004, 0x00002004, 0x02002004,
 233     0x00200004, 0x02200004, 0x00202004, 0x02202004,
 234     0x00000400, 0x02000400, 0x00002400, 0x02002400,
 235     0x00200400, 0x02200400, 0x00202400, 0x02202400,
 236     0x00000404, 0x02000404, 0x00002404, 0x02002404,
 237     0x00200404, 0x02200404, 0x00202404, 0x02202404,
 238     0x10000000, 0x12000000, 0x10002000, 0x12002000,
 239     0x10200000, 0x12200000, 0x10202000, 0x12202000,
 240     0x10000004, 0x12000004, 0x10002004, 0x12002004,
 241     0x10200004, 0x12200004, 0x10202004, 0x12202004,
 242     0x10000400, 0x12000400, 0x10002400, 0x12002400,
 243     0x10200400, 0x12200400, 0x10202400, 0x12202400,
 244     0x10000404, 0x12000404, 0x10002404, 0x12002404,
 245     0x10200404, 0x12200404, 0x10202404, 0x12202404,
 246   },
 247   {
 248     0x00000000, 0x00000001, 0x00040000, 0x00040001,
 249     0x01000000, 0x01000001, 0x01040000, 0x01040001,
 250     0x00000002, 0x00000003, 0x00040002, 0x00040003,
 251     0x01000002, 0x01000003, 0x01040002, 0x01040003,
 252     0x00000200, 0x00000201, 0x00040200, 0x00040201,
 253     0x01000200, 0x01000201, 0x01040200, 0x01040201,
 254     0x00000202, 0x00000203, 0x00040202, 0x00040203,
 255     0x01000202, 0x01000203, 0x01040202, 0x01040203,
 256     0x08000000, 0x08000001, 0x08040000, 0x08040001,
 257     0x09000000, 0x09000001, 0x09040000, 0x09040001,
 258     0x08000002, 0x08000003, 0x08040002, 0x08040003,
 259     0x09000002, 0x09000003, 0x09040002, 0x09040003,
 260     0x08000200, 0x08000201, 0x08040200, 0x08040201,
 261     0x09000200, 0x09000201, 0x09040200, 0x09040201,
 262     0x08000202, 0x08000203, 0x08040202, 0x08040203,
 263     0x09000202, 0x09000203, 0x09040202, 0x09040203,
 264   },
 265   {
 266     0x00000000, 0x00100000, 0x00000100, 0x00100100,
 267     0x00000008, 0x00100008, 0x00000108, 0x00100108,
 268     0x00001000, 0x00101000, 0x00001100, 0x00101100,
 269     0x00001008, 0x00101008, 0x00001108, 0x00101108,
 270     0x04000000, 0x04100000, 0x04000100, 0x04100100,
 271     0x04000008, 0x04100008, 0x04000108, 0x04100108,
 272     0x04001000, 0x04101000, 0x04001100, 0x04101100,
 273     0x04001008, 0x04101008, 0x04001108, 0x04101108,
 274     0x00020000, 0x00120000, 0x00020100, 0x00120100,
 275     0x00020008, 0x00120008, 0x00020108, 0x00120108,
 276     0x00021000, 0x00121000, 0x00021100, 0x00121100,
 277     0x00021008, 0x00121008, 0x00021108, 0x00121108,
 278     0x04020000, 0x04120000, 0x04020100, 0x04120100,
 279     0x04020008, 0x04120008, 0x04020108, 0x04120108,
 280     0x04021000, 0x04121000, 0x04021100, 0x04121100,
 281     0x04021008, 0x04121008, 0x04021108, 0x04121108,
 282   },
 283   {
 284     0x00000000, 0x10000000, 0x00010000, 0x10010000,
 285     0x00000004, 0x10000004, 0x00010004, 0x10010004,
 286     0x20000000, 0x30000000, 0x20010000, 0x30010000,
 287     0x20000004, 0x30000004, 0x20010004, 0x30010004,
 288     0x00100000, 0x10100000, 0x00110000, 0x10110000,
 289     0x00100004, 0x10100004, 0x00110004, 0x10110004,
 290     0x20100000, 0x30100000, 0x20110000, 0x30110000,
 291     0x20100004, 0x30100004, 0x20110004, 0x30110004,
 292     0x00001000, 0x10001000, 0x00011000, 0x10011000,
 293     0x00001004, 0x10001004, 0x00011004, 0x10011004,
 294     0x20001000, 0x30001000, 0x20011000, 0x30011000,
 295     0x20001004, 0x30001004, 0x20011004, 0x30011004,
 296     0x00101000, 0x10101000, 0x00111000, 0x10111000,
 297     0x00101004, 0x10101004, 0x00111004, 0x10111004,
 298     0x20101000, 0x30101000, 0x20111000, 0x30111000,
 299     0x20101004, 0x30101004, 0x20111004, 0x30111004,
 300   },
 301   {
 302     0x00000000, 0x08000000, 0x00000008, 0x08000008,
 303     0x00000400, 0x08000400, 0x00000408, 0x08000408,
 304     0x00020000, 0x08020000, 0x00020008, 0x08020008,
 305     0x00020400, 0x08020400, 0x00020408, 0x08020408,
 306     0x00000001, 0x08000001, 0x00000009, 0x08000009,
 307     0x00000401, 0x08000401, 0x00000409, 0x08000409,
 308     0x00020001, 0x08020001, 0x00020009, 0x08020009,
 309     0x00020401, 0x08020401, 0x00020409, 0x08020409,
 310     0x02000000, 0x0A000000, 0x02000008, 0x0A000008,
 311     0x02000400, 0x0A000400, 0x02000408, 0x0A000408,
 312     0x02020000, 0x0A020000, 0x02020008, 0x0A020008,
 313     0x02020400, 0x0A020400, 0x02020408, 0x0A020408,
 314     0x02000001, 0x0A000001, 0x02000009, 0x0A000009,
 315     0x02000401, 0x0A000401, 0x02000409, 0x0A000409,
 316     0x02020001, 0x0A020001, 0x02020009, 0x0A020009,
 317     0x02020401, 0x0A020401, 0x02020409, 0x0A020409,
 318   },
 319   {
 320     0x00000000, 0x00000100, 0x00080000, 0x00080100,
 321     0x01000000, 0x01000100, 0x01080000, 0x01080100,
 322     0x00000010, 0x00000110, 0x00080010, 0x00080110,
 323     0x01000010, 0x01000110, 0x01080010, 0x01080110,
 324     0x00200000, 0x00200100, 0x00280000, 0x00280100,
 325     0x01200000, 0x01200100, 0x01280000, 0x01280100,
 326     0x00200010, 0x00200110, 0x00280010, 0x00280110,
 327     0x01200010, 0x01200110, 0x01280010, 0x01280110,
 328     0x00000200, 0x00000300, 0x00080200, 0x00080300,
 329     0x01000200, 0x01000300, 0x01080200, 0x01080300,
 330     0x00000210, 0x00000310, 0x00080210, 0x00080310,
 331     0x01000210, 0x01000310, 0x01080210, 0x01080310,
 332     0x00200200, 0x00200300, 0x00280200, 0x00280300,
 333     0x01200200, 0x01200300, 0x01280200, 0x01280300,
 334     0x00200210, 0x00200310, 0x00280210, 0x00280310,
 335     0x01200210, 0x01200310, 0x01280210, 0x01280310,
 336   },
 337   {
 338     0x00000000, 0x04000000, 0x00040000, 0x04040000,
 339     0x00000002, 0x04000002, 0x00040002, 0x04040002,
 340     0x00002000, 0x04002000, 0x00042000, 0x04042000,
 341     0x00002002, 0x04002002, 0x00042002, 0x04042002,
 342     0x00000020, 0x04000020, 0x00040020, 0x04040020,
 343     0x00000022, 0x04000022, 0x00040022, 0x04040022,
 344     0x00002020, 0x04002020, 0x00042020, 0x04042020,
 345     0x00002022, 0x04002022, 0x00042022, 0x04042022,
 346     0x00000800, 0x04000800, 0x00040800, 0x04040800,
 347     0x00000802, 0x04000802, 0x00040802, 0x04040802,
 348     0x00002800, 0x04002800, 0x00042800, 0x04042800,
 349     0x00002802, 0x04002802, 0x00042802, 0x04042802,
 350     0x00000820, 0x04000820, 0x00040820, 0x04040820,
 351     0x00000822, 0x04000822, 0x00040822, 0x04040822,
 352     0x00002820, 0x04002820, 0x00042820, 0x04042820,
 353     0x00002822, 0x04002822, 0x00042822, 0x04042822
 354   }
 355 };
 356
 357 #if   VECT_SIZE == 1
 358 #define BOX(i,n,S) (S)[(n)][(i)]
 359 #elif VECT_SIZE == 2
 360 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1])
 361 #elif VECT_SIZE == 4
 362 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3])
 363 #elif VECT_SIZE == 8
 364 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3], (S)[(n)][(i).s4], (S)[(n)][(i).s5], (S)[(n)][(i).s6], (S)[(n)][(i).s7])
 365 #elif VECT_SIZE == 16
 366 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3], (S)[(n)][(i).s4], (S)[(n)][(i).s5], (S)[(n)][(i).s6], (S)[(n)][(i).s7], (S)[(n)][(i).s8], (S)[(n)][(i).s9], (S)[(n)][(i).sa], (S)[(n)][(i).sb], (S)[(n)][(i).sc], (S)[(n)][(i).sd], (S)[(n)][(i).se], (S)[(n)][(i).sf])
 367 #endif
 368
 369 void _des_crypt_encrypt (u32x iv[2], u32x data[2], u32x Kc[16], u32x Kd[16], __local u32 (*s_SPtrans)[64])
 370 {
 371   u32x tt;
 372
 373   u32x r = data[0];
 374   u32x l = data[1];
 375
 376   IP (r, l, tt);
 377
 378   r = rotl32 (r, 3u);
 379   l = rotl32 (l, 3u);
 380
 381   #ifdef _unroll
 382   #pragma unroll
 383   #endif
 384   for (u32 i = 0; i < 16; i += 2)
 385   {
 386     u32x u;
 387     u32x t;
 388
 389     u = Kc[i + 0] ^ r;
 390     t = Kd[i + 0] ^ rotl32 (r, 28u);
 391
 392     l ^= BOX (((u >>  2) & 0x3f), 0, s_SPtrans)
 393        | BOX (((u >> 10) & 0x3f), 2, s_SPtrans)
 394        | BOX (((u >> 18) & 0x3f), 4, s_SPtrans)
 395        | BOX (((u >> 26) & 0x3f), 6, s_SPtrans)
 396        | BOX (((t >>  2) & 0x3f), 1, s_SPtrans)
 397        | BOX (((t >> 10) & 0x3f), 3, s_SPtrans)
 398        | BOX (((t >> 18) & 0x3f), 5, s_SPtrans)
 399        | BOX (((t >> 26) & 0x3f), 7, s_SPtrans);
 400
 401     u = Kc[i + 1] ^ l;
 402     t = Kd[i + 1] ^ rotl32 (l, 28u);
 403
 404     r ^= BOX (((u >>  2) & 0x3f), 0, s_SPtrans)
 405        | BOX (((u >> 10) & 0x3f), 2, s_SPtrans)
 406        | BOX (((u >> 18) & 0x3f), 4, s_SPtrans)
 407        | BOX (((u >> 26) & 0x3f), 6, s_SPtrans)
 408        | BOX (((t >>  2) & 0x3f), 1, s_SPtrans)
 409        | BOX (((t >> 10) & 0x3f), 3, s_SPtrans)
 410        | BOX (((t >> 18) & 0x3f), 5, s_SPtrans)
 411        | BOX (((t >> 26) & 0x3f), 7, s_SPtrans);
 412   }
 413
 414   l = rotl32 (l, 29u);
 415   r = rotl32 (r, 29u);
 416
 417   FP (r, l, tt);
 418
 419   iv[0] = l;
 420   iv[1] = r;
 421 }
 422
 423 void _des_crypt_keysetup (u32x c, u32x d, u32x Kc[16], u32x Kd[16], __local u32 (*s_skb)[64])
 424 {
 425   u32x tt;
 426
 427   PERM_OP  (d, c, tt, 4, 0x0f0f0f0f);
 428   HPERM_OP (c,    tt, 2, 0xcccc0000);
 429   HPERM_OP (d,    tt, 2, 0xcccc0000);
 430   PERM_OP  (d, c, tt, 1, 0x55555555);
 431   PERM_OP  (c, d, tt, 8, 0x00ff00ff);
 432   PERM_OP  (d, c, tt, 1, 0x55555555);
 433
 434   d = ((d & 0x000000ff) << 16)
 435     | ((d & 0x0000ff00) <<  0)
 436     | ((d & 0x00ff0000) >> 16)
 437     | ((c & 0xf0000000) >>  4);
 438
 439   c = c & 0x0fffffff;
 440
 441   #ifdef _unroll
 442   #pragma unroll
 443   #endif
 444   for (u32 i = 0; i < 16; i++)
 445   {
 446     if ((i < 2) || (i == 8) || (i == 15))
 447     {
 448       c = ((c >> 1) | (c << 27));
 449       d = ((d >> 1) | (d << 27));
 450     }
 451     else
 452     {
 453       c = ((c >> 2) | (c << 26));
 454       d = ((d >> 2) | (d << 26));
 455     }
 456
 457     c = c & 0x0fffffff;
 458     d = d & 0x0fffffff;
 459
 460     const u32x c00 = (c >>  0) & 0x0000003f;
 461     const u32x c06 = (c >>  6) & 0x00383003;
 462     const u32x c07 = (c >>  7) & 0x0000003c;
 463     const u32x c13 = (c >> 13) & 0x0000060f;
 464     const u32x c20 = (c >> 20) & 0x00000001;
 465
 466     u32x s = BOX (((c00 >>  0) & 0xff), 0, s_skb)
 467            | BOX (((c06 >>  0) & 0xff)
 468                  |((c07 >>  0) & 0xff), 1, s_skb)
 469            | BOX (((c13 >>  0) & 0xff)
 470                  |((c06 >>  8) & 0xff), 2, s_skb)
 471            | BOX (((c20 >>  0) & 0xff)
 472                  |((c13 >>  8) & 0xff)
 473                  |((c06 >> 16) & 0xff), 3, s_skb);
 474
 475     const u32x d00 = (d >>  0) & 0x00003c3f;
 476     const u32x d07 = (d >>  7) & 0x00003f03;
 477     const u32x d21 = (d >> 21) & 0x0000000f;
 478     const u32x d22 = (d >> 22) & 0x00000030;
 479
 480     u32x t = BOX (((d00 >>  0) & 0xff), 4, s_skb)
 481            | BOX (((d07 >>  0) & 0xff)
 482                  |((d00 >>  8) & 0xff), 5, s_skb)
 483            | BOX (((d07 >>  8) & 0xff), 6, s_skb)
 484            | BOX (((d21 >>  0) & 0xff)
 485                  |((d22 >>  0) & 0xff), 7, s_skb);
 486
 487     Kc[i] = ((t << 16) | (s & 0x0000ffff));
 488     Kd[i] = ((s >> 16) | (t & 0xffff0000));
 489
 490     Kc[i] = rotl32 (Kc[i], 2u);
 491     Kd[i] = rotl32 (Kd[i], 2u);
 492   }
 493 }
 494
 495 __kernel void m03100_m04 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 496 {
 497   /**
 498    * modifier
 499    */
 500
 501   const u32 gid = get_global_id (0);
 502   const u32 lid = get_local_id (0);
 503   const u32 lsz = get_local_size (0);
 504
 505   /**
 506    * sbox, kbox
 507    */
 508
 509   __local u32 s_SPtrans[8][64];
 510   __local u32 s_skb[8][64];
 511
 512   for (u32 i = lid; i < 64; i += lsz)
 513   {
 514     s_SPtrans[0][i] = c_SPtrans[0][i];
 515     s_SPtrans[1][i] = c_SPtrans[1][i];
 516     s_SPtrans[2][i] = c_SPtrans[2][i];
 517     s_SPtrans[3][i] = c_SPtrans[3][i];
 518     s_SPtrans[4][i] = c_SPtrans[4][i];
 519     s_SPtrans[5][i] = c_SPtrans[5][i];
 520     s_SPtrans[6][i] = c_SPtrans[6][i];
 521     s_SPtrans[7][i] = c_SPtrans[7][i];
 522
 523     s_skb[0][i] = c_skb[0][i];
 524     s_skb[1][i] = c_skb[1][i];
 525     s_skb[2][i] = c_skb[2][i];
 526     s_skb[3][i] = c_skb[3][i];
 527     s_skb[4][i] = c_skb[4][i];
 528     s_skb[5][i] = c_skb[5][i];
 529     s_skb[6][i] = c_skb[6][i];
 530     s_skb[7][i] = c_skb[7][i];
 531   }
 532
 533   barrier (CLK_LOCAL_MEM_FENCE);
 534
 535   if (gid >= gid_max) return;
 536
 537   /**
 538    * base
 539    */
 540
 541   u32 pw_buf0[4];
 542   u32 pw_buf1[4];
 543
 544   pw_buf0[0] = pws[gid].i[0];
 545   pw_buf0[1] = pws[gid].i[1];
 546   pw_buf0[2] = pws[gid].i[2];
 547   pw_buf0[3] = pws[gid].i[3];
 548   pw_buf1[0] = pws[gid].i[4];
 549   pw_buf1[1] = pws[gid].i[5];
 550   pw_buf1[2] = pws[gid].i[6];
 551   pw_buf1[3] = pws[gid].i[7];
 552
 553   const u32 pw_len = pws[gid].pw_len;
 554
 555   /**
 556    * salt
 557    */
 558
 559   u32 salt_buf0[4];
 560   u32 salt_buf1[4];
 561
 562   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
 563   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
 564   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[2];
 565   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[3];
 566   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[4];
 567   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[5];
 568   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[6];
 569   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[7];
 570
 571   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 572
 573   /**
 574    * main
 575    */
 576
 577   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 578   {
 579     u32x w0[4] = { 0 };
 580     u32x w1[4] = { 0 };
 581     u32x w2[4] = { 0 };
 582     u32x w3[4] = { 0 };
 583
 584     const u32x out_len = apply_rules_vect (pw_buf0, pw_buf1, pw_len, rules_buf, il_pos, w0, w1);
 585
 586     const u32x salt_word_len = (salt_len + out_len) * 2;
 587
 588     /**
 589      * prepend salt
 590      */
 591
 592     switch_buffer_by_offset_le (w0, w1, w2, w3, salt_len);
 593
 594     u32x dst[16];
 595
 596     dst[ 0] = w0[0] | salt_buf0[0];
 597     dst[ 1] = w0[1] | salt_buf0[1];
 598     dst[ 2] = w0[2] | salt_buf0[2];
 599     dst[ 3] = w0[3] | salt_buf0[3];
 600     dst[ 4] = w1[0] | salt_buf1[0];
 601     dst[ 5] = w1[1] | salt_buf1[1];
 602     dst[ 6] = w1[2] | salt_buf1[2];
 603     dst[ 7] = w1[3] | salt_buf1[3];
 604     dst[ 8] = w2[0];
 605     dst[ 9] = w2[1];
 606     dst[10] = w2[2];
 607     dst[11] = w2[3];
 608     dst[12] = w3[0];
 609     dst[13] = w3[1];
 610     dst[14] = w3[2];
 611     dst[15] = w3[3];
 612
 613     /**
 614      * precompute key1 since key is static: 0x0123456789abcdef
 615      * plus LEFT_ROTATE by 2
 616      */
 617
 618     u32x Kc[16];
 619
 620     Kc[ 0] = 0x64649040;
 621     Kc[ 1] = 0x14909858;
 622     Kc[ 2] = 0xc4b44888;
 623     Kc[ 3] = 0x9094e438;
 624     Kc[ 4] = 0xd8a004f0;
 625     Kc[ 5] = 0xa8f02810;
 626     Kc[ 6] = 0xc84048d8;
 627     Kc[ 7] = 0x68d804a8;
 628     Kc[ 8] = 0x0490e40c;
 629     Kc[ 9] = 0xac183024;
 630     Kc[10] = 0x24c07c10;
 631     Kc[11] = 0x8c88c038;
 632     Kc[12] = 0xc048c824;
 633     Kc[13] = 0x4c0470a8;
 634     Kc[14] = 0x584020b4;
 635     Kc[15] = 0x00742c4c;
 636
 637     u32x Kd[16];
 638
 639     Kd[ 0] = 0xa42ce40c;
 640     Kd[ 1] = 0x64689858;
 641     Kd[ 2] = 0x484050b8;
 642     Kd[ 3] = 0xe8184814;
 643     Kd[ 4] = 0x405cc070;
 644     Kd[ 5] = 0xa010784c;
 645     Kd[ 6] = 0x6074a800;
 646     Kd[ 7] = 0x80701c1c;
 647     Kd[ 8] = 0x9cd49430;
 648     Kd[ 9] = 0x4c8ce078;
 649     Kd[10] = 0x5c18c088;
 650     Kd[11] = 0x28a8a4c8;
 651     Kd[12] = 0x3c180838;
 652     Kd[13] = 0xb0b86c20;
 653     Kd[14] = 0xac84a094;
 654     Kd[15] = 0x4ce0c0c4;
 655
 656     /**
 657      * key1 (generate key)
 658      */
 659
 660     u32x iv[2];
 661
 662     iv[0] = 0;
 663     iv[1] = 0;
 664
 665     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 666     {
 667       u32x data[2];
 668
 669       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 670       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 671
 672       data[0] ^= iv[0];
 673       data[1] ^= iv[1];
 674
 675       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 676     }
 677
 678     /**
 679      * key2 (generate hash)
 680      */
 681
 682     _des_crypt_keysetup (iv[0], iv[1], Kc, Kd, s_skb);
 683
 684     iv[0] = 0;
 685     iv[1] = 0;
 686
 687     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 688     {
 689       u32x data[2];
 690
 691       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 692       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 693
 694       data[0] ^= iv[0];
 695       data[1] ^= iv[1];
 696
 697       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 698     }
 699
 700     /**
 701      * cmp
 702      */
 703
 704     u32x z = 0;
 705
 706     COMPARE_M_SIMD (iv[0], iv[1], z, z);
 707   }
 708 }
 709
 710 __kernel void m03100_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 711 {
 712 }
 713
 714 __kernel void m03100_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 715 {
 716 }
 717
 718 __kernel void m03100_s04 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 719 {
 720   /**
 721    * modifier
 722    */
 723
 724   const u32 gid = get_global_id (0);
 725   const u32 lid = get_local_id (0);
 726   const u32 lsz = get_local_size (0);
 727
 728   /**
 729    * sbox, kbox
 730    */
 731
 732   __local u32 s_SPtrans[8][64];
 733   __local u32 s_skb[8][64];
 734
 735   for (u32 i = lid; i < 64; i += lsz)
 736   {
 737     s_SPtrans[0][i] = c_SPtrans[0][i];
 738     s_SPtrans[1][i] = c_SPtrans[1][i];
 739     s_SPtrans[2][i] = c_SPtrans[2][i];
 740     s_SPtrans[3][i] = c_SPtrans[3][i];
 741     s_SPtrans[4][i] = c_SPtrans[4][i];
 742     s_SPtrans[5][i] = c_SPtrans[5][i];
 743     s_SPtrans[6][i] = c_SPtrans[6][i];
 744     s_SPtrans[7][i] = c_SPtrans[7][i];
 745
 746     s_skb[0][i] = c_skb[0][i];
 747     s_skb[1][i] = c_skb[1][i];
 748     s_skb[2][i] = c_skb[2][i];
 749     s_skb[3][i] = c_skb[3][i];
 750     s_skb[4][i] = c_skb[4][i];
 751     s_skb[5][i] = c_skb[5][i];
 752     s_skb[6][i] = c_skb[6][i];
 753     s_skb[7][i] = c_skb[7][i];
 754   }
 755
 756   barrier (CLK_LOCAL_MEM_FENCE);
 757
 758   if (gid >= gid_max) return;
 759
 760   /**
 761    * base
 762    */
 763
 764   u32 pw_buf0[4];
 765   u32 pw_buf1[4];
 766
 767   pw_buf0[0] = pws[gid].i[0];
 768   pw_buf0[1] = pws[gid].i[1];
 769   pw_buf0[2] = pws[gid].i[2];
 770   pw_buf0[3] = pws[gid].i[3];
 771   pw_buf1[0] = pws[gid].i[4];
 772   pw_buf1[1] = pws[gid].i[5];
 773   pw_buf1[2] = pws[gid].i[6];
 774   pw_buf1[3] = pws[gid].i[7];
 775
 776   const u32 pw_len = pws[gid].pw_len;
 777
 778   /**
 779    * salt
 780    */
 781
 782   u32 salt_buf0[4];
 783   u32 salt_buf1[4];
 784
 785   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
 786   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
 787   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[2];
 788   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[3];
 789   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[4];
 790   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[5];
 791   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[6];
 792   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[7];
 793
 794   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 795
 796   /**
 797    * digest
 798    */
 799
 800   const u32 search[4] =
 801   {
 802     digests_buf[digests_offset].digest_buf[DGST_R0],
 803     digests_buf[digests_offset].digest_buf[DGST_R1],
 804     0,
 805     0
 806   };
 807
 808   /**
 809    * main
 810    */
 811
 812   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 813   {
 814     u32x w0[4] = { 0 };
 815     u32x w1[4] = { 0 };
 816     u32x w2[4] = { 0 };
 817     u32x w3[4] = { 0 };
 818
 819     const u32x out_len = apply_rules_vect (pw_buf0, pw_buf1, pw_len, rules_buf, il_pos, w0, w1);
 820
 821     const u32x salt_word_len = (salt_len + out_len) * 2;
 822
 823     /**
 824      * prepend salt
 825      */
 826
 827     switch_buffer_by_offset_le (w0, w1, w2, w3, salt_len);
 828
 829     u32x dst[16];
 830
 831     dst[ 0] = w0[0] | salt_buf0[0];
 832     dst[ 1] = w0[1] | salt_buf0[1];
 833     dst[ 2] = w0[2] | salt_buf0[2];
 834     dst[ 3] = w0[3] | salt_buf0[3];
 835     dst[ 4] = w1[0] | salt_buf1[0];
 836     dst[ 5] = w1[1] | salt_buf1[1];
 837     dst[ 6] = w1[2] | salt_buf1[2];
 838     dst[ 7] = w1[3] | salt_buf1[3];
 839     dst[ 8] = w2[0];
 840     dst[ 9] = w2[1];
 841     dst[10] = w2[2];
 842     dst[11] = w2[3];
 843     dst[12] = w3[0];
 844     dst[13] = w3[1];
 845     dst[14] = w3[2];
 846     dst[15] = w3[3];
 847
 848     /**
 849      * precompute key1 since key is static: 0x0123456789abcdef
 850      * plus LEFT_ROTATE by 2
 851      */
 852
 853     u32x Kc[16];
 854
 855     Kc[ 0] = 0x64649040;
 856     Kc[ 1] = 0x14909858;
 857     Kc[ 2] = 0xc4b44888;
 858     Kc[ 3] = 0x9094e438;
 859     Kc[ 4] = 0xd8a004f0;
 860     Kc[ 5] = 0xa8f02810;
 861     Kc[ 6] = 0xc84048d8;
 862     Kc[ 7] = 0x68d804a8;
 863     Kc[ 8] = 0x0490e40c;
 864     Kc[ 9] = 0xac183024;
 865     Kc[10] = 0x24c07c10;
 866     Kc[11] = 0x8c88c038;
 867     Kc[12] = 0xc048c824;
 868     Kc[13] = 0x4c0470a8;
 869     Kc[14] = 0x584020b4;
 870     Kc[15] = 0x00742c4c;
 871
 872     u32x Kd[16];
 873
 874     Kd[ 0] = 0xa42ce40c;
 875     Kd[ 1] = 0x64689858;
 876     Kd[ 2] = 0x484050b8;
 877     Kd[ 3] = 0xe8184814;
 878     Kd[ 4] = 0x405cc070;
 879     Kd[ 5] = 0xa010784c;
 880     Kd[ 6] = 0x6074a800;
 881     Kd[ 7] = 0x80701c1c;
 882     Kd[ 8] = 0x9cd49430;
 883     Kd[ 9] = 0x4c8ce078;
 884     Kd[10] = 0x5c18c088;
 885     Kd[11] = 0x28a8a4c8;
 886     Kd[12] = 0x3c180838;
 887     Kd[13] = 0xb0b86c20;
 888     Kd[14] = 0xac84a094;
 889     Kd[15] = 0x4ce0c0c4;
 890
 891     /**
 892      * key1 (generate key)
 893      */
 894
 895     u32x iv[2];
 896
 897     iv[0] = 0;
 898     iv[1] = 0;
 899
 900     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 901     {
 902       u32x data[2];
 903
 904       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 905       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 906
 907       data[0] ^= iv[0];
 908       data[1] ^= iv[1];
 909
 910       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 911     }
 912
 913     /**
 914      * key2 (generate hash)
 915      */
 916
 917     _des_crypt_keysetup (iv[0], iv[1], Kc, Kd, s_skb);
 918
 919     iv[0] = 0;
 920     iv[1] = 0;
 921
 922     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 923     {
 924       u32x data[2];
 925
 926       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 927       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 928
 929       data[0] ^= iv[0];
 930       data[1] ^= iv[1];
 931
 932       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 933     }
 934
 935     /**
 936      * cmp
 937      */
 938
 939     u32x z = 0;
 940
 941     COMPARE_S_SIMD (iv[0], iv[1], z, z);
 942   }
 943 }
 944
 945 __kernel void m03100_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 946 {
 947 }
 948
 949 __kernel void m03100_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 950 {
 951 }