OpenCL/m03100_a0.cl

   1 /**
   2  * Authors.....: Jens Steube <jens.steube@gmail.com>
   3  *               Gabriele Gristina <matrix@hashcat.net>
   4  *               magnum <john.magnum@hushmail.com>
   5  *
   6  * License.....: MIT
   7  */
   8
   9 #define _DES_
  10
  11 //incompatible
  12 //#define NEW_SIMD_CODE
  13
  14 #include "include/constants.h"
  15 #include "include/kernel_vendor.h"
  16
  17 #define DGST_R0 0
  18 #define DGST_R1 1
  19 #define DGST_R2 2
  20 #define DGST_R3 3
  21
  22 #include "include/kernel_functions.c"
  23 #include "OpenCL/types_ocl.c"
  24 #include "OpenCL/common.c"
  25 #include "include/rp_kernel.h"
  26 #include "OpenCL/rp.c"
  27 #include "OpenCL/simd.c"
  28
  29 #define PERM_OP(a,b,tt,n,m) \
  30 {                           \
  31   tt = a >> n;              \
  32   tt = tt ^ b;              \
  33   tt = tt & m;              \
  34   b = b ^ tt;               \
  35   tt = tt << n;             \
  36   a = a ^ tt;               \
  37 }
  38
  39 #define HPERM_OP(a,tt,n,m)  \
  40 {                           \
  41   tt = a << (16 + n);       \
  42   tt = tt ^ a;              \
  43   tt = tt & m;              \
  44   a  = a ^ tt;              \
  45   tt = tt >> (16 + n);      \
  46   a  = a ^ tt;              \
  47 }
  48
  49 #define IP(l,r,tt)                     \
  50 {                                      \
  51   PERM_OP (r, l, tt,  4, 0x0f0f0f0f);  \
  52   PERM_OP (l, r, tt, 16, 0x0000ffff);  \
  53   PERM_OP (r, l, tt,  2, 0x33333333);  \
  54   PERM_OP (l, r, tt,  8, 0x00ff00ff);  \
  55   PERM_OP (r, l, tt,  1, 0x55555555);  \
  56 }
  57
  58 #define FP(l,r,tt)                     \
  59 {                                      \
  60   PERM_OP (l, r, tt,  1, 0x55555555);  \
  61   PERM_OP (r, l, tt,  8, 0x00ff00ff);  \
  62   PERM_OP (l, r, tt,  2, 0x33333333);  \
  63   PERM_OP (r, l, tt, 16, 0x0000ffff);  \
  64   PERM_OP (l, r, tt,  4, 0x0f0f0f0f);  \
  65 }
  66
  67 __constant u32 c_SPtrans[8][64] =
  68 {
  69   {
  70     0x02080800, 0x00080000, 0x02000002, 0x02080802,
  71     0x02000000, 0x00080802, 0x00080002, 0x02000002,
  72     0x00080802, 0x02080800, 0x02080000, 0x00000802,
  73     0x02000802, 0x02000000, 0x00000000, 0x00080002,
  74     0x00080000, 0x00000002, 0x02000800, 0x00080800,
  75     0x02080802, 0x02080000, 0x00000802, 0x02000800,
  76     0x00000002, 0x00000800, 0x00080800, 0x02080002,
  77     0x00000800, 0x02000802, 0x02080002, 0x00000000,
  78     0x00000000, 0x02080802, 0x02000800, 0x00080002,
  79     0x02080800, 0x00080000, 0x00000802, 0x02000800,
  80     0x02080002, 0x00000800, 0x00080800, 0x02000002,
  81     0x00080802, 0x00000002, 0x02000002, 0x02080000,
  82     0x02080802, 0x00080800, 0x02080000, 0x02000802,
  83     0x02000000, 0x00000802, 0x00080002, 0x00000000,
  84     0x00080000, 0x02000000, 0x02000802, 0x02080800,
  85     0x00000002, 0x02080002, 0x00000800, 0x00080802,
  86   },
  87   {
  88     0x40108010, 0x00000000, 0x00108000, 0x40100000,
  89     0x40000010, 0x00008010, 0x40008000, 0x00108000,
  90     0x00008000, 0x40100010, 0x00000010, 0x40008000,
  91     0x00100010, 0x40108000, 0x40100000, 0x00000010,
  92     0x00100000, 0x40008010, 0x40100010, 0x00008000,
  93     0x00108010, 0x40000000, 0x00000000, 0x00100010,
  94     0x40008010, 0x00108010, 0x40108000, 0x40000010,
  95     0x40000000, 0x00100000, 0x00008010, 0x40108010,
  96     0x00100010, 0x40108000, 0x40008000, 0x00108010,
  97     0x40108010, 0x00100010, 0x40000010, 0x00000000,
  98     0x40000000, 0x00008010, 0x00100000, 0x40100010,
  99     0x00008000, 0x40000000, 0x00108010, 0x40008010,
 100     0x40108000, 0x00008000, 0x00000000, 0x40000010,
 101     0x00000010, 0x40108010, 0x00108000, 0x40100000,
 102     0x40100010, 0x00100000, 0x00008010, 0x40008000,
 103     0x40008010, 0x00000010, 0x40100000, 0x00108000,
 104   },
 105   {
 106     0x04000001, 0x04040100, 0x00000100, 0x04000101,
 107     0x00040001, 0x04000000, 0x04000101, 0x00040100,
 108     0x04000100, 0x00040000, 0x04040000, 0x00000001,
 109     0x04040101, 0x00000101, 0x00000001, 0x04040001,
 110     0x00000000, 0x00040001, 0x04040100, 0x00000100,
 111     0x00000101, 0x04040101, 0x00040000, 0x04000001,
 112     0x04040001, 0x04000100, 0x00040101, 0x04040000,
 113     0x00040100, 0x00000000, 0x04000000, 0x00040101,
 114     0x04040100, 0x00000100, 0x00000001, 0x00040000,
 115     0x00000101, 0x00040001, 0x04040000, 0x04000101,
 116     0x00000000, 0x04040100, 0x00040100, 0x04040001,
 117     0x00040001, 0x04000000, 0x04040101, 0x00000001,
 118     0x00040101, 0x04000001, 0x04000000, 0x04040101,
 119     0x00040000, 0x04000100, 0x04000101, 0x00040100,
 120     0x04000100, 0x00000000, 0x04040001, 0x00000101,
 121     0x04000001, 0x00040101, 0x00000100, 0x04040000,
 122   },
 123   {
 124     0x00401008, 0x10001000, 0x00000008, 0x10401008,
 125     0x00000000, 0x10400000, 0x10001008, 0x00400008,
 126     0x10401000, 0x10000008, 0x10000000, 0x00001008,
 127     0x10000008, 0x00401008, 0x00400000, 0x10000000,
 128     0x10400008, 0x00401000, 0x00001000, 0x00000008,
 129     0x00401000, 0x10001008, 0x10400000, 0x00001000,
 130     0x00001008, 0x00000000, 0x00400008, 0x10401000,
 131     0x10001000, 0x10400008, 0x10401008, 0x00400000,
 132     0x10400008, 0x00001008, 0x00400000, 0x10000008,
 133     0x00401000, 0x10001000, 0x00000008, 0x10400000,
 134     0x10001008, 0x00000000, 0x00001000, 0x00400008,
 135     0x00000000, 0x10400008, 0x10401000, 0x00001000,
 136     0x10000000, 0x10401008, 0x00401008, 0x00400000,
 137     0x10401008, 0x00000008, 0x10001000, 0x00401008,
 138     0x00400008, 0x00401000, 0x10400000, 0x10001008,
 139     0x00001008, 0x10000000, 0x10000008, 0x10401000,
 140   },
 141   {
 142     0x08000000, 0x00010000, 0x00000400, 0x08010420,
 143     0x08010020, 0x08000400, 0x00010420, 0x08010000,
 144     0x00010000, 0x00000020, 0x08000020, 0x00010400,
 145     0x08000420, 0x08010020, 0x08010400, 0x00000000,
 146     0x00010400, 0x08000000, 0x00010020, 0x00000420,
 147     0x08000400, 0x00010420, 0x00000000, 0x08000020,
 148     0x00000020, 0x08000420, 0x08010420, 0x00010020,
 149     0x08010000, 0x00000400, 0x00000420, 0x08010400,
 150     0x08010400, 0x08000420, 0x00010020, 0x08010000,
 151     0x00010000, 0x00000020, 0x08000020, 0x08000400,
 152     0x08000000, 0x00010400, 0x08010420, 0x00000000,
 153     0x00010420, 0x08000000, 0x00000400, 0x00010020,
 154     0x08000420, 0x00000400, 0x00000000, 0x08010420,
 155     0x08010020, 0x08010400, 0x00000420, 0x00010000,
 156     0x00010400, 0x08010020, 0x08000400, 0x00000420,
 157     0x00000020, 0x00010420, 0x08010000, 0x08000020,
 158   },
 159   {
 160     0x80000040, 0x00200040, 0x00000000, 0x80202000,
 161     0x00200040, 0x00002000, 0x80002040, 0x00200000,
 162     0x00002040, 0x80202040, 0x00202000, 0x80000000,
 163     0x80002000, 0x80000040, 0x80200000, 0x00202040,
 164     0x00200000, 0x80002040, 0x80200040, 0x00000000,
 165     0x00002000, 0x00000040, 0x80202000, 0x80200040,
 166     0x80202040, 0x80200000, 0x80000000, 0x00002040,
 167     0x00000040, 0x00202000, 0x00202040, 0x80002000,
 168     0x00002040, 0x80000000, 0x80002000, 0x00202040,
 169     0x80202000, 0x00200040, 0x00000000, 0x80002000,
 170     0x80000000, 0x00002000, 0x80200040, 0x00200000,
 171     0x00200040, 0x80202040, 0x00202000, 0x00000040,
 172     0x80202040, 0x00202000, 0x00200000, 0x80002040,
 173     0x80000040, 0x80200000, 0x00202040, 0x00000000,
 174     0x00002000, 0x80000040, 0x80002040, 0x80202000,
 175     0x80200000, 0x00002040, 0x00000040, 0x80200040,
 176   },
 177   {
 178     0x00004000, 0x00000200, 0x01000200, 0x01000004,
 179     0x01004204, 0x00004004, 0x00004200, 0x00000000,
 180     0x01000000, 0x01000204, 0x00000204, 0x01004000,
 181     0x00000004, 0x01004200, 0x01004000, 0x00000204,
 182     0x01000204, 0x00004000, 0x00004004, 0x01004204,
 183     0x00000000, 0x01000200, 0x01000004, 0x00004200,
 184     0x01004004, 0x00004204, 0x01004200, 0x00000004,
 185     0x00004204, 0x01004004, 0x00000200, 0x01000000,
 186     0x00004204, 0x01004000, 0x01004004, 0x00000204,
 187     0x00004000, 0x00000200, 0x01000000, 0x01004004,
 188     0x01000204, 0x00004204, 0x00004200, 0x00000000,
 189     0x00000200, 0x01000004, 0x00000004, 0x01000200,
 190     0x00000000, 0x01000204, 0x01000200, 0x00004200,
 191     0x00000204, 0x00004000, 0x01004204, 0x01000000,
 192     0x01004200, 0x00000004, 0x00004004, 0x01004204,
 193     0x01000004, 0x01004200, 0x01004000, 0x00004004,
 194   },
 195   {
 196     0x20800080, 0x20820000, 0x00020080, 0x00000000,
 197     0x20020000, 0x00800080, 0x20800000, 0x20820080,
 198     0x00000080, 0x20000000, 0x00820000, 0x00020080,
 199     0x00820080, 0x20020080, 0x20000080, 0x20800000,
 200     0x00020000, 0x00820080, 0x00800080, 0x20020000,
 201     0x20820080, 0x20000080, 0x00000000, 0x00820000,
 202     0x20000000, 0x00800000, 0x20020080, 0x20800080,
 203     0x00800000, 0x00020000, 0x20820000, 0x00000080,
 204     0x00800000, 0x00020000, 0x20000080, 0x20820080,
 205     0x00020080, 0x20000000, 0x00000000, 0x00820000,
 206     0x20800080, 0x20020080, 0x20020000, 0x00800080,
 207     0x20820000, 0x00000080, 0x00800080, 0x20020000,
 208     0x20820080, 0x00800000, 0x20800000, 0x20000080,
 209     0x00820000, 0x00020080, 0x20020080, 0x20800000,
 210     0x00000080, 0x20820000, 0x00820080, 0x00000000,
 211     0x20000000, 0x20800080, 0x00020000, 0x00820080,
 212   }
 213 };
 214
 215 __constant u32 c_skb[8][64] =
 216 {
 217   {
 218     0x00000000, 0x00000010, 0x20000000, 0x20000010,
 219     0x00010000, 0x00010010, 0x20010000, 0x20010010,
 220     0x00000800, 0x00000810, 0x20000800, 0x20000810,
 221     0x00010800, 0x00010810, 0x20010800, 0x20010810,
 222     0x00000020, 0x00000030, 0x20000020, 0x20000030,
 223     0x00010020, 0x00010030, 0x20010020, 0x20010030,
 224     0x00000820, 0x00000830, 0x20000820, 0x20000830,
 225     0x00010820, 0x00010830, 0x20010820, 0x20010830,
 226     0x00080000, 0x00080010, 0x20080000, 0x20080010,
 227     0x00090000, 0x00090010, 0x20090000, 0x20090010,
 228     0x00080800, 0x00080810, 0x20080800, 0x20080810,
 229     0x00090800, 0x00090810, 0x20090800, 0x20090810,
 230     0x00080020, 0x00080030, 0x20080020, 0x20080030,
 231     0x00090020, 0x00090030, 0x20090020, 0x20090030,
 232     0x00080820, 0x00080830, 0x20080820, 0x20080830,
 233     0x00090820, 0x00090830, 0x20090820, 0x20090830,
 234   },
 235   {
 236     0x00000000, 0x02000000, 0x00002000, 0x02002000,
 237     0x00200000, 0x02200000, 0x00202000, 0x02202000,
 238     0x00000004, 0x02000004, 0x00002004, 0x02002004,
 239     0x00200004, 0x02200004, 0x00202004, 0x02202004,
 240     0x00000400, 0x02000400, 0x00002400, 0x02002400,
 241     0x00200400, 0x02200400, 0x00202400, 0x02202400,
 242     0x00000404, 0x02000404, 0x00002404, 0x02002404,
 243     0x00200404, 0x02200404, 0x00202404, 0x02202404,
 244     0x10000000, 0x12000000, 0x10002000, 0x12002000,
 245     0x10200000, 0x12200000, 0x10202000, 0x12202000,
 246     0x10000004, 0x12000004, 0x10002004, 0x12002004,
 247     0x10200004, 0x12200004, 0x10202004, 0x12202004,
 248     0x10000400, 0x12000400, 0x10002400, 0x12002400,
 249     0x10200400, 0x12200400, 0x10202400, 0x12202400,
 250     0x10000404, 0x12000404, 0x10002404, 0x12002404,
 251     0x10200404, 0x12200404, 0x10202404, 0x12202404,
 252   },
 253   {
 254     0x00000000, 0x00000001, 0x00040000, 0x00040001,
 255     0x01000000, 0x01000001, 0x01040000, 0x01040001,
 256     0x00000002, 0x00000003, 0x00040002, 0x00040003,
 257     0x01000002, 0x01000003, 0x01040002, 0x01040003,
 258     0x00000200, 0x00000201, 0x00040200, 0x00040201,
 259     0x01000200, 0x01000201, 0x01040200, 0x01040201,
 260     0x00000202, 0x00000203, 0x00040202, 0x00040203,
 261     0x01000202, 0x01000203, 0x01040202, 0x01040203,
 262     0x08000000, 0x08000001, 0x08040000, 0x08040001,
 263     0x09000000, 0x09000001, 0x09040000, 0x09040001,
 264     0x08000002, 0x08000003, 0x08040002, 0x08040003,
 265     0x09000002, 0x09000003, 0x09040002, 0x09040003,
 266     0x08000200, 0x08000201, 0x08040200, 0x08040201,
 267     0x09000200, 0x09000201, 0x09040200, 0x09040201,
 268     0x08000202, 0x08000203, 0x08040202, 0x08040203,
 269     0x09000202, 0x09000203, 0x09040202, 0x09040203,
 270   },
 271   {
 272     0x00000000, 0x00100000, 0x00000100, 0x00100100,
 273     0x00000008, 0x00100008, 0x00000108, 0x00100108,
 274     0x00001000, 0x00101000, 0x00001100, 0x00101100,
 275     0x00001008, 0x00101008, 0x00001108, 0x00101108,
 276     0x04000000, 0x04100000, 0x04000100, 0x04100100,
 277     0x04000008, 0x04100008, 0x04000108, 0x04100108,
 278     0x04001000, 0x04101000, 0x04001100, 0x04101100,
 279     0x04001008, 0x04101008, 0x04001108, 0x04101108,
 280     0x00020000, 0x00120000, 0x00020100, 0x00120100,
 281     0x00020008, 0x00120008, 0x00020108, 0x00120108,
 282     0x00021000, 0x00121000, 0x00021100, 0x00121100,
 283     0x00021008, 0x00121008, 0x00021108, 0x00121108,
 284     0x04020000, 0x04120000, 0x04020100, 0x04120100,
 285     0x04020008, 0x04120008, 0x04020108, 0x04120108,
 286     0x04021000, 0x04121000, 0x04021100, 0x04121100,
 287     0x04021008, 0x04121008, 0x04021108, 0x04121108,
 288   },
 289   {
 290     0x00000000, 0x10000000, 0x00010000, 0x10010000,
 291     0x00000004, 0x10000004, 0x00010004, 0x10010004,
 292     0x20000000, 0x30000000, 0x20010000, 0x30010000,
 293     0x20000004, 0x30000004, 0x20010004, 0x30010004,
 294     0x00100000, 0x10100000, 0x00110000, 0x10110000,
 295     0x00100004, 0x10100004, 0x00110004, 0x10110004,
 296     0x20100000, 0x30100000, 0x20110000, 0x30110000,
 297     0x20100004, 0x30100004, 0x20110004, 0x30110004,
 298     0x00001000, 0x10001000, 0x00011000, 0x10011000,
 299     0x00001004, 0x10001004, 0x00011004, 0x10011004,
 300     0x20001000, 0x30001000, 0x20011000, 0x30011000,
 301     0x20001004, 0x30001004, 0x20011004, 0x30011004,
 302     0x00101000, 0x10101000, 0x00111000, 0x10111000,
 303     0x00101004, 0x10101004, 0x00111004, 0x10111004,
 304     0x20101000, 0x30101000, 0x20111000, 0x30111000,
 305     0x20101004, 0x30101004, 0x20111004, 0x30111004,
 306   },
 307   {
 308     0x00000000, 0x08000000, 0x00000008, 0x08000008,
 309     0x00000400, 0x08000400, 0x00000408, 0x08000408,
 310     0x00020000, 0x08020000, 0x00020008, 0x08020008,
 311     0x00020400, 0x08020400, 0x00020408, 0x08020408,
 312     0x00000001, 0x08000001, 0x00000009, 0x08000009,
 313     0x00000401, 0x08000401, 0x00000409, 0x08000409,
 314     0x00020001, 0x08020001, 0x00020009, 0x08020009,
 315     0x00020401, 0x08020401, 0x00020409, 0x08020409,
 316     0x02000000, 0x0A000000, 0x02000008, 0x0A000008,
 317     0x02000400, 0x0A000400, 0x02000408, 0x0A000408,
 318     0x02020000, 0x0A020000, 0x02020008, 0x0A020008,
 319     0x02020400, 0x0A020400, 0x02020408, 0x0A020408,
 320     0x02000001, 0x0A000001, 0x02000009, 0x0A000009,
 321     0x02000401, 0x0A000401, 0x02000409, 0x0A000409,
 322     0x02020001, 0x0A020001, 0x02020009, 0x0A020009,
 323     0x02020401, 0x0A020401, 0x02020409, 0x0A020409,
 324   },
 325   {
 326     0x00000000, 0x00000100, 0x00080000, 0x00080100,
 327     0x01000000, 0x01000100, 0x01080000, 0x01080100,
 328     0x00000010, 0x00000110, 0x00080010, 0x00080110,
 329     0x01000010, 0x01000110, 0x01080010, 0x01080110,
 330     0x00200000, 0x00200100, 0x00280000, 0x00280100,
 331     0x01200000, 0x01200100, 0x01280000, 0x01280100,
 332     0x00200010, 0x00200110, 0x00280010, 0x00280110,
 333     0x01200010, 0x01200110, 0x01280010, 0x01280110,
 334     0x00000200, 0x00000300, 0x00080200, 0x00080300,
 335     0x01000200, 0x01000300, 0x01080200, 0x01080300,
 336     0x00000210, 0x00000310, 0x00080210, 0x00080310,
 337     0x01000210, 0x01000310, 0x01080210, 0x01080310,
 338     0x00200200, 0x00200300, 0x00280200, 0x00280300,
 339     0x01200200, 0x01200300, 0x01280200, 0x01280300,
 340     0x00200210, 0x00200310, 0x00280210, 0x00280310,
 341     0x01200210, 0x01200310, 0x01280210, 0x01280310,
 342   },
 343   {
 344     0x00000000, 0x04000000, 0x00040000, 0x04040000,
 345     0x00000002, 0x04000002, 0x00040002, 0x04040002,
 346     0x00002000, 0x04002000, 0x00042000, 0x04042000,
 347     0x00002002, 0x04002002, 0x00042002, 0x04042002,
 348     0x00000020, 0x04000020, 0x00040020, 0x04040020,
 349     0x00000022, 0x04000022, 0x00040022, 0x04040022,
 350     0x00002020, 0x04002020, 0x00042020, 0x04042020,
 351     0x00002022, 0x04002022, 0x00042022, 0x04042022,
 352     0x00000800, 0x04000800, 0x00040800, 0x04040800,
 353     0x00000802, 0x04000802, 0x00040802, 0x04040802,
 354     0x00002800, 0x04002800, 0x00042800, 0x04042800,
 355     0x00002802, 0x04002802, 0x00042802, 0x04042802,
 356     0x00000820, 0x04000820, 0x00040820, 0x04040820,
 357     0x00000822, 0x04000822, 0x00040822, 0x04040822,
 358     0x00002820, 0x04002820, 0x00042820, 0x04042820,
 359     0x00002822, 0x04002822, 0x00042822, 0x04042822
 360   }
 361 };
 362
 363 #if   VECT_SIZE == 1
 364 #define BOX(i,n,S) (S)[(n)][(i)]
 365 #elif VECT_SIZE == 2
 366 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1])
 367 #elif VECT_SIZE == 4
 368 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3])
 369 #elif VECT_SIZE == 8
 370 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3], (S)[(n)][(i).s4], (S)[(n)][(i).s5], (S)[(n)][(i).s6], (S)[(n)][(i).s7])
 371 #elif VECT_SIZE == 16
 372 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3], (S)[(n)][(i).s4], (S)[(n)][(i).s5], (S)[(n)][(i).s6], (S)[(n)][(i).s7], (S)[(n)][(i).s8], (S)[(n)][(i).s9], (S)[(n)][(i).sa], (S)[(n)][(i).sb], (S)[(n)][(i).sc], (S)[(n)][(i).sd], (S)[(n)][(i).se], (S)[(n)][(i).sf])
 373 #endif
 374
 375 static void _des_crypt_encrypt (u32x iv[2], u32x data[2], u32x Kc[16], u32x Kd[16], __local u32 (*s_SPtrans)[64])
 376 {
 377   u32x tt;
 378
 379   u32x r = data[0];
 380   u32x l = data[1];
 381
 382   IP (r, l, tt);
 383
 384   r = rotl32 (r, 3u);
 385   l = rotl32 (l, 3u);
 386
 387   #pragma unroll 16
 388   for (u32 i = 0; i < 16; i += 2)
 389   {
 390     u32x u;
 391     u32x t;
 392
 393     u = Kc[i + 0] ^ r;
 394     t = Kd[i + 0] ^ rotl32 (r, 28u);
 395
 396     l ^= BOX (((u >>  2) & 0x3f), 0, s_SPtrans)
 397        | BOX (((u >> 10) & 0x3f), 2, s_SPtrans)
 398        | BOX (((u >> 18) & 0x3f), 4, s_SPtrans)
 399        | BOX (((u >> 26) & 0x3f), 6, s_SPtrans)
 400        | BOX (((t >>  2) & 0x3f), 1, s_SPtrans)
 401        | BOX (((t >> 10) & 0x3f), 3, s_SPtrans)
 402        | BOX (((t >> 18) & 0x3f), 5, s_SPtrans)
 403        | BOX (((t >> 26) & 0x3f), 7, s_SPtrans);
 404
 405     u = Kc[i + 1] ^ l;
 406     t = Kd[i + 1] ^ rotl32 (l, 28u);
 407
 408     r ^= BOX (((u >>  2) & 0x3f), 0, s_SPtrans)
 409        | BOX (((u >> 10) & 0x3f), 2, s_SPtrans)
 410        | BOX (((u >> 18) & 0x3f), 4, s_SPtrans)
 411        | BOX (((u >> 26) & 0x3f), 6, s_SPtrans)
 412        | BOX (((t >>  2) & 0x3f), 1, s_SPtrans)
 413        | BOX (((t >> 10) & 0x3f), 3, s_SPtrans)
 414        | BOX (((t >> 18) & 0x3f), 5, s_SPtrans)
 415        | BOX (((t >> 26) & 0x3f), 7, s_SPtrans);
 416   }
 417
 418   l = rotl32 (l, 29u);
 419   r = rotl32 (r, 29u);
 420
 421   FP (r, l, tt);
 422
 423   iv[0] = l;
 424   iv[1] = r;
 425 }
 426
 427 static void _des_crypt_keysetup (u32x c, u32x d, u32x Kc[16], u32x Kd[16], __local u32 (*s_skb)[64])
 428 {
 429   u32x tt;
 430
 431   PERM_OP  (d, c, tt, 4, 0x0f0f0f0f);
 432   HPERM_OP (c,    tt, 2, 0xcccc0000);
 433   HPERM_OP (d,    tt, 2, 0xcccc0000);
 434   PERM_OP  (d, c, tt, 1, 0x55555555);
 435   PERM_OP  (c, d, tt, 8, 0x00ff00ff);
 436   PERM_OP  (d, c, tt, 1, 0x55555555);
 437
 438   d = ((d & 0x000000ff) << 16)
 439     | ((d & 0x0000ff00) <<  0)
 440     | ((d & 0x00ff0000) >> 16)
 441     | ((c & 0xf0000000) >>  4);
 442
 443   c = c & 0x0fffffff;
 444
 445   #pragma unroll 16
 446   for (u32 i = 0; i < 16; i++)
 447   {
 448     if ((i < 2) || (i == 8) || (i == 15))
 449     {
 450       c = ((c >> 1) | (c << 27));
 451       d = ((d >> 1) | (d << 27));
 452     }
 453     else
 454     {
 455       c = ((c >> 2) | (c << 26));
 456       d = ((d >> 2) | (d << 26));
 457     }
 458
 459     c = c & 0x0fffffff;
 460     d = d & 0x0fffffff;
 461
 462     const u32x c00 = (c >>  0) & 0x0000003f;
 463     const u32x c06 = (c >>  6) & 0x00383003;
 464     const u32x c07 = (c >>  7) & 0x0000003c;
 465     const u32x c13 = (c >> 13) & 0x0000060f;
 466     const u32x c20 = (c >> 20) & 0x00000001;
 467
 468     u32x s = BOX (((c00 >>  0) & 0xff), 0, s_skb)
 469            | BOX (((c06 >>  0) & 0xff)
 470                  |((c07 >>  0) & 0xff), 1, s_skb)
 471            | BOX (((c13 >>  0) & 0xff)
 472                  |((c06 >>  8) & 0xff), 2, s_skb)
 473            | BOX (((c20 >>  0) & 0xff)
 474                  |((c13 >>  8) & 0xff)
 475                  |((c06 >> 16) & 0xff), 3, s_skb);
 476
 477     const u32x d00 = (d >>  0) & 0x00003c3f;
 478     const u32x d07 = (d >>  7) & 0x00003f03;
 479     const u32x d21 = (d >> 21) & 0x0000000f;
 480     const u32x d22 = (d >> 22) & 0x00000030;
 481
 482     u32x t = BOX (((d00 >>  0) & 0xff), 4, s_skb)
 483            | BOX (((d07 >>  0) & 0xff)
 484                  |((d00 >>  8) & 0xff), 5, s_skb)
 485            | BOX (((d07 >>  8) & 0xff), 6, s_skb)
 486            | BOX (((d21 >>  0) & 0xff)
 487                  |((d22 >>  0) & 0xff), 7, s_skb);
 488
 489     Kc[i] = ((t << 16) | (s & 0x0000ffff));
 490     Kd[i] = ((s >> 16) | (t & 0xffff0000));
 491
 492     Kc[i] = rotl32 (Kc[i], 2u);
 493     Kd[i] = rotl32 (Kd[i], 2u);
 494   }
 495 }
 496
 497 __kernel void m03100_m04 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 498 {
 499 }
 500
 501 __kernel void m03100_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 502 {
 503 }
 504
 505 __kernel void m03100_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 506 {
 507 }
 508
 509 __kernel void m03100_s04 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 510 {
 511   /**
 512    * modifier
 513    */
 514
 515   const u32 gid = get_global_id (0);
 516   const u32 lid = get_local_id (0);
 517   const u32 lsz = get_local_size (0);
 518
 519   /**
 520    * sbox, kbox
 521    */
 522
 523   __local u32 s_SPtrans[8][64];
 524   __local u32 s_skb[8][64];
 525
 526   for (u32 i = lid; i < 64; i += lsz)
 527   {
 528     s_SPtrans[0][i] = c_SPtrans[0][i];
 529     s_SPtrans[1][i] = c_SPtrans[1][i];
 530     s_SPtrans[2][i] = c_SPtrans[2][i];
 531     s_SPtrans[3][i] = c_SPtrans[3][i];
 532     s_SPtrans[4][i] = c_SPtrans[4][i];
 533     s_SPtrans[5][i] = c_SPtrans[5][i];
 534     s_SPtrans[6][i] = c_SPtrans[6][i];
 535     s_SPtrans[7][i] = c_SPtrans[7][i];
 536
 537     s_skb[0][i] = c_skb[0][i];
 538     s_skb[1][i] = c_skb[1][i];
 539     s_skb[2][i] = c_skb[2][i];
 540     s_skb[3][i] = c_skb[3][i];
 541     s_skb[4][i] = c_skb[4][i];
 542     s_skb[5][i] = c_skb[5][i];
 543     s_skb[6][i] = c_skb[6][i];
 544     s_skb[7][i] = c_skb[7][i];
 545   }
 546
 547   barrier (CLK_LOCAL_MEM_FENCE);
 548
 549   if (gid >= gid_max) return;
 550
 551   /**
 552    * base
 553    */
 554
 555   u32 pw_buf0[4];
 556   u32 pw_buf1[4];
 557
 558   pw_buf0[0] = pws[gid].i[0];
 559   pw_buf0[1] = pws[gid].i[1];
 560   pw_buf0[2] = pws[gid].i[2];
 561   pw_buf0[3] = pws[gid].i[3];
 562   pw_buf1[0] = pws[gid].i[4];
 563   pw_buf1[1] = pws[gid].i[5];
 564   pw_buf1[2] = pws[gid].i[6];
 565   pw_buf1[3] = pws[gid].i[7];
 566
 567   const u32 pw_len = pws[gid].pw_len;
 568
 569   /**
 570    * salt
 571    */
 572
 573   u32 salt_buf0[4];
 574   u32 salt_buf1[4];
 575
 576   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
 577   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
 578   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[2];
 579   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[3];
 580   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[4];
 581   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[5];
 582   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[6];
 583   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[7];
 584
 585   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 586
 587   /**
 588    * digest
 589    */
 590
 591   const u32 search[4] =
 592   {
 593     digests_buf[digests_offset].digest_buf[DGST_R0],
 594     digests_buf[digests_offset].digest_buf[DGST_R1],
 595     digests_buf[digests_offset].digest_buf[DGST_R2],
 596     digests_buf[digests_offset].digest_buf[DGST_R3]
 597   };
 598
 599   /**
 600    * main
 601    */
 602
 603   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 604   {
 605     u32x w0[4] = { 0 };
 606     u32x w1[4] = { 0 };
 607     u32x w2[4] = { 0 };
 608     u32x w3[4] = { 0 };
 609
 610     const u32x out_len = apply_rules_vect (pw_buf0, pw_buf1, pw_len, rules_buf, il_pos, w0, w1);
 611
 612     const u32x salt_word_len = (salt_len + out_len) * 2;
 613
 614     /**
 615      * prepend salt
 616      */
 617
 618     switch_buffer_by_offset_le (w0, w1, w2, w3, salt_len);
 619
 620     u32x dst[16];
 621
 622     dst[ 0] = w0[0] | salt_buf0[0];
 623     dst[ 1] = w0[1] | salt_buf0[1];
 624     dst[ 2] = w0[2] | salt_buf0[2];
 625     dst[ 3] = w0[3] | salt_buf0[3];
 626     dst[ 4] = w1[0] | salt_buf1[0];
 627     dst[ 5] = w1[1] | salt_buf1[1];
 628     dst[ 6] = w1[2] | salt_buf1[2];
 629     dst[ 7] = w1[3] | salt_buf1[3];
 630     dst[ 8] = w2[0];
 631     dst[ 9] = w2[1];
 632     dst[10] = w2[2];
 633     dst[11] = w2[3];
 634     dst[12] = w3[0];
 635     dst[13] = w3[1];
 636     dst[14] = w3[2];
 637     dst[15] = w3[3];
 638
 639     /**
 640      * precompute key1 since key is static: 0x0123456789abcdef
 641      * plus LEFT_ROTATE by 2
 642      */
 643
 644     u32x Kc[16];
 645
 646     Kc[ 0] = 0x64649040;
 647     Kc[ 1] = 0x14909858;
 648     Kc[ 2] = 0xc4b44888;
 649     Kc[ 3] = 0x9094e438;
 650     Kc[ 4] = 0xd8a004f0;
 651     Kc[ 5] = 0xa8f02810;
 652     Kc[ 6] = 0xc84048d8;
 653     Kc[ 7] = 0x68d804a8;
 654     Kc[ 8] = 0x0490e40c;
 655     Kc[ 9] = 0xac183024;
 656     Kc[10] = 0x24c07c10;
 657     Kc[11] = 0x8c88c038;
 658     Kc[12] = 0xc048c824;
 659     Kc[13] = 0x4c0470a8;
 660     Kc[14] = 0x584020b4;
 661     Kc[15] = 0x00742c4c;
 662
 663     u32x Kd[16];
 664
 665     Kd[ 0] = 0xa42ce40c;
 666     Kd[ 1] = 0x64689858;
 667     Kd[ 2] = 0x484050b8;
 668     Kd[ 3] = 0xe8184814;
 669     Kd[ 4] = 0x405cc070;
 670     Kd[ 5] = 0xa010784c;
 671     Kd[ 6] = 0x6074a800;
 672     Kd[ 7] = 0x80701c1c;
 673     Kd[ 8] = 0x9cd49430;
 674     Kd[ 9] = 0x4c8ce078;
 675     Kd[10] = 0x5c18c088;
 676     Kd[11] = 0x28a8a4c8;
 677     Kd[12] = 0x3c180838;
 678     Kd[13] = 0xb0b86c20;
 679     Kd[14] = 0xac84a094;
 680     Kd[15] = 0x4ce0c0c4;
 681
 682     /**
 683      * key1 (generate key)
 684      */
 685
 686     u32x iv[2];
 687
 688     iv[0] = 0;
 689     iv[1] = 0;
 690
 691     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 692     {
 693       u32x data[2];
 694
 695       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 696       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 697
 698       data[0] ^= iv[0];
 699       data[1] ^= iv[1];
 700
 701       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 702     }
 703
 704     /**
 705      * key2 (generate hash)
 706      */
 707
 708     _des_crypt_keysetup (iv[0], iv[1], Kc, Kd, s_skb);
 709
 710     iv[0] = 0;
 711     iv[1] = 0;
 712
 713     for (u32 j = 0, k = 0; j < salt_word_len; j += 8, k++)
 714     {
 715       u32x data[2];
 716
 717       data[0] = ((dst[k] << 16) & 0xff000000) | ((dst[k] << 8) & 0x0000ff00);
 718       data[1] = ((dst[k] >>  0) & 0xff000000) | ((dst[k] >> 8) & 0x0000ff00);
 719
 720       data[0] ^= iv[0];
 721       data[1] ^= iv[1];
 722
 723       _des_crypt_encrypt (iv, data, Kc, Kd, s_SPtrans);
 724     }
 725
 726     /**
 727      * cmp
 728      */
 729
 730     const u32x r0 = iv[0];
 731     const u32x r1 = iv[1];
 732     const u32x r2 = 0;
 733     const u32x r3 = 0;
 734
 735     COMPARE_S_SIMD (r0, r1, r2, r3);
 736   }
 737 }
 738
 739 __kernel void m03100_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 740 {
 741 }
 742
 743 __kernel void m03100_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 744 {
 745 }