OpenCL/m01500_a0.cl

   1 /**
   2  * Authors.....: Jens Steube <jens.steube@gmail.com>
   3  *               Gabriele Gristina <matrix@hashcat.net>
   4  *
   5  * License.....: MIT
   6  */
   7
   8 #define _DES_
   9
  10 #include "include/constants.h"
  11 #include "include/kernel_vendor.h"
  12
  13 #define DGST_R0 0
  14 #define DGST_R1 1
  15 #define DGST_R2 2
  16 #define DGST_R3 3
  17
  18 #include "include/kernel_functions.c"
  19 #include "OpenCL/types_ocl.c"
  20 #include "OpenCL/common.c"
  21 #include "include/rp_kernel.h"
  22 #include "OpenCL/rp.c"
  23
  24 #define COMPARE_S "OpenCL/check_single_comp4.c"
  25 #define COMPARE_M "OpenCL/check_multi_comp4.c"
  26
  27 #define PERM_OP(a,b,tt,n,m) \
  28 {                           \
  29   tt = a >> n;              \
  30   tt = tt ^ b;              \
  31   tt = tt & m;              \
  32   b = b ^ tt;               \
  33   tt = tt << n;             \
  34   a = a ^ tt;               \
  35 }
  36
  37 #define HPERM_OP(a,tt,n,m)  \
  38 {                           \
  39   tt = a << (16 + n);       \
  40   tt = tt ^ a;              \
  41   tt = tt & m;              \
  42   a  = a ^ tt;              \
  43   tt = tt >> (16 + n);      \
  44   a  = a ^ tt;              \
  45 }
  46
  47 __constant u32 c_SPtrans[8][64] =
  48 {
  49   {
  50     0x00820200, 0x00020000, 0x80800000, 0x80820200,
  51     0x00800000, 0x80020200, 0x80020000, 0x80800000,
  52     0x80020200, 0x00820200, 0x00820000, 0x80000200,
  53     0x80800200, 0x00800000, 0x00000000, 0x80020000,
  54     0x00020000, 0x80000000, 0x00800200, 0x00020200,
  55     0x80820200, 0x00820000, 0x80000200, 0x00800200,
  56     0x80000000, 0x00000200, 0x00020200, 0x80820000,
  57     0x00000200, 0x80800200, 0x80820000, 0x00000000,
  58     0x00000000, 0x80820200, 0x00800200, 0x80020000,
  59     0x00820200, 0x00020000, 0x80000200, 0x00800200,
  60     0x80820000, 0x00000200, 0x00020200, 0x80800000,
  61     0x80020200, 0x80000000, 0x80800000, 0x00820000,
  62     0x80820200, 0x00020200, 0x00820000, 0x80800200,
  63     0x00800000, 0x80000200, 0x80020000, 0x00000000,
  64     0x00020000, 0x00800000, 0x80800200, 0x00820200,
  65     0x80000000, 0x80820000, 0x00000200, 0x80020200,
  66   },
  67   {
  68     0x10042004, 0x00000000, 0x00042000, 0x10040000,
  69     0x10000004, 0x00002004, 0x10002000, 0x00042000,
  70     0x00002000, 0x10040004, 0x00000004, 0x10002000,
  71     0x00040004, 0x10042000, 0x10040000, 0x00000004,
  72     0x00040000, 0x10002004, 0x10040004, 0x00002000,
  73     0x00042004, 0x10000000, 0x00000000, 0x00040004,
  74     0x10002004, 0x00042004, 0x10042000, 0x10000004,
  75     0x10000000, 0x00040000, 0x00002004, 0x10042004,
  76     0x00040004, 0x10042000, 0x10002000, 0x00042004,
  77     0x10042004, 0x00040004, 0x10000004, 0x00000000,
  78     0x10000000, 0x00002004, 0x00040000, 0x10040004,
  79     0x00002000, 0x10000000, 0x00042004, 0x10002004,
  80     0x10042000, 0x00002000, 0x00000000, 0x10000004,
  81     0x00000004, 0x10042004, 0x00042000, 0x10040000,
  82     0x10040004, 0x00040000, 0x00002004, 0x10002000,
  83     0x10002004, 0x00000004, 0x10040000, 0x00042000,
  84   },
  85   {
  86     0x41000000, 0x01010040, 0x00000040, 0x41000040,
  87     0x40010000, 0x01000000, 0x41000040, 0x00010040,
  88     0x01000040, 0x00010000, 0x01010000, 0x40000000,
  89     0x41010040, 0x40000040, 0x40000000, 0x41010000,
  90     0x00000000, 0x40010000, 0x01010040, 0x00000040,
  91     0x40000040, 0x41010040, 0x00010000, 0x41000000,
  92     0x41010000, 0x01000040, 0x40010040, 0x01010000,
  93     0x00010040, 0x00000000, 0x01000000, 0x40010040,
  94     0x01010040, 0x00000040, 0x40000000, 0x00010000,
  95     0x40000040, 0x40010000, 0x01010000, 0x41000040,
  96     0x00000000, 0x01010040, 0x00010040, 0x41010000,
  97     0x40010000, 0x01000000, 0x41010040, 0x40000000,
  98     0x40010040, 0x41000000, 0x01000000, 0x41010040,
  99     0x00010000, 0x01000040, 0x41000040, 0x00010040,
 100     0x01000040, 0x00000000, 0x41010000, 0x40000040,
 101     0x41000000, 0x40010040, 0x00000040, 0x01010000,
 102   },
 103   {
 104     0x00100402, 0x04000400, 0x00000002, 0x04100402,
 105     0x00000000, 0x04100000, 0x04000402, 0x00100002,
 106     0x04100400, 0x04000002, 0x04000000, 0x00000402,
 107     0x04000002, 0x00100402, 0x00100000, 0x04000000,
 108     0x04100002, 0x00100400, 0x00000400, 0x00000002,
 109     0x00100400, 0x04000402, 0x04100000, 0x00000400,
 110     0x00000402, 0x00000000, 0x00100002, 0x04100400,
 111     0x04000400, 0x04100002, 0x04100402, 0x00100000,
 112     0x04100002, 0x00000402, 0x00100000, 0x04000002,
 113     0x00100400, 0x04000400, 0x00000002, 0x04100000,
 114     0x04000402, 0x00000000, 0x00000400, 0x00100002,
 115     0x00000000, 0x04100002, 0x04100400, 0x00000400,
 116     0x04000000, 0x04100402, 0x00100402, 0x00100000,
 117     0x04100402, 0x00000002, 0x04000400, 0x00100402,
 118     0x00100002, 0x00100400, 0x04100000, 0x04000402,
 119     0x00000402, 0x04000000, 0x04000002, 0x04100400,
 120   },
 121   {
 122     0x02000000, 0x00004000, 0x00000100, 0x02004108,
 123     0x02004008, 0x02000100, 0x00004108, 0x02004000,
 124     0x00004000, 0x00000008, 0x02000008, 0x00004100,
 125     0x02000108, 0x02004008, 0x02004100, 0x00000000,
 126     0x00004100, 0x02000000, 0x00004008, 0x00000108,
 127     0x02000100, 0x00004108, 0x00000000, 0x02000008,
 128     0x00000008, 0x02000108, 0x02004108, 0x00004008,
 129     0x02004000, 0x00000100, 0x00000108, 0x02004100,
 130     0x02004100, 0x02000108, 0x00004008, 0x02004000,
 131     0x00004000, 0x00000008, 0x02000008, 0x02000100,
 132     0x02000000, 0x00004100, 0x02004108, 0x00000000,
 133     0x00004108, 0x02000000, 0x00000100, 0x00004008,
 134     0x02000108, 0x00000100, 0x00000000, 0x02004108,
 135     0x02004008, 0x02004100, 0x00000108, 0x00004000,
 136     0x00004100, 0x02004008, 0x02000100, 0x00000108,
 137     0x00000008, 0x00004108, 0x02004000, 0x02000008,
 138   },
 139   {
 140     0x20000010, 0x00080010, 0x00000000, 0x20080800,
 141     0x00080010, 0x00000800, 0x20000810, 0x00080000,
 142     0x00000810, 0x20080810, 0x00080800, 0x20000000,
 143     0x20000800, 0x20000010, 0x20080000, 0x00080810,
 144     0x00080000, 0x20000810, 0x20080010, 0x00000000,
 145     0x00000800, 0x00000010, 0x20080800, 0x20080010,
 146     0x20080810, 0x20080000, 0x20000000, 0x00000810,
 147     0x00000010, 0x00080800, 0x00080810, 0x20000800,
 148     0x00000810, 0x20000000, 0x20000800, 0x00080810,
 149     0x20080800, 0x00080010, 0x00000000, 0x20000800,
 150     0x20000000, 0x00000800, 0x20080010, 0x00080000,
 151     0x00080010, 0x20080810, 0x00080800, 0x00000010,
 152     0x20080810, 0x00080800, 0x00080000, 0x20000810,
 153     0x20000010, 0x20080000, 0x00080810, 0x00000000,
 154     0x00000800, 0x20000010, 0x20000810, 0x20080800,
 155     0x20080000, 0x00000810, 0x00000010, 0x20080010,
 156   },
 157   {
 158     0x00001000, 0x00000080, 0x00400080, 0x00400001,
 159     0x00401081, 0x00001001, 0x00001080, 0x00000000,
 160     0x00400000, 0x00400081, 0x00000081, 0x00401000,
 161     0x00000001, 0x00401080, 0x00401000, 0x00000081,
 162     0x00400081, 0x00001000, 0x00001001, 0x00401081,
 163     0x00000000, 0x00400080, 0x00400001, 0x00001080,
 164     0x00401001, 0x00001081, 0x00401080, 0x00000001,
 165     0x00001081, 0x00401001, 0x00000080, 0x00400000,
 166     0x00001081, 0x00401000, 0x00401001, 0x00000081,
 167     0x00001000, 0x00000080, 0x00400000, 0x00401001,
 168     0x00400081, 0x00001081, 0x00001080, 0x00000000,
 169     0x00000080, 0x00400001, 0x00000001, 0x00400080,
 170     0x00000000, 0x00400081, 0x00400080, 0x00001080,
 171     0x00000081, 0x00001000, 0x00401081, 0x00400000,
 172     0x00401080, 0x00000001, 0x00001001, 0x00401081,
 173     0x00400001, 0x00401080, 0x00401000, 0x00001001,
 174   },
 175   {
 176     0x08200020, 0x08208000, 0x00008020, 0x00000000,
 177     0x08008000, 0x00200020, 0x08200000, 0x08208020,
 178     0x00000020, 0x08000000, 0x00208000, 0x00008020,
 179     0x00208020, 0x08008020, 0x08000020, 0x08200000,
 180     0x00008000, 0x00208020, 0x00200020, 0x08008000,
 181     0x08208020, 0x08000020, 0x00000000, 0x00208000,
 182     0x08000000, 0x00200000, 0x08008020, 0x08200020,
 183     0x00200000, 0x00008000, 0x08208000, 0x00000020,
 184     0x00200000, 0x00008000, 0x08000020, 0x08208020,
 185     0x00008020, 0x08000000, 0x00000000, 0x00208000,
 186     0x08200020, 0x08008020, 0x08008000, 0x00200020,
 187     0x08208000, 0x00000020, 0x00200020, 0x08008000,
 188     0x08208020, 0x00200000, 0x08200000, 0x08000020,
 189     0x00208000, 0x00008020, 0x08008020, 0x08200000,
 190     0x00000020, 0x08208000, 0x00208020, 0x00000000,
 191     0x08000000, 0x08200020, 0x00008000, 0x00208020
 192   },
 193 };
 194
 195 __constant u32 c_skb[8][64] =
 196 {
 197   {
 198     0x00000000, 0x00000010, 0x20000000, 0x20000010,
 199     0x00010000, 0x00010010, 0x20010000, 0x20010010,
 200     0x00000800, 0x00000810, 0x20000800, 0x20000810,
 201     0x00010800, 0x00010810, 0x20010800, 0x20010810,
 202     0x00000020, 0x00000030, 0x20000020, 0x20000030,
 203     0x00010020, 0x00010030, 0x20010020, 0x20010030,
 204     0x00000820, 0x00000830, 0x20000820, 0x20000830,
 205     0x00010820, 0x00010830, 0x20010820, 0x20010830,
 206     0x00080000, 0x00080010, 0x20080000, 0x20080010,
 207     0x00090000, 0x00090010, 0x20090000, 0x20090010,
 208     0x00080800, 0x00080810, 0x20080800, 0x20080810,
 209     0x00090800, 0x00090810, 0x20090800, 0x20090810,
 210     0x00080020, 0x00080030, 0x20080020, 0x20080030,
 211     0x00090020, 0x00090030, 0x20090020, 0x20090030,
 212     0x00080820, 0x00080830, 0x20080820, 0x20080830,
 213     0x00090820, 0x00090830, 0x20090820, 0x20090830,
 214   },
 215   {
 216     0x00000000, 0x02000000, 0x00002000, 0x02002000,
 217     0x00200000, 0x02200000, 0x00202000, 0x02202000,
 218     0x00000004, 0x02000004, 0x00002004, 0x02002004,
 219     0x00200004, 0x02200004, 0x00202004, 0x02202004,
 220     0x00000400, 0x02000400, 0x00002400, 0x02002400,
 221     0x00200400, 0x02200400, 0x00202400, 0x02202400,
 222     0x00000404, 0x02000404, 0x00002404, 0x02002404,
 223     0x00200404, 0x02200404, 0x00202404, 0x02202404,
 224     0x10000000, 0x12000000, 0x10002000, 0x12002000,
 225     0x10200000, 0x12200000, 0x10202000, 0x12202000,
 226     0x10000004, 0x12000004, 0x10002004, 0x12002004,
 227     0x10200004, 0x12200004, 0x10202004, 0x12202004,
 228     0x10000400, 0x12000400, 0x10002400, 0x12002400,
 229     0x10200400, 0x12200400, 0x10202400, 0x12202400,
 230     0x10000404, 0x12000404, 0x10002404, 0x12002404,
 231     0x10200404, 0x12200404, 0x10202404, 0x12202404,
 232   },
 233   {
 234     0x00000000, 0x00000001, 0x00040000, 0x00040001,
 235     0x01000000, 0x01000001, 0x01040000, 0x01040001,
 236     0x00000002, 0x00000003, 0x00040002, 0x00040003,
 237     0x01000002, 0x01000003, 0x01040002, 0x01040003,
 238     0x00000200, 0x00000201, 0x00040200, 0x00040201,
 239     0x01000200, 0x01000201, 0x01040200, 0x01040201,
 240     0x00000202, 0x00000203, 0x00040202, 0x00040203,
 241     0x01000202, 0x01000203, 0x01040202, 0x01040203,
 242     0x08000000, 0x08000001, 0x08040000, 0x08040001,
 243     0x09000000, 0x09000001, 0x09040000, 0x09040001,
 244     0x08000002, 0x08000003, 0x08040002, 0x08040003,
 245     0x09000002, 0x09000003, 0x09040002, 0x09040003,
 246     0x08000200, 0x08000201, 0x08040200, 0x08040201,
 247     0x09000200, 0x09000201, 0x09040200, 0x09040201,
 248     0x08000202, 0x08000203, 0x08040202, 0x08040203,
 249     0x09000202, 0x09000203, 0x09040202, 0x09040203,
 250   },
 251   {
 252     0x00000000, 0x00100000, 0x00000100, 0x00100100,
 253     0x00000008, 0x00100008, 0x00000108, 0x00100108,
 254     0x00001000, 0x00101000, 0x00001100, 0x00101100,
 255     0x00001008, 0x00101008, 0x00001108, 0x00101108,
 256     0x04000000, 0x04100000, 0x04000100, 0x04100100,
 257     0x04000008, 0x04100008, 0x04000108, 0x04100108,
 258     0x04001000, 0x04101000, 0x04001100, 0x04101100,
 259     0x04001008, 0x04101008, 0x04001108, 0x04101108,
 260     0x00020000, 0x00120000, 0x00020100, 0x00120100,
 261     0x00020008, 0x00120008, 0x00020108, 0x00120108,
 262     0x00021000, 0x00121000, 0x00021100, 0x00121100,
 263     0x00021008, 0x00121008, 0x00021108, 0x00121108,
 264     0x04020000, 0x04120000, 0x04020100, 0x04120100,
 265     0x04020008, 0x04120008, 0x04020108, 0x04120108,
 266     0x04021000, 0x04121000, 0x04021100, 0x04121100,
 267     0x04021008, 0x04121008, 0x04021108, 0x04121108,
 268   },
 269   {
 270     0x00000000, 0x10000000, 0x00010000, 0x10010000,
 271     0x00000004, 0x10000004, 0x00010004, 0x10010004,
 272     0x20000000, 0x30000000, 0x20010000, 0x30010000,
 273     0x20000004, 0x30000004, 0x20010004, 0x30010004,
 274     0x00100000, 0x10100000, 0x00110000, 0x10110000,
 275     0x00100004, 0x10100004, 0x00110004, 0x10110004,
 276     0x20100000, 0x30100000, 0x20110000, 0x30110000,
 277     0x20100004, 0x30100004, 0x20110004, 0x30110004,
 278     0x00001000, 0x10001000, 0x00011000, 0x10011000,
 279     0x00001004, 0x10001004, 0x00011004, 0x10011004,
 280     0x20001000, 0x30001000, 0x20011000, 0x30011000,
 281     0x20001004, 0x30001004, 0x20011004, 0x30011004,
 282     0x00101000, 0x10101000, 0x00111000, 0x10111000,
 283     0x00101004, 0x10101004, 0x00111004, 0x10111004,
 284     0x20101000, 0x30101000, 0x20111000, 0x30111000,
 285     0x20101004, 0x30101004, 0x20111004, 0x30111004,
 286   },
 287   {
 288     0x00000000, 0x08000000, 0x00000008, 0x08000008,
 289     0x00000400, 0x08000400, 0x00000408, 0x08000408,
 290     0x00020000, 0x08020000, 0x00020008, 0x08020008,
 291     0x00020400, 0x08020400, 0x00020408, 0x08020408,
 292     0x00000001, 0x08000001, 0x00000009, 0x08000009,
 293     0x00000401, 0x08000401, 0x00000409, 0x08000409,
 294     0x00020001, 0x08020001, 0x00020009, 0x08020009,
 295     0x00020401, 0x08020401, 0x00020409, 0x08020409,
 296     0x02000000, 0x0A000000, 0x02000008, 0x0A000008,
 297     0x02000400, 0x0A000400, 0x02000408, 0x0A000408,
 298     0x02020000, 0x0A020000, 0x02020008, 0x0A020008,
 299     0x02020400, 0x0A020400, 0x02020408, 0x0A020408,
 300     0x02000001, 0x0A000001, 0x02000009, 0x0A000009,
 301     0x02000401, 0x0A000401, 0x02000409, 0x0A000409,
 302     0x02020001, 0x0A020001, 0x02020009, 0x0A020009,
 303     0x02020401, 0x0A020401, 0x02020409, 0x0A020409,
 304   },
 305   {
 306     0x00000000, 0x00000100, 0x00080000, 0x00080100,
 307     0x01000000, 0x01000100, 0x01080000, 0x01080100,
 308     0x00000010, 0x00000110, 0x00080010, 0x00080110,
 309     0x01000010, 0x01000110, 0x01080010, 0x01080110,
 310     0x00200000, 0x00200100, 0x00280000, 0x00280100,
 311     0x01200000, 0x01200100, 0x01280000, 0x01280100,
 312     0x00200010, 0x00200110, 0x00280010, 0x00280110,
 313     0x01200010, 0x01200110, 0x01280010, 0x01280110,
 314     0x00000200, 0x00000300, 0x00080200, 0x00080300,
 315     0x01000200, 0x01000300, 0x01080200, 0x01080300,
 316     0x00000210, 0x00000310, 0x00080210, 0x00080310,
 317     0x01000210, 0x01000310, 0x01080210, 0x01080310,
 318     0x00200200, 0x00200300, 0x00280200, 0x00280300,
 319     0x01200200, 0x01200300, 0x01280200, 0x01280300,
 320     0x00200210, 0x00200310, 0x00280210, 0x00280310,
 321     0x01200210, 0x01200310, 0x01280210, 0x01280310,
 322   },
 323   {
 324     0x00000000, 0x04000000, 0x00040000, 0x04040000,
 325     0x00000002, 0x04000002, 0x00040002, 0x04040002,
 326     0x00002000, 0x04002000, 0x00042000, 0x04042000,
 327     0x00002002, 0x04002002, 0x00042002, 0x04042002,
 328     0x00000020, 0x04000020, 0x00040020, 0x04040020,
 329     0x00000022, 0x04000022, 0x00040022, 0x04040022,
 330     0x00002020, 0x04002020, 0x00042020, 0x04042020,
 331     0x00002022, 0x04002022, 0x00042022, 0x04042022,
 332     0x00000800, 0x04000800, 0x00040800, 0x04040800,
 333     0x00000802, 0x04000802, 0x00040802, 0x04040802,
 334     0x00002800, 0x04002800, 0x00042800, 0x04042800,
 335     0x00002802, 0x04002802, 0x00042802, 0x04042802,
 336     0x00000820, 0x04000820, 0x00040820, 0x04040820,
 337     0x00000822, 0x04000822, 0x00040822, 0x04040822,
 338     0x00002820, 0x04002820, 0x00042820, 0x04042820,
 339     0x00002822, 0x04002822, 0x00042822, 0x04042822
 340   },
 341 };
 342
 343 #define BOX(i,n,S) (S)[(n)][(i)]
 344
 345 static void _des_crypt_keysetup (u32 c, u32 d, u32 Kc[16], u32 Kd[16], __local u32 (*s_skb)[64])
 346 {
 347   u32 tt;
 348
 349   PERM_OP  (d, c, tt, 4, 0x0f0f0f0f);
 350   HPERM_OP (c,    tt, 2, 0xcccc0000);
 351   HPERM_OP (d,    tt, 2, 0xcccc0000);
 352   PERM_OP  (d, c, tt, 1, 0x55555555);
 353   PERM_OP  (c, d, tt, 8, 0x00ff00ff);
 354   PERM_OP  (d, c, tt, 1, 0x55555555);
 355
 356   d = ((d & 0x000000ff) << 16)
 357     | ((d & 0x0000ff00) <<  0)
 358     | ((d & 0x00ff0000) >> 16)
 359     | ((c & 0xf0000000) >>  4);
 360
 361   c = c & 0x0fffffff;
 362
 363   #pragma unroll
 364   for (u32 i = 0; i < 16; i++)
 365   {
 366     if ((i < 2) || (i == 8) || (i == 15))
 367     {
 368       c = ((c >> 1) | (c << 27));
 369       d = ((d >> 1) | (d << 27));
 370     }
 371     else
 372     {
 373       c = ((c >> 2) | (c << 26));
 374       d = ((d >> 2) | (d << 26));
 375     }
 376
 377     c = c & 0x0fffffff;
 378     d = d & 0x0fffffff;
 379
 380     const u32 c00 = (c >>  0) & 0x0000003f;
 381     const u32 c06 = (c >>  6) & 0x00383003;
 382     const u32 c07 = (c >>  7) & 0x0000003c;
 383     const u32 c13 = (c >> 13) & 0x0000060f;
 384     const u32 c20 = (c >> 20) & 0x00000001;
 385
 386     u32 s = BOX (((c00 >>  0) & 0xff), 0, s_skb)
 387           | BOX (((c06 >>  0) & 0xff)
 388                 |((c07 >>  0) & 0xff), 1, s_skb)
 389           | BOX (((c13 >>  0) & 0xff)
 390                 |((c06 >>  8) & 0xff), 2, s_skb)
 391           | BOX (((c20 >>  0) & 0xff)
 392                 |((c13 >>  8) & 0xff)
 393                 |((c06 >> 16) & 0xff), 3, s_skb);
 394
 395     const u32 d00 = (d >>  0) & 0x00003c3f;
 396     const u32 d07 = (d >>  7) & 0x00003f03;
 397     const u32 d21 = (d >> 21) & 0x0000000f;
 398     const u32 d22 = (d >> 22) & 0x00000030;
 399
 400     u32 t = BOX (((d00 >>  0) & 0xff), 4, s_skb)
 401           | BOX (((d07 >>  0) & 0xff)
 402                 |((d00 >>  8) & 0xff), 5, s_skb)
 403           | BOX (((d07 >>  8) & 0xff), 6, s_skb)
 404           | BOX (((d21 >>  0) & 0xff)
 405                 |((d22 >>  0) & 0xff), 7, s_skb);
 406
 407     Kc[i] = ((t << 16) | (s & 0x0000ffff));
 408     Kd[i] = ((s >> 16) | (t & 0xffff0000));
 409   }
 410 }
 411
 412 static void _des_crypt_encrypt (u32 iv[2], u32 mask, u32 Kc[16], u32 Kd[16], __local u32 (*s_SPtrans)[64])
 413 {
 414   const u32 E1 = (mask >> 2) & 0x3f0;
 415   const u32 E0 = mask & 0x3f;
 416
 417   u32 r = 0;
 418   u32 l = 0;
 419
 420   for (u32 i = 0; i < 25; i++)
 421   {
 422     for (u32 j = 0; j < 16; j += 2)
 423     {
 424       u32 t;
 425       u32 u;
 426
 427       t = r ^ (r >> 16);
 428       u = t & E0;
 429       t = t & E1;
 430       u = u ^ (u << 16);
 431       u = u ^ r;
 432       u = u ^ Kc[j + 0];
 433       t = t ^ (t << 16);
 434       t = t ^ r;
 435       t = rotl32 (t, 28u);
 436       t = t ^ Kd[j + 0];
 437
 438       l ^= BOX (((u >>  0) & 0x3f), 0, s_SPtrans)
 439          | BOX (((u >>  8) & 0x3f), 2, s_SPtrans)
 440          | BOX (((u >> 16) & 0x3f), 4, s_SPtrans)
 441          | BOX (((u >> 24) & 0x3f), 6, s_SPtrans)
 442          | BOX (((t >>  0) & 0x3f), 1, s_SPtrans)
 443          | BOX (((t >>  8) & 0x3f), 3, s_SPtrans)
 444          | BOX (((t >> 16) & 0x3f), 5, s_SPtrans)
 445          | BOX (((t >> 24) & 0x3f), 7, s_SPtrans);
 446
 447       t = l ^ (l >> 16);
 448       u = t & E0;
 449       t = t & E1;
 450       u = u ^ (u << 16);
 451       u = u ^ l;
 452       u = u ^ Kc[j + 1];
 453       t = t ^ (t << 16);
 454       t = t ^ l;
 455       t = rotl32 (t, 28u);
 456       t = t ^ Kd[j + 1];
 457
 458       r ^= BOX (((u >>  0) & 0x3f), 0, s_SPtrans)
 459          | BOX (((u >>  8) & 0x3f), 2, s_SPtrans)
 460          | BOX (((u >> 16) & 0x3f), 4, s_SPtrans)
 461          | BOX (((u >> 24) & 0x3f), 6, s_SPtrans)
 462          | BOX (((t >>  0) & 0x3f), 1, s_SPtrans)
 463          | BOX (((t >>  8) & 0x3f), 3, s_SPtrans)
 464          | BOX (((t >> 16) & 0x3f), 5, s_SPtrans)
 465          | BOX (((t >> 24) & 0x3f), 7, s_SPtrans);
 466     }
 467
 468     u32 tt;
 469
 470     tt = l;
 471     l  = r;
 472     r  = tt;
 473   }
 474
 475   iv[0] = rotl32 (r, 31);
 476   iv[1] = rotl32 (l, 31);
 477 }
 478
 479 __kernel void m01500_m04 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 480 {
 481   /**
 482    * modifier
 483    */
 484
 485   const u32 gid = get_global_id (0);
 486   const u32 lid = get_local_id (0);
 487   const u32 lsz = get_local_size (0);
 488
 489   /**
 490    * base
 491    */
 492
 493   u32 pw_buf0[4];
 494
 495   pw_buf0[0] = pws[gid].i[ 0];
 496   pw_buf0[1] = pws[gid].i[ 1];
 497   pw_buf0[2] = 0;
 498   pw_buf0[3] = 0;
 499
 500   const u32 pw_len = pws[gid].pw_len;
 501
 502   /**
 503    * sbox, kbox
 504    */
 505
 506   __local u32 s_SPtrans[8][64];
 507   __local u32 s_skb[8][64];
 508
 509   for (u32 i = lid; i < 64; i += lsz)
 510   {
 511     s_SPtrans[0][i] = c_SPtrans[0][i];
 512     s_SPtrans[1][i] = c_SPtrans[1][i];
 513     s_SPtrans[2][i] = c_SPtrans[2][i];
 514     s_SPtrans[3][i] = c_SPtrans[3][i];
 515     s_SPtrans[4][i] = c_SPtrans[4][i];
 516     s_SPtrans[5][i] = c_SPtrans[5][i];
 517     s_SPtrans[6][i] = c_SPtrans[6][i];
 518     s_SPtrans[7][i] = c_SPtrans[7][i];
 519
 520     s_skb[0][i] = c_skb[0][i];
 521     s_skb[1][i] = c_skb[1][i];
 522     s_skb[2][i] = c_skb[2][i];
 523     s_skb[3][i] = c_skb[3][i];
 524     s_skb[4][i] = c_skb[4][i];
 525     s_skb[5][i] = c_skb[5][i];
 526     s_skb[6][i] = c_skb[6][i];
 527     s_skb[7][i] = c_skb[7][i];
 528   }
 529
 530   barrier (CLK_LOCAL_MEM_FENCE);
 531
 532   if (gid >= gid_max) return;
 533
 534   /**
 535    * salt
 536    */
 537
 538   const u32 mask = salt_bufs[salt_pos].salt_buf[0];
 539
 540   /**
 541    * main
 542    */
 543
 544   for (u32 il_pos = 0; il_pos < rules_cnt; il_pos++)
 545   {
 546     u32 w0[4];
 547
 548     w0[0] = pw_buf0[0];
 549     w0[1] = pw_buf0[1];
 550     w0[2] = 0;
 551     w0[3] = 0;
 552
 553     u32 w1[4];
 554
 555     w1[0] = 0;
 556     w1[1] = 0;
 557     w1[2] = 0;
 558     w1[3] = 0;
 559
 560     u32 w2[4];
 561
 562     w2[0] = 0;
 563     w2[1] = 0;
 564     w2[2] = 0;
 565     w2[3] = 0;
 566
 567     u32 w3[4];
 568
 569     w3[0] = 0;
 570     w3[1] = 0;
 571     w3[2] = 0;
 572     w3[3] = 0;
 573
 574     u32 out_len = apply_rules (rules_buf[il_pos].cmds, w0, w1, pw_len);
 575
 576     out_len = (out_len >= 8) ? 8 : out_len;
 577
 578     u32 data[2];
 579
 580     data[0] = (w0[0] << 1) & 0xfefefefe;
 581     data[1] = (w0[1] << 1) & 0xfefefefe;
 582
 583     u32 Kc[16];
 584     u32 Kd[16];
 585
 586     _des_crypt_keysetup (data[0], data[1], Kc, Kd, s_skb);
 587
 588     u32 iv[2];
 589
 590     _des_crypt_encrypt (iv, mask, Kc, Kd, s_SPtrans);
 591
 592     const u32 r0 = iv[0];
 593     const u32 r1 = iv[1];
 594     const u32 r2 = 0;
 595     const u32 r3 = 0;
 596
 597     #include COMPARE_M
 598   }
 599 }
 600
 601 __kernel void m01500_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 602 {
 603 }
 604
 605 __kernel void m01500_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 606 {
 607 }
 608
 609 __kernel void m01500_s04 (__global pw_t *pws, __global kernel_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 610 {
 611   /**
 612    * modifier
 613    */
 614
 615   const u32 gid = get_global_id (0);
 616   const u32 lid = get_local_id (0);
 617   const u32 lsz = get_local_size (0);
 618
 619   /**
 620    * base
 621    */
 622
 623   u32 pw_buf0[4];
 624
 625   pw_buf0[0] = pws[gid].i[ 0];
 626   pw_buf0[1] = pws[gid].i[ 1];
 627   pw_buf0[2] = 0;
 628   pw_buf0[3] = 0;
 629
 630   const u32 pw_len = pws[gid].pw_len;
 631
 632   /**
 633    * sbox, kbox
 634    */
 635
 636   __local u32 s_SPtrans[8][64];
 637   __local u32 s_skb[8][64];
 638
 639   for (u32 i = lid; i < 64; i += lsz)
 640   {
 641     s_SPtrans[0][i] = c_SPtrans[0][i];
 642     s_SPtrans[1][i] = c_SPtrans[1][i];
 643     s_SPtrans[2][i] = c_SPtrans[2][i];
 644     s_SPtrans[3][i] = c_SPtrans[3][i];
 645     s_SPtrans[4][i] = c_SPtrans[4][i];
 646     s_SPtrans[5][i] = c_SPtrans[5][i];
 647     s_SPtrans[6][i] = c_SPtrans[6][i];
 648     s_SPtrans[7][i] = c_SPtrans[7][i];
 649
 650     s_skb[0][i] = c_skb[0][i];
 651     s_skb[1][i] = c_skb[1][i];
 652     s_skb[2][i] = c_skb[2][i];
 653     s_skb[3][i] = c_skb[3][i];
 654     s_skb[4][i] = c_skb[4][i];
 655     s_skb[5][i] = c_skb[5][i];
 656     s_skb[6][i] = c_skb[6][i];
 657     s_skb[7][i] = c_skb[7][i];
 658   }
 659
 660   barrier (CLK_LOCAL_MEM_FENCE);
 661
 662   if (gid >= gid_max) return;
 663
 664   /**
 665    * salt
 666    */
 667
 668   const u32 mask = salt_bufs[salt_pos].salt_buf[0];
 669
 670   /**
 671    * digest
 672    */
 673
 674   const u32 search[4] =
 675   {
 676     digests_buf[digests_offset].digest_buf[DGST_R0],
 677     digests_buf[digests_offset].digest_buf[DGST_R1],
 678     digests_buf[digests_offset].digest_buf[DGST_R2],
 679     digests_buf[digests_offset].digest_buf[DGST_R3]
 680   };
 681
 682   /**
 683    * main
 684    */
 685
 686   for (u32 il_pos = 0; il_pos < rules_cnt; il_pos++)
 687   {
 688     u32 w0[4];
 689
 690     w0[0] = pw_buf0[0];
 691     w0[1] = pw_buf0[1];
 692     w0[2] = 0;
 693     w0[3] = 0;
 694
 695     u32 w1[4];
 696
 697     w1[0] = 0;
 698     w1[1] = 0;
 699     w1[2] = 0;
 700     w1[3] = 0;
 701
 702     u32 w2[4];
 703
 704     w2[0] = 0;
 705     w2[1] = 0;
 706     w2[2] = 0;
 707     w2[3] = 0;
 708
 709     u32 w3[4];
 710
 711     w3[0] = 0;
 712     w3[1] = 0;
 713     w3[2] = 0;
 714     w3[3] = 0;
 715
 716     u32 out_len = apply_rules (rules_buf[il_pos].cmds, w0, w1, pw_len);
 717
 718     out_len = (out_len >= 8) ? 8 : out_len;
 719
 720     u32 data[2];
 721
 722     data[0] = (w0[0] << 1) & 0xfefefefe;
 723     data[1] = (w0[1] << 1) & 0xfefefefe;
 724
 725     u32 Kc[16];
 726     u32 Kd[16];
 727
 728     _des_crypt_keysetup (data[0], data[1], Kc, Kd, s_skb);
 729
 730     u32 iv[2];
 731
 732     _des_crypt_encrypt (iv, mask, Kc, Kd, s_SPtrans);
 733
 734     const u32 r0 = iv[0];
 735     const u32 r1 = iv[1];
 736     const u32 r2 = 0;
 737     const u32 r3 = 0;
 738
 739     #include COMPARE_S
 740   }
 741 }
 742
 743 __kernel void m01500_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 744 {
 745 }
 746
 747 __kernel void m01500_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 748 {
 749 }