OpenCL/m12400.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _DES_
   7
   8 #include "include/constants.h"
   9 #include "include/kernel_vendor.h"
  10
  11 #define DGST_R0 0
  12 #define DGST_R1 1
  13 #define DGST_R2 2
  14 #define DGST_R3 3
  15
  16 #include "include/kernel_functions.c"
  17 #include "OpenCL/types_ocl.c"
  18 #include "OpenCL/common.c"
  19
  20 #define COMPARE_S "OpenCL/check_single_comp4.c"
  21 #define COMPARE_M "OpenCL/check_multi_comp4.c"
  22
  23 #define PERM_OP(a,b,tt,n,m) \
  24 {                           \
  25   tt = a >> n;              \
  26   tt = tt ^ b;              \
  27   tt = tt & m;              \
  28   b = b ^ tt;               \
  29   tt = tt << n;             \
  30   a = a ^ tt;               \
  31 }
  32
  33 #define HPERM_OP(a,tt,n,m)  \
  34 {                           \
  35   tt = a << (16 + n);       \
  36   tt = tt ^ a;              \
  37   tt = tt & m;              \
  38   a  = a ^ tt;              \
  39   tt = tt >> (16 + n);      \
  40   a  = a ^ tt;              \
  41 }
  42
  43 #define IP(l,r,tt)                     \
  44 {                                      \
  45   PERM_OP (r, l, tt,  4, 0x0f0f0f0f);  \
  46   PERM_OP (l, r, tt, 16, 0x0000ffff);  \
  47   PERM_OP (r, l, tt,  2, 0x33333333);  \
  48   PERM_OP (l, r, tt,  8, 0x00ff00ff);  \
  49   PERM_OP (r, l, tt,  1, 0x55555555);  \
  50 }
  51
  52 #define FP(l,r,tt)                     \
  53 {                                      \
  54   PERM_OP (l, r, tt,  1, 0x55555555);  \
  55   PERM_OP (r, l, tt,  8, 0x00ff00ff);  \
  56   PERM_OP (l, r, tt,  2, 0x33333333);  \
  57   PERM_OP (r, l, tt, 16, 0x0000ffff);  \
  58   PERM_OP (l, r, tt,  4, 0x0f0f0f0f);  \
  59 }
  60
  61 __constant u32 c_SPtrans[8][64] =
  62 {
  63   {
  64     0x00820200, 0x00020000, 0x80800000, 0x80820200,
  65     0x00800000, 0x80020200, 0x80020000, 0x80800000,
  66     0x80020200, 0x00820200, 0x00820000, 0x80000200,
  67     0x80800200, 0x00800000, 0x00000000, 0x80020000,
  68     0x00020000, 0x80000000, 0x00800200, 0x00020200,
  69     0x80820200, 0x00820000, 0x80000200, 0x00800200,
  70     0x80000000, 0x00000200, 0x00020200, 0x80820000,
  71     0x00000200, 0x80800200, 0x80820000, 0x00000000,
  72     0x00000000, 0x80820200, 0x00800200, 0x80020000,
  73     0x00820200, 0x00020000, 0x80000200, 0x00800200,
  74     0x80820000, 0x00000200, 0x00020200, 0x80800000,
  75     0x80020200, 0x80000000, 0x80800000, 0x00820000,
  76     0x80820200, 0x00020200, 0x00820000, 0x80800200,
  77     0x00800000, 0x80000200, 0x80020000, 0x00000000,
  78     0x00020000, 0x00800000, 0x80800200, 0x00820200,
  79     0x80000000, 0x80820000, 0x00000200, 0x80020200,
  80   },
  81   {
  82     0x10042004, 0x00000000, 0x00042000, 0x10040000,
  83     0x10000004, 0x00002004, 0x10002000, 0x00042000,
  84     0x00002000, 0x10040004, 0x00000004, 0x10002000,
  85     0x00040004, 0x10042000, 0x10040000, 0x00000004,
  86     0x00040000, 0x10002004, 0x10040004, 0x00002000,
  87     0x00042004, 0x10000000, 0x00000000, 0x00040004,
  88     0x10002004, 0x00042004, 0x10042000, 0x10000004,
  89     0x10000000, 0x00040000, 0x00002004, 0x10042004,
  90     0x00040004, 0x10042000, 0x10002000, 0x00042004,
  91     0x10042004, 0x00040004, 0x10000004, 0x00000000,
  92     0x10000000, 0x00002004, 0x00040000, 0x10040004,
  93     0x00002000, 0x10000000, 0x00042004, 0x10002004,
  94     0x10042000, 0x00002000, 0x00000000, 0x10000004,
  95     0x00000004, 0x10042004, 0x00042000, 0x10040000,
  96     0x10040004, 0x00040000, 0x00002004, 0x10002000,
  97     0x10002004, 0x00000004, 0x10040000, 0x00042000,
  98   },
  99   {
 100     0x41000000, 0x01010040, 0x00000040, 0x41000040,
 101     0x40010000, 0x01000000, 0x41000040, 0x00010040,
 102     0x01000040, 0x00010000, 0x01010000, 0x40000000,
 103     0x41010040, 0x40000040, 0x40000000, 0x41010000,
 104     0x00000000, 0x40010000, 0x01010040, 0x00000040,
 105     0x40000040, 0x41010040, 0x00010000, 0x41000000,
 106     0x41010000, 0x01000040, 0x40010040, 0x01010000,
 107     0x00010040, 0x00000000, 0x01000000, 0x40010040,
 108     0x01010040, 0x00000040, 0x40000000, 0x00010000,
 109     0x40000040, 0x40010000, 0x01010000, 0x41000040,
 110     0x00000000, 0x01010040, 0x00010040, 0x41010000,
 111     0x40010000, 0x01000000, 0x41010040, 0x40000000,
 112     0x40010040, 0x41000000, 0x01000000, 0x41010040,
 113     0x00010000, 0x01000040, 0x41000040, 0x00010040,
 114     0x01000040, 0x00000000, 0x41010000, 0x40000040,
 115     0x41000000, 0x40010040, 0x00000040, 0x01010000,
 116   },
 117   {
 118     0x00100402, 0x04000400, 0x00000002, 0x04100402,
 119     0x00000000, 0x04100000, 0x04000402, 0x00100002,
 120     0x04100400, 0x04000002, 0x04000000, 0x00000402,
 121     0x04000002, 0x00100402, 0x00100000, 0x04000000,
 122     0x04100002, 0x00100400, 0x00000400, 0x00000002,
 123     0x00100400, 0x04000402, 0x04100000, 0x00000400,
 124     0x00000402, 0x00000000, 0x00100002, 0x04100400,
 125     0x04000400, 0x04100002, 0x04100402, 0x00100000,
 126     0x04100002, 0x00000402, 0x00100000, 0x04000002,
 127     0x00100400, 0x04000400, 0x00000002, 0x04100000,
 128     0x04000402, 0x00000000, 0x00000400, 0x00100002,
 129     0x00000000, 0x04100002, 0x04100400, 0x00000400,
 130     0x04000000, 0x04100402, 0x00100402, 0x00100000,
 131     0x04100402, 0x00000002, 0x04000400, 0x00100402,
 132     0x00100002, 0x00100400, 0x04100000, 0x04000402,
 133     0x00000402, 0x04000000, 0x04000002, 0x04100400,
 134   },
 135   {
 136     0x02000000, 0x00004000, 0x00000100, 0x02004108,
 137     0x02004008, 0x02000100, 0x00004108, 0x02004000,
 138     0x00004000, 0x00000008, 0x02000008, 0x00004100,
 139     0x02000108, 0x02004008, 0x02004100, 0x00000000,
 140     0x00004100, 0x02000000, 0x00004008, 0x00000108,
 141     0x02000100, 0x00004108, 0x00000000, 0x02000008,
 142     0x00000008, 0x02000108, 0x02004108, 0x00004008,
 143     0x02004000, 0x00000100, 0x00000108, 0x02004100,
 144     0x02004100, 0x02000108, 0x00004008, 0x02004000,
 145     0x00004000, 0x00000008, 0x02000008, 0x02000100,
 146     0x02000000, 0x00004100, 0x02004108, 0x00000000,
 147     0x00004108, 0x02000000, 0x00000100, 0x00004008,
 148     0x02000108, 0x00000100, 0x00000000, 0x02004108,
 149     0x02004008, 0x02004100, 0x00000108, 0x00004000,
 150     0x00004100, 0x02004008, 0x02000100, 0x00000108,
 151     0x00000008, 0x00004108, 0x02004000, 0x02000008,
 152   },
 153   {
 154     0x20000010, 0x00080010, 0x00000000, 0x20080800,
 155     0x00080010, 0x00000800, 0x20000810, 0x00080000,
 156     0x00000810, 0x20080810, 0x00080800, 0x20000000,
 157     0x20000800, 0x20000010, 0x20080000, 0x00080810,
 158     0x00080000, 0x20000810, 0x20080010, 0x00000000,
 159     0x00000800, 0x00000010, 0x20080800, 0x20080010,
 160     0x20080810, 0x20080000, 0x20000000, 0x00000810,
 161     0x00000010, 0x00080800, 0x00080810, 0x20000800,
 162     0x00000810, 0x20000000, 0x20000800, 0x00080810,
 163     0x20080800, 0x00080010, 0x00000000, 0x20000800,
 164     0x20000000, 0x00000800, 0x20080010, 0x00080000,
 165     0x00080010, 0x20080810, 0x00080800, 0x00000010,
 166     0x20080810, 0x00080800, 0x00080000, 0x20000810,
 167     0x20000010, 0x20080000, 0x00080810, 0x00000000,
 168     0x00000800, 0x20000010, 0x20000810, 0x20080800,
 169     0x20080000, 0x00000810, 0x00000010, 0x20080010,
 170   },
 171   {
 172     0x00001000, 0x00000080, 0x00400080, 0x00400001,
 173     0x00401081, 0x00001001, 0x00001080, 0x00000000,
 174     0x00400000, 0x00400081, 0x00000081, 0x00401000,
 175     0x00000001, 0x00401080, 0x00401000, 0x00000081,
 176     0x00400081, 0x00001000, 0x00001001, 0x00401081,
 177     0x00000000, 0x00400080, 0x00400001, 0x00001080,
 178     0x00401001, 0x00001081, 0x00401080, 0x00000001,
 179     0x00001081, 0x00401001, 0x00000080, 0x00400000,
 180     0x00001081, 0x00401000, 0x00401001, 0x00000081,
 181     0x00001000, 0x00000080, 0x00400000, 0x00401001,
 182     0x00400081, 0x00001081, 0x00001080, 0x00000000,
 183     0x00000080, 0x00400001, 0x00000001, 0x00400080,
 184     0x00000000, 0x00400081, 0x00400080, 0x00001080,
 185     0x00000081, 0x00001000, 0x00401081, 0x00400000,
 186     0x00401080, 0x00000001, 0x00001001, 0x00401081,
 187     0x00400001, 0x00401080, 0x00401000, 0x00001001,
 188   },
 189   {
 190     0x08200020, 0x08208000, 0x00008020, 0x00000000,
 191     0x08008000, 0x00200020, 0x08200000, 0x08208020,
 192     0x00000020, 0x08000000, 0x00208000, 0x00008020,
 193     0x00208020, 0x08008020, 0x08000020, 0x08200000,
 194     0x00008000, 0x00208020, 0x00200020, 0x08008000,
 195     0x08208020, 0x08000020, 0x00000000, 0x00208000,
 196     0x08000000, 0x00200000, 0x08008020, 0x08200020,
 197     0x00200000, 0x00008000, 0x08208000, 0x00000020,
 198     0x00200000, 0x00008000, 0x08000020, 0x08208020,
 199     0x00008020, 0x08000000, 0x00000000, 0x00208000,
 200     0x08200020, 0x08008020, 0x08008000, 0x00200020,
 201     0x08208000, 0x00000020, 0x00200020, 0x08008000,
 202     0x08208020, 0x00200000, 0x08200000, 0x08000020,
 203     0x00208000, 0x00008020, 0x08008020, 0x08200000,
 204     0x00000020, 0x08208000, 0x00208020, 0x00000000,
 205     0x08000000, 0x08200020, 0x00008000, 0x00208020
 206   },
 207 };
 208
 209 __constant u32 c_skb[8][64] =
 210 {
 211   {
 212     0x00000000, 0x00000010, 0x20000000, 0x20000010,
 213     0x00010000, 0x00010010, 0x20010000, 0x20010010,
 214     0x00000800, 0x00000810, 0x20000800, 0x20000810,
 215     0x00010800, 0x00010810, 0x20010800, 0x20010810,
 216     0x00000020, 0x00000030, 0x20000020, 0x20000030,
 217     0x00010020, 0x00010030, 0x20010020, 0x20010030,
 218     0x00000820, 0x00000830, 0x20000820, 0x20000830,
 219     0x00010820, 0x00010830, 0x20010820, 0x20010830,
 220     0x00080000, 0x00080010, 0x20080000, 0x20080010,
 221     0x00090000, 0x00090010, 0x20090000, 0x20090010,
 222     0x00080800, 0x00080810, 0x20080800, 0x20080810,
 223     0x00090800, 0x00090810, 0x20090800, 0x20090810,
 224     0x00080020, 0x00080030, 0x20080020, 0x20080030,
 225     0x00090020, 0x00090030, 0x20090020, 0x20090030,
 226     0x00080820, 0x00080830, 0x20080820, 0x20080830,
 227     0x00090820, 0x00090830, 0x20090820, 0x20090830,
 228   },
 229   {
 230     0x00000000, 0x02000000, 0x00002000, 0x02002000,
 231     0x00200000, 0x02200000, 0x00202000, 0x02202000,
 232     0x00000004, 0x02000004, 0x00002004, 0x02002004,
 233     0x00200004, 0x02200004, 0x00202004, 0x02202004,
 234     0x00000400, 0x02000400, 0x00002400, 0x02002400,
 235     0x00200400, 0x02200400, 0x00202400, 0x02202400,
 236     0x00000404, 0x02000404, 0x00002404, 0x02002404,
 237     0x00200404, 0x02200404, 0x00202404, 0x02202404,
 238     0x10000000, 0x12000000, 0x10002000, 0x12002000,
 239     0x10200000, 0x12200000, 0x10202000, 0x12202000,
 240     0x10000004, 0x12000004, 0x10002004, 0x12002004,
 241     0x10200004, 0x12200004, 0x10202004, 0x12202004,
 242     0x10000400, 0x12000400, 0x10002400, 0x12002400,
 243     0x10200400, 0x12200400, 0x10202400, 0x12202400,
 244     0x10000404, 0x12000404, 0x10002404, 0x12002404,
 245     0x10200404, 0x12200404, 0x10202404, 0x12202404,
 246   },
 247   {
 248     0x00000000, 0x00000001, 0x00040000, 0x00040001,
 249     0x01000000, 0x01000001, 0x01040000, 0x01040001,
 250     0x00000002, 0x00000003, 0x00040002, 0x00040003,
 251     0x01000002, 0x01000003, 0x01040002, 0x01040003,
 252     0x00000200, 0x00000201, 0x00040200, 0x00040201,
 253     0x01000200, 0x01000201, 0x01040200, 0x01040201,
 254     0x00000202, 0x00000203, 0x00040202, 0x00040203,
 255     0x01000202, 0x01000203, 0x01040202, 0x01040203,
 256     0x08000000, 0x08000001, 0x08040000, 0x08040001,
 257     0x09000000, 0x09000001, 0x09040000, 0x09040001,
 258     0x08000002, 0x08000003, 0x08040002, 0x08040003,
 259     0x09000002, 0x09000003, 0x09040002, 0x09040003,
 260     0x08000200, 0x08000201, 0x08040200, 0x08040201,
 261     0x09000200, 0x09000201, 0x09040200, 0x09040201,
 262     0x08000202, 0x08000203, 0x08040202, 0x08040203,
 263     0x09000202, 0x09000203, 0x09040202, 0x09040203,
 264   },
 265   {
 266     0x00000000, 0x00100000, 0x00000100, 0x00100100,
 267     0x00000008, 0x00100008, 0x00000108, 0x00100108,
 268     0x00001000, 0x00101000, 0x00001100, 0x00101100,
 269     0x00001008, 0x00101008, 0x00001108, 0x00101108,
 270     0x04000000, 0x04100000, 0x04000100, 0x04100100,
 271     0x04000008, 0x04100008, 0x04000108, 0x04100108,
 272     0x04001000, 0x04101000, 0x04001100, 0x04101100,
 273     0x04001008, 0x04101008, 0x04001108, 0x04101108,
 274     0x00020000, 0x00120000, 0x00020100, 0x00120100,
 275     0x00020008, 0x00120008, 0x00020108, 0x00120108,
 276     0x00021000, 0x00121000, 0x00021100, 0x00121100,
 277     0x00021008, 0x00121008, 0x00021108, 0x00121108,
 278     0x04020000, 0x04120000, 0x04020100, 0x04120100,
 279     0x04020008, 0x04120008, 0x04020108, 0x04120108,
 280     0x04021000, 0x04121000, 0x04021100, 0x04121100,
 281     0x04021008, 0x04121008, 0x04021108, 0x04121108,
 282   },
 283   {
 284     0x00000000, 0x10000000, 0x00010000, 0x10010000,
 285     0x00000004, 0x10000004, 0x00010004, 0x10010004,
 286     0x20000000, 0x30000000, 0x20010000, 0x30010000,
 287     0x20000004, 0x30000004, 0x20010004, 0x30010004,
 288     0x00100000, 0x10100000, 0x00110000, 0x10110000,
 289     0x00100004, 0x10100004, 0x00110004, 0x10110004,
 290     0x20100000, 0x30100000, 0x20110000, 0x30110000,
 291     0x20100004, 0x30100004, 0x20110004, 0x30110004,
 292     0x00001000, 0x10001000, 0x00011000, 0x10011000,
 293     0x00001004, 0x10001004, 0x00011004, 0x10011004,
 294     0x20001000, 0x30001000, 0x20011000, 0x30011000,
 295     0x20001004, 0x30001004, 0x20011004, 0x30011004,
 296     0x00101000, 0x10101000, 0x00111000, 0x10111000,
 297     0x00101004, 0x10101004, 0x00111004, 0x10111004,
 298     0x20101000, 0x30101000, 0x20111000, 0x30111000,
 299     0x20101004, 0x30101004, 0x20111004, 0x30111004,
 300   },
 301   {
 302     0x00000000, 0x08000000, 0x00000008, 0x08000008,
 303     0x00000400, 0x08000400, 0x00000408, 0x08000408,
 304     0x00020000, 0x08020000, 0x00020008, 0x08020008,
 305     0x00020400, 0x08020400, 0x00020408, 0x08020408,
 306     0x00000001, 0x08000001, 0x00000009, 0x08000009,
 307     0x00000401, 0x08000401, 0x00000409, 0x08000409,
 308     0x00020001, 0x08020001, 0x00020009, 0x08020009,
 309     0x00020401, 0x08020401, 0x00020409, 0x08020409,
 310     0x02000000, 0x0A000000, 0x02000008, 0x0A000008,
 311     0x02000400, 0x0A000400, 0x02000408, 0x0A000408,
 312     0x02020000, 0x0A020000, 0x02020008, 0x0A020008,
 313     0x02020400, 0x0A020400, 0x02020408, 0x0A020408,
 314     0x02000001, 0x0A000001, 0x02000009, 0x0A000009,
 315     0x02000401, 0x0A000401, 0x02000409, 0x0A000409,
 316     0x02020001, 0x0A020001, 0x02020009, 0x0A020009,
 317     0x02020401, 0x0A020401, 0x02020409, 0x0A020409,
 318   },
 319   {
 320     0x00000000, 0x00000100, 0x00080000, 0x00080100,
 321     0x01000000, 0x01000100, 0x01080000, 0x01080100,
 322     0x00000010, 0x00000110, 0x00080010, 0x00080110,
 323     0x01000010, 0x01000110, 0x01080010, 0x01080110,
 324     0x00200000, 0x00200100, 0x00280000, 0x00280100,
 325     0x01200000, 0x01200100, 0x01280000, 0x01280100,
 326     0x00200010, 0x00200110, 0x00280010, 0x00280110,
 327     0x01200010, 0x01200110, 0x01280010, 0x01280110,
 328     0x00000200, 0x00000300, 0x00080200, 0x00080300,
 329     0x01000200, 0x01000300, 0x01080200, 0x01080300,
 330     0x00000210, 0x00000310, 0x00080210, 0x00080310,
 331     0x01000210, 0x01000310, 0x01080210, 0x01080310,
 332     0x00200200, 0x00200300, 0x00280200, 0x00280300,
 333     0x01200200, 0x01200300, 0x01280200, 0x01280300,
 334     0x00200210, 0x00200310, 0x00280210, 0x00280310,
 335     0x01200210, 0x01200310, 0x01280210, 0x01280310,
 336   },
 337   {
 338     0x00000000, 0x04000000, 0x00040000, 0x04040000,
 339     0x00000002, 0x04000002, 0x00040002, 0x04040002,
 340     0x00002000, 0x04002000, 0x00042000, 0x04042000,
 341     0x00002002, 0x04002002, 0x00042002, 0x04042002,
 342     0x00000020, 0x04000020, 0x00040020, 0x04040020,
 343     0x00000022, 0x04000022, 0x00040022, 0x04040022,
 344     0x00002020, 0x04002020, 0x00042020, 0x04042020,
 345     0x00002022, 0x04002022, 0x00042022, 0x04042022,
 346     0x00000800, 0x04000800, 0x00040800, 0x04040800,
 347     0x00000802, 0x04000802, 0x00040802, 0x04040802,
 348     0x00002800, 0x04002800, 0x00042800, 0x04042800,
 349     0x00002802, 0x04002802, 0x00042802, 0x04042802,
 350     0x00000820, 0x04000820, 0x00040820, 0x04040820,
 351     0x00000822, 0x04000822, 0x00040822, 0x04040822,
 352     0x00002820, 0x04002820, 0x00042820, 0x04042820,
 353     0x00002822, 0x04002822, 0x00042822, 0x04042822
 354   },
 355 };
 356
 357 #define BOX(i,n,S) (S)[(n)][(i)]
 358
 359 static void _des_crypt_keysetup (u32 c, u32 d, u32 Kc[16], u32 Kd[16], __local u32 s_skb[8][64])
 360 {
 361   u32 tt;
 362
 363   PERM_OP  (d, c, tt, 4, 0x0f0f0f0f);
 364   HPERM_OP (c,    tt, 2, 0xcccc0000);
 365   HPERM_OP (d,    tt, 2, 0xcccc0000);
 366   PERM_OP  (d, c, tt, 1, 0x55555555);
 367   PERM_OP  (c, d, tt, 8, 0x00ff00ff);
 368   PERM_OP  (d, c, tt, 1, 0x55555555);
 369
 370   d = ((d & 0x000000ff) << 16)
 371     | ((d & 0x0000ff00) <<  0)
 372     | ((d & 0x00ff0000) >> 16)
 373     | ((c & 0xf0000000) >>  4);
 374
 375   c = c & 0x0fffffff;
 376
 377   #pragma unroll
 378   for (u32 i = 0; i < 16; i++)
 379   {
 380     if ((i < 2) || (i == 8) || (i == 15))
 381     {
 382       c = ((c >> 1) | (c << 27));
 383       d = ((d >> 1) | (d << 27));
 384     }
 385     else
 386     {
 387       c = ((c >> 2) | (c << 26));
 388       d = ((d >> 2) | (d << 26));
 389     }
 390
 391     c = c & 0x0fffffff;
 392     d = d & 0x0fffffff;
 393
 394     const u32 c00 = (c >>  0) & 0x0000003f;
 395     const u32 c06 = (c >>  6) & 0x00383003;
 396     const u32 c07 = (c >>  7) & 0x0000003c;
 397     const u32 c13 = (c >> 13) & 0x0000060f;
 398     const u32 c20 = (c >> 20) & 0x00000001;
 399
 400     u32 s = BOX (((c00 >>  0) & 0xff), 0, s_skb)
 401           | BOX (((c06 >>  0) & 0xff)
 402                 |((c07 >>  0) & 0xff), 1, s_skb)
 403           | BOX (((c13 >>  0) & 0xff)
 404                 |((c06 >>  8) & 0xff), 2, s_skb)
 405           | BOX (((c20 >>  0) & 0xff)
 406                 |((c13 >>  8) & 0xff)
 407                 |((c06 >> 16) & 0xff), 3, s_skb);
 408
 409     const u32 d00 = (d >>  0) & 0x00003c3f;
 410     const u32 d07 = (d >>  7) & 0x00003f03;
 411     const u32 d21 = (d >> 21) & 0x0000000f;
 412     const u32 d22 = (d >> 22) & 0x00000030;
 413
 414     u32 t = BOX (((d00 >>  0) & 0xff), 4, s_skb)
 415           | BOX (((d07 >>  0) & 0xff)
 416                 |((d00 >>  8) & 0xff), 5, s_skb)
 417           | BOX (((d07 >>  8) & 0xff), 6, s_skb)
 418           | BOX (((d21 >>  0) & 0xff)
 419                 |((d22 >>  0) & 0xff), 7, s_skb);
 420
 421     Kc[i] = ((t << 16) | (s & 0x0000ffff));
 422     Kd[i] = ((s >> 16) | (t & 0xffff0000));
 423   }
 424 }
 425
 426 static void _des_crypt_encrypt (u32 iv[2], u32 mask, u32 rounds, u32 Kc[16], u32 Kd[16], __local u32 s_SPtrans[8][64])
 427 {
 428   u32 tt;
 429
 430   const u32 E0 = ((mask >>  0) & 0x003f)
 431                | ((mask >>  4) & 0x3f00);
 432   const u32 E1 = ((mask >>  2) & 0x03f0)
 433                | ((mask >>  6) & 0xf000)
 434                | ((mask >> 22) & 0x0003);
 435
 436   u32 r = iv[0];
 437   u32 l = iv[1];
 438
 439   for (u32 i = 0; i < rounds; i++)
 440   {
 441     for (u32 j = 0; j < 16; j += 2)
 442     {
 443       u32 t;
 444       u32 u;
 445
 446       t = r ^ (r >> 16);
 447       u = t & E0;
 448       t = t & E1;
 449       u = u ^ (u << 16);
 450       u = u ^ r;
 451       u = u ^ Kc[j + 0];
 452       t = t ^ (t << 16);
 453       t = t ^ r;
 454       t = rotl32 (t, 28u);
 455       t = t ^ Kd[j + 0];
 456
 457       l ^= BOX (((u >>  0) & 0x3f), 0, s_SPtrans)
 458          | BOX (((u >>  8) & 0x3f), 2, s_SPtrans)
 459          | BOX (((u >> 16) & 0x3f), 4, s_SPtrans)
 460          | BOX (((u >> 24) & 0x3f), 6, s_SPtrans)
 461          | BOX (((t >>  0) & 0x3f), 1, s_SPtrans)
 462          | BOX (((t >>  8) & 0x3f), 3, s_SPtrans)
 463          | BOX (((t >> 16) & 0x3f), 5, s_SPtrans)
 464          | BOX (((t >> 24) & 0x3f), 7, s_SPtrans);
 465
 466       t = l ^ (l >> 16);
 467       u = t & E0;
 468       t = t & E1;
 469       u = u ^ (u << 16);
 470       u = u ^ l;
 471       u = u ^ Kc[j + 1];
 472       t = t ^ (t << 16);
 473       t = t ^ l;
 474       t = rotl32 (t, 28u);
 475       t = t ^ Kd[j + 1];
 476
 477       r ^= BOX (((u >>  0) & 0x3f), 0, s_SPtrans)
 478          | BOX (((u >>  8) & 0x3f), 2, s_SPtrans)
 479          | BOX (((u >> 16) & 0x3f), 4, s_SPtrans)
 480          | BOX (((u >> 24) & 0x3f), 6, s_SPtrans)
 481          | BOX (((t >>  0) & 0x3f), 1, s_SPtrans)
 482          | BOX (((t >>  8) & 0x3f), 3, s_SPtrans)
 483          | BOX (((t >> 16) & 0x3f), 5, s_SPtrans)
 484          | BOX (((t >> 24) & 0x3f), 7, s_SPtrans);
 485     }
 486
 487     u32 tt;
 488
 489     tt = l;
 490     l  = r;
 491     r  = tt;
 492   }
 493
 494   iv[0] = r;
 495   iv[1] = l;
 496 }
 497
 498 __kernel void m12400_init (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global bsdicrypt_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 499 {
 500   /**
 501    * base
 502    */
 503
 504   const u32 gid = get_global_id (0);
 505   const u32 lid = get_local_id (0);
 506   const u32 lsz = get_local_size (0);
 507
 508   /**
 509    * sbox
 510    */
 511
 512   __local u32 s_SPtrans[8][64];
 513   __local u32 s_skb[8][64];
 514
 515   for (u32 i = lid; i < 64; i += lsz)
 516   {
 517     s_SPtrans[0][i] = c_SPtrans[0][i];
 518     s_SPtrans[1][i] = c_SPtrans[1][i];
 519     s_SPtrans[2][i] = c_SPtrans[2][i];
 520     s_SPtrans[3][i] = c_SPtrans[3][i];
 521     s_SPtrans[4][i] = c_SPtrans[4][i];
 522     s_SPtrans[5][i] = c_SPtrans[5][i];
 523     s_SPtrans[6][i] = c_SPtrans[6][i];
 524     s_SPtrans[7][i] = c_SPtrans[7][i];
 525
 526     s_skb[0][i] = c_skb[0][i];
 527     s_skb[1][i] = c_skb[1][i];
 528     s_skb[2][i] = c_skb[2][i];
 529     s_skb[3][i] = c_skb[3][i];
 530     s_skb[4][i] = c_skb[4][i];
 531     s_skb[5][i] = c_skb[5][i];
 532     s_skb[6][i] = c_skb[6][i];
 533     s_skb[7][i] = c_skb[7][i];
 534   }
 535
 536   barrier (CLK_LOCAL_MEM_FENCE);
 537
 538   if (gid >= gid_max) return;
 539
 540   /**
 541    * word
 542    */
 543
 544   u32 w[16];
 545
 546   w[ 0] = pws[gid].i[ 0];
 547   w[ 1] = pws[gid].i[ 1];
 548   w[ 2] = pws[gid].i[ 2];
 549   w[ 3] = pws[gid].i[ 3];
 550   w[ 4] = pws[gid].i[ 4];
 551   w[ 5] = pws[gid].i[ 5];
 552   w[ 6] = pws[gid].i[ 6];
 553   w[ 7] = pws[gid].i[ 7];
 554   w[ 8] = pws[gid].i[ 8];
 555   w[ 9] = pws[gid].i[ 9];
 556   w[10] = pws[gid].i[10];
 557   w[11] = pws[gid].i[11];
 558   w[12] = pws[gid].i[12];
 559   w[13] = pws[gid].i[13];
 560   w[14] = pws[gid].i[14];
 561   w[15] = pws[gid].i[15];
 562
 563   u32 pw_len = pws[gid].pw_len;
 564
 565   u32 tt;
 566
 567   u32 Kc[16];
 568   u32 Kd[16];
 569
 570   u32 out[2];
 571
 572   out[0] = (w[0] << 1) & 0xfefefefe;
 573   out[1] = (w[1] << 1) & 0xfefefefe;
 574
 575   for (u32 i = 8, j = 2; i < pw_len; i += 8, j += 2)
 576   {
 577     _des_crypt_keysetup (out[0], out[1], Kc, Kd, s_skb);
 578
 579     IP (out[0], out[1], tt);
 580
 581     out[0] = rotr32 (out[0], 31);
 582     out[1] = rotr32 (out[1], 31);
 583
 584     _des_crypt_encrypt (out, 0, 1, Kc, Kd, s_SPtrans);
 585
 586     out[0] = rotl32 (out[0], 31);
 587     out[1] = rotl32 (out[1], 31);
 588
 589     FP (out[1], out[0], tt);
 590
 591     const u32 R = (w[j + 0] << 1) & 0xfefefefe;
 592     const u32 L = (w[j + 1] << 1) & 0xfefefefe;
 593
 594     out[0] ^= R;
 595     out[1] ^= L;
 596   }
 597
 598   /*
 599   out[0] = (out[0] & 0xfefefefe) >> 1;
 600   out[1] = (out[1] & 0xfefefefe) >> 1;
 601
 602   out[0] = (out[0] << 1) & 0xfefefefe;
 603   out[1] = (out[1] << 1) & 0xfefefefe;
 604   */
 605
 606   _des_crypt_keysetup (out[0], out[1], Kc, Kd, s_skb);
 607
 608   tmps[gid].Kc[ 0] = Kc[ 0];
 609   tmps[gid].Kc[ 1] = Kc[ 1];
 610   tmps[gid].Kc[ 2] = Kc[ 2];
 611   tmps[gid].Kc[ 3] = Kc[ 3];
 612   tmps[gid].Kc[ 4] = Kc[ 4];
 613   tmps[gid].Kc[ 5] = Kc[ 5];
 614   tmps[gid].Kc[ 6] = Kc[ 6];
 615   tmps[gid].Kc[ 7] = Kc[ 7];
 616   tmps[gid].Kc[ 8] = Kc[ 8];
 617   tmps[gid].Kc[ 9] = Kc[ 9];
 618   tmps[gid].Kc[10] = Kc[10];
 619   tmps[gid].Kc[11] = Kc[11];
 620   tmps[gid].Kc[12] = Kc[12];
 621   tmps[gid].Kc[13] = Kc[13];
 622   tmps[gid].Kc[14] = Kc[14];
 623   tmps[gid].Kc[15] = Kc[15];
 624
 625   tmps[gid].Kd[ 0] = Kd[ 0];
 626   tmps[gid].Kd[ 1] = Kd[ 1];
 627   tmps[gid].Kd[ 2] = Kd[ 2];
 628   tmps[gid].Kd[ 3] = Kd[ 3];
 629   tmps[gid].Kd[ 4] = Kd[ 4];
 630   tmps[gid].Kd[ 5] = Kd[ 5];
 631   tmps[gid].Kd[ 6] = Kd[ 6];
 632   tmps[gid].Kd[ 7] = Kd[ 7];
 633   tmps[gid].Kd[ 8] = Kd[ 8];
 634   tmps[gid].Kd[ 9] = Kd[ 9];
 635   tmps[gid].Kd[10] = Kd[10];
 636   tmps[gid].Kd[11] = Kd[11];
 637   tmps[gid].Kd[12] = Kd[12];
 638   tmps[gid].Kd[13] = Kd[13];
 639   tmps[gid].Kd[14] = Kd[14];
 640   tmps[gid].Kd[15] = Kd[15];
 641
 642   tmps[gid].iv[0] = 0;
 643   tmps[gid].iv[1] = 0;
 644 }
 645
 646 __kernel void m12400_loop (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global bsdicrypt_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 647 {
 648   /**
 649    * base
 650    */
 651
 652   const u32 gid = get_global_id (0);
 653   const u32 lid = get_local_id (0);
 654   const u32 lsz = get_local_size (0);
 655
 656   /**
 657    * sbox
 658    */
 659
 660   __local u32 s_SPtrans[8][64];
 661   __local u32 s_skb[8][64];
 662
 663   for (u32 i = lid; i < 64; i += lsz)
 664   {
 665     s_SPtrans[0][i] = c_SPtrans[0][i];
 666     s_SPtrans[1][i] = c_SPtrans[1][i];
 667     s_SPtrans[2][i] = c_SPtrans[2][i];
 668     s_SPtrans[3][i] = c_SPtrans[3][i];
 669     s_SPtrans[4][i] = c_SPtrans[4][i];
 670     s_SPtrans[5][i] = c_SPtrans[5][i];
 671     s_SPtrans[6][i] = c_SPtrans[6][i];
 672     s_SPtrans[7][i] = c_SPtrans[7][i];
 673
 674     s_skb[0][i] = c_skb[0][i];
 675     s_skb[1][i] = c_skb[1][i];
 676     s_skb[2][i] = c_skb[2][i];
 677     s_skb[3][i] = c_skb[3][i];
 678     s_skb[4][i] = c_skb[4][i];
 679     s_skb[5][i] = c_skb[5][i];
 680     s_skb[6][i] = c_skb[6][i];
 681     s_skb[7][i] = c_skb[7][i];
 682   }
 683
 684   barrier (CLK_LOCAL_MEM_FENCE);
 685
 686   if (gid >= gid_max) return;
 687
 688   /**
 689    * main
 690    */
 691
 692   u32 Kc[16];
 693
 694   Kc[ 0] = tmps[gid].Kc[ 0];
 695   Kc[ 1] = tmps[gid].Kc[ 1];
 696   Kc[ 2] = tmps[gid].Kc[ 2];
 697   Kc[ 3] = tmps[gid].Kc[ 3];
 698   Kc[ 4] = tmps[gid].Kc[ 4];
 699   Kc[ 5] = tmps[gid].Kc[ 5];
 700   Kc[ 6] = tmps[gid].Kc[ 6];
 701   Kc[ 7] = tmps[gid].Kc[ 7];
 702   Kc[ 8] = tmps[gid].Kc[ 8];
 703   Kc[ 9] = tmps[gid].Kc[ 9];
 704   Kc[10] = tmps[gid].Kc[10];
 705   Kc[11] = tmps[gid].Kc[11];
 706   Kc[12] = tmps[gid].Kc[12];
 707   Kc[13] = tmps[gid].Kc[13];
 708   Kc[14] = tmps[gid].Kc[14];
 709   Kc[15] = tmps[gid].Kc[15];
 710
 711   u32 Kd[16];
 712
 713   Kd[ 0] = tmps[gid].Kd[ 0];
 714   Kd[ 1] = tmps[gid].Kd[ 1];
 715   Kd[ 2] = tmps[gid].Kd[ 2];
 716   Kd[ 3] = tmps[gid].Kd[ 3];
 717   Kd[ 4] = tmps[gid].Kd[ 4];
 718   Kd[ 5] = tmps[gid].Kd[ 5];
 719   Kd[ 6] = tmps[gid].Kd[ 6];
 720   Kd[ 7] = tmps[gid].Kd[ 7];
 721   Kd[ 8] = tmps[gid].Kd[ 8];
 722   Kd[ 9] = tmps[gid].Kd[ 9];
 723   Kd[10] = tmps[gid].Kd[10];
 724   Kd[11] = tmps[gid].Kd[11];
 725   Kd[12] = tmps[gid].Kd[12];
 726   Kd[13] = tmps[gid].Kd[13];
 727   Kd[14] = tmps[gid].Kd[14];
 728   Kd[15] = tmps[gid].Kd[15];
 729
 730   u32 iv[2];
 731
 732   iv[0] = tmps[gid].iv[0];
 733   iv[1] = tmps[gid].iv[1];
 734
 735   const u32 mask = salt_bufs[salt_pos].salt_buf[0];
 736
 737   _des_crypt_encrypt (iv, mask, loop_cnt, Kc, Kd, s_SPtrans);
 738
 739   tmps[gid].Kc[ 0] = Kc[ 0];
 740   tmps[gid].Kc[ 1] = Kc[ 1];
 741   tmps[gid].Kc[ 2] = Kc[ 2];
 742   tmps[gid].Kc[ 3] = Kc[ 3];
 743   tmps[gid].Kc[ 4] = Kc[ 4];
 744   tmps[gid].Kc[ 5] = Kc[ 5];
 745   tmps[gid].Kc[ 6] = Kc[ 6];
 746   tmps[gid].Kc[ 7] = Kc[ 7];
 747   tmps[gid].Kc[ 8] = Kc[ 8];
 748   tmps[gid].Kc[ 9] = Kc[ 9];
 749   tmps[gid].Kc[10] = Kc[10];
 750   tmps[gid].Kc[11] = Kc[11];
 751   tmps[gid].Kc[12] = Kc[12];
 752   tmps[gid].Kc[13] = Kc[13];
 753   tmps[gid].Kc[14] = Kc[14];
 754   tmps[gid].Kc[15] = Kc[15];
 755
 756   tmps[gid].Kd[ 0] = Kd[ 0];
 757   tmps[gid].Kd[ 1] = Kd[ 1];
 758   tmps[gid].Kd[ 2] = Kd[ 2];
 759   tmps[gid].Kd[ 3] = Kd[ 3];
 760   tmps[gid].Kd[ 4] = Kd[ 4];
 761   tmps[gid].Kd[ 5] = Kd[ 5];
 762   tmps[gid].Kd[ 6] = Kd[ 6];
 763   tmps[gid].Kd[ 7] = Kd[ 7];
 764   tmps[gid].Kd[ 8] = Kd[ 8];
 765   tmps[gid].Kd[ 9] = Kd[ 9];
 766   tmps[gid].Kd[10] = Kd[10];
 767   tmps[gid].Kd[11] = Kd[11];
 768   tmps[gid].Kd[12] = Kd[12];
 769   tmps[gid].Kd[13] = Kd[13];
 770   tmps[gid].Kd[14] = Kd[14];
 771   tmps[gid].Kd[15] = Kd[15];
 772
 773   tmps[gid].iv[0] = iv[0];
 774   tmps[gid].iv[1] = iv[1];
 775 }
 776
 777 __kernel void m12400_comp (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global bsdicrypt_tmp_t *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 778 {
 779   /**
 780    * base
 781    */
 782
 783   const u32 gid = get_global_id (0);
 784
 785   if (gid >= gid_max) return;
 786
 787   const u32 lid = get_local_id (0);
 788
 789   const u32 r0 = tmps[gid].iv[0];
 790   const u32 r1 = tmps[gid].iv[1];
 791   const u32 r2 = 0;
 792   const u32 r3 = 0;
 793
 794   #define il_pos 0
 795
 796   #include COMPARE_M
 797 }