2e6e0c51604185e835f9eb2347825e4eeb96eb7f
[muen/linux.git] / drivers / infiniband / hw / hfi1 / debugfs.c
1 /*
2  * Copyright(c) 2015-2017 Intel Corporation.
3  *
4  * This file is provided under a dual BSD/GPLv2 license.  When using or
5  * redistributing this file, you may do so under either license.
6  *
7  * GPL LICENSE SUMMARY
8  *
9  * This program is free software; you can redistribute it and/or modify
10  * it under the terms of version 2 of the GNU General Public License as
11  * published by the Free Software Foundation.
12  *
13  * This program is distributed in the hope that it will be useful, but
14  * WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * General Public License for more details.
17  *
18  * BSD LICENSE
19  *
20  * Redistribution and use in source and binary forms, with or without
21  * modification, are permitted provided that the following conditions
22  * are met:
23  *
24  *  - Redistributions of source code must retain the above copyright
25  *    notice, this list of conditions and the following disclaimer.
26  *  - Redistributions in binary form must reproduce the above copyright
27  *    notice, this list of conditions and the following disclaimer in
28  *    the documentation and/or other materials provided with the
29  *    distribution.
30  *  - Neither the name of Intel Corporation nor the names of its
31  *    contributors may be used to endorse or promote products derived
32  *    from this software without specific prior written permission.
33  *
34  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
35  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
36  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
37  * A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
38  * OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
39  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
40  * LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
41  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
42  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
43  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
44  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
45  *
46  */
47 #include <linux/debugfs.h>
48 #include <linux/seq_file.h>
49 #include <linux/kernel.h>
50 #include <linux/export.h>
51 #include <linux/module.h>
52 #include <linux/string.h>
53 #include <linux/types.h>
54 #include <linux/ratelimit.h>
55 #include <linux/fault-inject.h>
56
57 #include "hfi.h"
58 #include "trace.h"
59 #include "debugfs.h"
60 #include "device.h"
61 #include "qp.h"
62 #include "sdma.h"
63
64 static struct dentry *hfi1_dbg_root;
65
66 /* wrappers to enforce srcu in seq file */
67 static ssize_t hfi1_seq_read(
68         struct file *file,
69         char __user *buf,
70         size_t size,
71         loff_t *ppos)
72 {
73         struct dentry *d = file->f_path.dentry;
74         ssize_t r;
75
76         r = debugfs_file_get(d);
77         if (unlikely(r))
78                 return r;
79         r = seq_read(file, buf, size, ppos);
80         debugfs_file_put(d);
81         return r;
82 }
83
84 static loff_t hfi1_seq_lseek(
85         struct file *file,
86         loff_t offset,
87         int whence)
88 {
89         struct dentry *d = file->f_path.dentry;
90         loff_t r;
91
92         r = debugfs_file_get(d);
93         if (unlikely(r))
94                 return r;
95         r = seq_lseek(file, offset, whence);
96         debugfs_file_put(d);
97         return r;
98 }
99
100 #define private2dd(file) (file_inode(file)->i_private)
101 #define private2ppd(file) (file_inode(file)->i_private)
102
103 #define DEBUGFS_SEQ_FILE_OPS(name) \
104 static const struct seq_operations _##name##_seq_ops = { \
105         .start = _##name##_seq_start, \
106         .next  = _##name##_seq_next, \
107         .stop  = _##name##_seq_stop, \
108         .show  = _##name##_seq_show \
109 }
110
111 #define DEBUGFS_SEQ_FILE_OPEN(name) \
112 static int _##name##_open(struct inode *inode, struct file *s) \
113 { \
114         struct seq_file *seq; \
115         int ret; \
116         ret =  seq_open(s, &_##name##_seq_ops); \
117         if (ret) \
118                 return ret; \
119         seq = s->private_data; \
120         seq->private = inode->i_private; \
121         return 0; \
122 }
123
124 #define DEBUGFS_FILE_OPS(name) \
125 static const struct file_operations _##name##_file_ops = { \
126         .owner   = THIS_MODULE, \
127         .open    = _##name##_open, \
128         .read    = hfi1_seq_read, \
129         .llseek  = hfi1_seq_lseek, \
130         .release = seq_release \
131 }
132
133 #define DEBUGFS_FILE_CREATE(name, parent, data, ops, mode)      \
134 do { \
135         struct dentry *ent; \
136         ent = debugfs_create_file(name, mode, parent, \
137                 data, ops); \
138         if (!ent) \
139                 pr_warn("create of %s failed\n", name); \
140 } while (0)
141
142 #define DEBUGFS_SEQ_FILE_CREATE(name, parent, data) \
143         DEBUGFS_FILE_CREATE(#name, parent, data, &_##name##_file_ops, S_IRUGO)
144
145 static void *_opcode_stats_seq_start(struct seq_file *s, loff_t *pos)
146 {
147         struct hfi1_opcode_stats_perctx *opstats;
148
149         if (*pos >= ARRAY_SIZE(opstats->stats))
150                 return NULL;
151         return pos;
152 }
153
154 static void *_opcode_stats_seq_next(struct seq_file *s, void *v, loff_t *pos)
155 {
156         struct hfi1_opcode_stats_perctx *opstats;
157
158         ++*pos;
159         if (*pos >= ARRAY_SIZE(opstats->stats))
160                 return NULL;
161         return pos;
162 }
163
164 static void _opcode_stats_seq_stop(struct seq_file *s, void *v)
165 {
166 }
167
168 static int opcode_stats_show(struct seq_file *s, u8 i, u64 packets, u64 bytes)
169 {
170         if (!packets && !bytes)
171                 return SEQ_SKIP;
172         seq_printf(s, "%02x %llu/%llu\n", i,
173                    (unsigned long long)packets,
174                    (unsigned long long)bytes);
175
176         return 0;
177 }
178
179 static int _opcode_stats_seq_show(struct seq_file *s, void *v)
180 {
181         loff_t *spos = v;
182         loff_t i = *spos, j;
183         u64 n_packets = 0, n_bytes = 0;
184         struct hfi1_ibdev *ibd = (struct hfi1_ibdev *)s->private;
185         struct hfi1_devdata *dd = dd_from_dev(ibd);
186         struct hfi1_ctxtdata *rcd;
187
188         for (j = 0; j < dd->first_dyn_alloc_ctxt; j++) {
189                 rcd = hfi1_rcd_get_by_index(dd, j);
190                 if (rcd) {
191                         n_packets += rcd->opstats->stats[i].n_packets;
192                         n_bytes += rcd->opstats->stats[i].n_bytes;
193                 }
194                 hfi1_rcd_put(rcd);
195         }
196         return opcode_stats_show(s, i, n_packets, n_bytes);
197 }
198
199 DEBUGFS_SEQ_FILE_OPS(opcode_stats);
200 DEBUGFS_SEQ_FILE_OPEN(opcode_stats)
201 DEBUGFS_FILE_OPS(opcode_stats);
202
203 static void *_tx_opcode_stats_seq_start(struct seq_file *s, loff_t *pos)
204 {
205         return _opcode_stats_seq_start(s, pos);
206 }
207
208 static void *_tx_opcode_stats_seq_next(struct seq_file *s, void *v, loff_t *pos)
209 {
210         return _opcode_stats_seq_next(s, v, pos);
211 }
212
213 static void _tx_opcode_stats_seq_stop(struct seq_file *s, void *v)
214 {
215 }
216
217 static int _tx_opcode_stats_seq_show(struct seq_file *s, void *v)
218 {
219         loff_t *spos = v;
220         loff_t i = *spos;
221         int j;
222         u64 n_packets = 0, n_bytes = 0;
223         struct hfi1_ibdev *ibd = (struct hfi1_ibdev *)s->private;
224         struct hfi1_devdata *dd = dd_from_dev(ibd);
225
226         for_each_possible_cpu(j) {
227                 struct hfi1_opcode_stats_perctx *s =
228                         per_cpu_ptr(dd->tx_opstats, j);
229                 n_packets += s->stats[i].n_packets;
230                 n_bytes += s->stats[i].n_bytes;
231         }
232         return opcode_stats_show(s, i, n_packets, n_bytes);
233 }
234
235 DEBUGFS_SEQ_FILE_OPS(tx_opcode_stats);
236 DEBUGFS_SEQ_FILE_OPEN(tx_opcode_stats)
237 DEBUGFS_FILE_OPS(tx_opcode_stats);
238
239 static void *_ctx_stats_seq_start(struct seq_file *s, loff_t *pos)
240 {
241         struct hfi1_ibdev *ibd = (struct hfi1_ibdev *)s->private;
242         struct hfi1_devdata *dd = dd_from_dev(ibd);
243
244         if (!*pos)
245                 return SEQ_START_TOKEN;
246         if (*pos >= dd->first_dyn_alloc_ctxt)
247                 return NULL;
248         return pos;
249 }
250
251 static void *_ctx_stats_seq_next(struct seq_file *s, void *v, loff_t *pos)
252 {
253         struct hfi1_ibdev *ibd = (struct hfi1_ibdev *)s->private;
254         struct hfi1_devdata *dd = dd_from_dev(ibd);
255
256         if (v == SEQ_START_TOKEN)
257                 return pos;
258
259         ++*pos;
260         if (*pos >= dd->first_dyn_alloc_ctxt)
261                 return NULL;
262         return pos;
263 }
264
265 static void _ctx_stats_seq_stop(struct seq_file *s, void *v)
266 {
267         /* nothing allocated */
268 }
269
270 static int _ctx_stats_seq_show(struct seq_file *s, void *v)
271 {
272         loff_t *spos;
273         loff_t i, j;
274         u64 n_packets = 0;
275         struct hfi1_ibdev *ibd = (struct hfi1_ibdev *)s->private;
276         struct hfi1_devdata *dd = dd_from_dev(ibd);
277         struct hfi1_ctxtdata *rcd;
278
279         if (v == SEQ_START_TOKEN) {
280                 seq_puts(s, "Ctx:npkts\n");
281                 return 0;
282         }
283
284         spos = v;
285         i = *spos;
286
287         rcd = hfi1_rcd_get_by_index_safe(dd, i);
288         if (!rcd)
289                 return SEQ_SKIP;
290
291         for (j = 0; j < ARRAY_SIZE(rcd->opstats->stats); j++)
292                 n_packets += rcd->opstats->stats[j].n_packets;
293
294         hfi1_rcd_put(rcd);
295
296         if (!n_packets)
297                 return SEQ_SKIP;
298
299         seq_printf(s, "  %llu:%llu\n", i, n_packets);
300         return 0;
301 }
302
303 DEBUGFS_SEQ_FILE_OPS(ctx_stats);
304 DEBUGFS_SEQ_FILE_OPEN(ctx_stats)
305 DEBUGFS_FILE_OPS(ctx_stats);
306
307 static void *_qp_stats_seq_start(struct seq_file *s, loff_t *pos)
308         __acquires(RCU)
309 {
310         struct rvt_qp_iter *iter;
311         loff_t n = *pos;
312
313         iter = rvt_qp_iter_init(s->private, 0, NULL);
314
315         /* stop calls rcu_read_unlock */
316         rcu_read_lock();
317
318         if (!iter)
319                 return NULL;
320
321         do {
322                 if (rvt_qp_iter_next(iter)) {
323                         kfree(iter);
324                         return NULL;
325                 }
326         } while (n--);
327
328         return iter;
329 }
330
331 static void *_qp_stats_seq_next(struct seq_file *s, void *iter_ptr,
332                                 loff_t *pos)
333         __must_hold(RCU)
334 {
335         struct rvt_qp_iter *iter = iter_ptr;
336
337         (*pos)++;
338
339         if (rvt_qp_iter_next(iter)) {
340                 kfree(iter);
341                 return NULL;
342         }
343
344         return iter;
345 }
346
347 static void _qp_stats_seq_stop(struct seq_file *s, void *iter_ptr)
348         __releases(RCU)
349 {
350         rcu_read_unlock();
351 }
352
353 static int _qp_stats_seq_show(struct seq_file *s, void *iter_ptr)
354 {
355         struct rvt_qp_iter *iter = iter_ptr;
356
357         if (!iter)
358                 return 0;
359
360         qp_iter_print(s, iter);
361
362         return 0;
363 }
364
365 DEBUGFS_SEQ_FILE_OPS(qp_stats);
366 DEBUGFS_SEQ_FILE_OPEN(qp_stats)
367 DEBUGFS_FILE_OPS(qp_stats);
368
369 static void *_sdes_seq_start(struct seq_file *s, loff_t *pos)
370 {
371         struct hfi1_ibdev *ibd;
372         struct hfi1_devdata *dd;
373
374         ibd = (struct hfi1_ibdev *)s->private;
375         dd = dd_from_dev(ibd);
376         if (!dd->per_sdma || *pos >= dd->num_sdma)
377                 return NULL;
378         return pos;
379 }
380
381 static void *_sdes_seq_next(struct seq_file *s, void *v, loff_t *pos)
382 {
383         struct hfi1_ibdev *ibd = (struct hfi1_ibdev *)s->private;
384         struct hfi1_devdata *dd = dd_from_dev(ibd);
385
386         ++*pos;
387         if (!dd->per_sdma || *pos >= dd->num_sdma)
388                 return NULL;
389         return pos;
390 }
391
392 static void _sdes_seq_stop(struct seq_file *s, void *v)
393 {
394 }
395
396 static int _sdes_seq_show(struct seq_file *s, void *v)
397 {
398         struct hfi1_ibdev *ibd = (struct hfi1_ibdev *)s->private;
399         struct hfi1_devdata *dd = dd_from_dev(ibd);
400         loff_t *spos = v;
401         loff_t i = *spos;
402
403         sdma_seqfile_dump_sde(s, &dd->per_sdma[i]);
404         return 0;
405 }
406
407 DEBUGFS_SEQ_FILE_OPS(sdes);
408 DEBUGFS_SEQ_FILE_OPEN(sdes)
409 DEBUGFS_FILE_OPS(sdes);
410
411 static void *_rcds_seq_start(struct seq_file *s, loff_t *pos)
412 {
413         struct hfi1_ibdev *ibd;
414         struct hfi1_devdata *dd;
415
416         ibd = (struct hfi1_ibdev *)s->private;
417         dd = dd_from_dev(ibd);
418         if (!dd->rcd || *pos >= dd->n_krcv_queues)
419                 return NULL;
420         return pos;
421 }
422
423 static void *_rcds_seq_next(struct seq_file *s, void *v, loff_t *pos)
424 {
425         struct hfi1_ibdev *ibd = (struct hfi1_ibdev *)s->private;
426         struct hfi1_devdata *dd = dd_from_dev(ibd);
427
428         ++*pos;
429         if (!dd->rcd || *pos >= dd->n_krcv_queues)
430                 return NULL;
431         return pos;
432 }
433
434 static void _rcds_seq_stop(struct seq_file *s, void *v)
435 {
436 }
437
438 static int _rcds_seq_show(struct seq_file *s, void *v)
439 {
440         struct hfi1_ibdev *ibd = (struct hfi1_ibdev *)s->private;
441         struct hfi1_devdata *dd = dd_from_dev(ibd);
442         struct hfi1_ctxtdata *rcd;
443         loff_t *spos = v;
444         loff_t i = *spos;
445
446         rcd = hfi1_rcd_get_by_index_safe(dd, i);
447         if (rcd)
448                 seqfile_dump_rcd(s, rcd);
449         hfi1_rcd_put(rcd);
450         return 0;
451 }
452
453 DEBUGFS_SEQ_FILE_OPS(rcds);
454 DEBUGFS_SEQ_FILE_OPEN(rcds)
455 DEBUGFS_FILE_OPS(rcds);
456
457 /* read the per-device counters */
458 static ssize_t dev_counters_read(struct file *file, char __user *buf,
459                                  size_t count, loff_t *ppos)
460 {
461         u64 *counters;
462         size_t avail;
463         struct hfi1_devdata *dd;
464         ssize_t rval;
465
466         dd = private2dd(file);
467         avail = hfi1_read_cntrs(dd, NULL, &counters);
468         rval =  simple_read_from_buffer(buf, count, ppos, counters, avail);
469         return rval;
470 }
471
472 /* read the per-device counters */
473 static ssize_t dev_names_read(struct file *file, char __user *buf,
474                               size_t count, loff_t *ppos)
475 {
476         char *names;
477         size_t avail;
478         struct hfi1_devdata *dd;
479         ssize_t rval;
480
481         dd = private2dd(file);
482         avail = hfi1_read_cntrs(dd, &names, NULL);
483         rval =  simple_read_from_buffer(buf, count, ppos, names, avail);
484         return rval;
485 }
486
487 struct counter_info {
488         char *name;
489         const struct file_operations ops;
490 };
491
492 /*
493  * Could use file_inode(file)->i_ino to figure out which file,
494  * instead of separate routine for each, but for now, this works...
495  */
496
497 /* read the per-port names (same for each port) */
498 static ssize_t portnames_read(struct file *file, char __user *buf,
499                               size_t count, loff_t *ppos)
500 {
501         char *names;
502         size_t avail;
503         struct hfi1_devdata *dd;
504         ssize_t rval;
505
506         dd = private2dd(file);
507         avail = hfi1_read_portcntrs(dd->pport, &names, NULL);
508         rval = simple_read_from_buffer(buf, count, ppos, names, avail);
509         return rval;
510 }
511
512 /* read the per-port counters */
513 static ssize_t portcntrs_debugfs_read(struct file *file, char __user *buf,
514                                       size_t count, loff_t *ppos)
515 {
516         u64 *counters;
517         size_t avail;
518         struct hfi1_pportdata *ppd;
519         ssize_t rval;
520
521         ppd = private2ppd(file);
522         avail = hfi1_read_portcntrs(ppd, NULL, &counters);
523         rval = simple_read_from_buffer(buf, count, ppos, counters, avail);
524         return rval;
525 }
526
527 static void check_dyn_flag(u64 scratch0, char *p, int size, int *used,
528                            int this_hfi, int hfi, u32 flag, const char *what)
529 {
530         u32 mask;
531
532         mask = flag << (hfi ? CR_DYN_SHIFT : 0);
533         if (scratch0 & mask) {
534                 *used += scnprintf(p + *used, size - *used,
535                                    "  0x%08x - HFI%d %s in use, %s device\n",
536                                    mask, hfi, what,
537                                    this_hfi == hfi ? "this" : "other");
538         }
539 }
540
541 static ssize_t asic_flags_read(struct file *file, char __user *buf,
542                                size_t count, loff_t *ppos)
543 {
544         struct hfi1_pportdata *ppd;
545         struct hfi1_devdata *dd;
546         u64 scratch0;
547         char *tmp;
548         int ret = 0;
549         int size;
550         int used;
551         int i;
552
553         ppd = private2ppd(file);
554         dd = ppd->dd;
555         size = PAGE_SIZE;
556         used = 0;
557         tmp = kmalloc(size, GFP_KERNEL);
558         if (!tmp)
559                 return -ENOMEM;
560
561         scratch0 = read_csr(dd, ASIC_CFG_SCRATCH);
562         used += scnprintf(tmp + used, size - used,
563                           "Resource flags: 0x%016llx\n", scratch0);
564
565         /* check permanent flag */
566         if (scratch0 & CR_THERM_INIT) {
567                 used += scnprintf(tmp + used, size - used,
568                                   "  0x%08x - thermal monitoring initialized\n",
569                                   (u32)CR_THERM_INIT);
570         }
571
572         /* check each dynamic flag on each HFI */
573         for (i = 0; i < 2; i++) {
574                 check_dyn_flag(scratch0, tmp, size, &used, dd->hfi1_id, i,
575                                CR_SBUS, "SBus");
576                 check_dyn_flag(scratch0, tmp, size, &used, dd->hfi1_id, i,
577                                CR_EPROM, "EPROM");
578                 check_dyn_flag(scratch0, tmp, size, &used, dd->hfi1_id, i,
579                                CR_I2C1, "i2c chain 1");
580                 check_dyn_flag(scratch0, tmp, size, &used, dd->hfi1_id, i,
581                                CR_I2C2, "i2c chain 2");
582         }
583         used += scnprintf(tmp + used, size - used, "Write bits to clear\n");
584
585         ret = simple_read_from_buffer(buf, count, ppos, tmp, used);
586         kfree(tmp);
587         return ret;
588 }
589
590 static ssize_t asic_flags_write(struct file *file, const char __user *buf,
591                                 size_t count, loff_t *ppos)
592 {
593         struct hfi1_pportdata *ppd;
594         struct hfi1_devdata *dd;
595         char *buff;
596         int ret;
597         unsigned long long value;
598         u64 scratch0;
599         u64 clear;
600
601         ppd = private2ppd(file);
602         dd = ppd->dd;
603
604         /* zero terminate and read the expected integer */
605         buff = memdup_user_nul(buf, count);
606         if (IS_ERR(buff))
607                 return PTR_ERR(buff);
608
609         ret = kstrtoull(buff, 0, &value);
610         if (ret)
611                 goto do_free;
612         clear = value;
613
614         /* obtain exclusive access */
615         mutex_lock(&dd->asic_data->asic_resource_mutex);
616         acquire_hw_mutex(dd);
617
618         scratch0 = read_csr(dd, ASIC_CFG_SCRATCH);
619         scratch0 &= ~clear;
620         write_csr(dd, ASIC_CFG_SCRATCH, scratch0);
621         /* force write to be visible to other HFI on another OS */
622         (void)read_csr(dd, ASIC_CFG_SCRATCH);
623
624         release_hw_mutex(dd);
625         mutex_unlock(&dd->asic_data->asic_resource_mutex);
626
627         /* return the number of bytes written */
628         ret = count;
629
630  do_free:
631         kfree(buff);
632         return ret;
633 }
634
635 /* read the dc8051 memory */
636 static ssize_t dc8051_memory_read(struct file *file, char __user *buf,
637                                   size_t count, loff_t *ppos)
638 {
639         struct hfi1_pportdata *ppd = private2ppd(file);
640         ssize_t rval;
641         void *tmp;
642         loff_t start, end;
643
644         /* the checks below expect the position to be positive */
645         if (*ppos < 0)
646                 return -EINVAL;
647
648         tmp = kzalloc(DC8051_DATA_MEM_SIZE, GFP_KERNEL);
649         if (!tmp)
650                 return -ENOMEM;
651
652         /*
653          * Fill in the requested portion of the temporary buffer from the
654          * 8051 memory.  The 8051 memory read is done in terms of 8 bytes.
655          * Adjust start and end to fit.  Skip reading anything if out of
656          * range.
657          */
658         start = *ppos & ~0x7;   /* round down */
659         if (start < DC8051_DATA_MEM_SIZE) {
660                 end = (*ppos + count + 7) & ~0x7; /* round up */
661                 if (end > DC8051_DATA_MEM_SIZE)
662                         end = DC8051_DATA_MEM_SIZE;
663                 rval = read_8051_data(ppd->dd, start, end - start,
664                                       (u64 *)(tmp + start));
665                 if (rval)
666                         goto done;
667         }
668
669         rval = simple_read_from_buffer(buf, count, ppos, tmp,
670                                        DC8051_DATA_MEM_SIZE);
671 done:
672         kfree(tmp);
673         return rval;
674 }
675
676 static ssize_t debugfs_lcb_read(struct file *file, char __user *buf,
677                                 size_t count, loff_t *ppos)
678 {
679         struct hfi1_pportdata *ppd = private2ppd(file);
680         struct hfi1_devdata *dd = ppd->dd;
681         unsigned long total, csr_off;
682         u64 data;
683
684         if (*ppos < 0)
685                 return -EINVAL;
686         /* only read 8 byte quantities */
687         if ((count % 8) != 0)
688                 return -EINVAL;
689         /* offset must be 8-byte aligned */
690         if ((*ppos % 8) != 0)
691                 return -EINVAL;
692         /* do nothing if out of range or zero count */
693         if (*ppos >= (LCB_END - LCB_START) || !count)
694                 return 0;
695         /* reduce count if needed */
696         if (*ppos + count > LCB_END - LCB_START)
697                 count = (LCB_END - LCB_START) - *ppos;
698
699         csr_off = LCB_START + *ppos;
700         for (total = 0; total < count; total += 8, csr_off += 8) {
701                 if (read_lcb_csr(dd, csr_off, (u64 *)&data))
702                         break; /* failed */
703                 if (put_user(data, (unsigned long __user *)(buf + total)))
704                         break;
705         }
706         *ppos += total;
707         return total;
708 }
709
710 static ssize_t debugfs_lcb_write(struct file *file, const char __user *buf,
711                                  size_t count, loff_t *ppos)
712 {
713         struct hfi1_pportdata *ppd = private2ppd(file);
714         struct hfi1_devdata *dd = ppd->dd;
715         unsigned long total, csr_off, data;
716
717         if (*ppos < 0)
718                 return -EINVAL;
719         /* only write 8 byte quantities */
720         if ((count % 8) != 0)
721                 return -EINVAL;
722         /* offset must be 8-byte aligned */
723         if ((*ppos % 8) != 0)
724                 return -EINVAL;
725         /* do nothing if out of range or zero count */
726         if (*ppos >= (LCB_END - LCB_START) || !count)
727                 return 0;
728         /* reduce count if needed */
729         if (*ppos + count > LCB_END - LCB_START)
730                 count = (LCB_END - LCB_START) - *ppos;
731
732         csr_off = LCB_START + *ppos;
733         for (total = 0; total < count; total += 8, csr_off += 8) {
734                 if (get_user(data, (unsigned long __user *)(buf + total)))
735                         break;
736                 if (write_lcb_csr(dd, csr_off, data))
737                         break; /* failed */
738         }
739         *ppos += total;
740         return total;
741 }
742
743 /*
744  * read the per-port QSFP data for ppd
745  */
746 static ssize_t qsfp_debugfs_dump(struct file *file, char __user *buf,
747                                  size_t count, loff_t *ppos)
748 {
749         struct hfi1_pportdata *ppd;
750         char *tmp;
751         int ret;
752
753         ppd = private2ppd(file);
754         tmp = kmalloc(PAGE_SIZE, GFP_KERNEL);
755         if (!tmp)
756                 return -ENOMEM;
757
758         ret = qsfp_dump(ppd, tmp, PAGE_SIZE);
759         if (ret > 0)
760                 ret = simple_read_from_buffer(buf, count, ppos, tmp, ret);
761         kfree(tmp);
762         return ret;
763 }
764
765 /* Do an i2c write operation on the chain for the given HFI. */
766 static ssize_t __i2c_debugfs_write(struct file *file, const char __user *buf,
767                                    size_t count, loff_t *ppos, u32 target)
768 {
769         struct hfi1_pportdata *ppd;
770         char *buff;
771         int ret;
772         int i2c_addr;
773         int offset;
774         int total_written;
775
776         ppd = private2ppd(file);
777
778         /* byte offset format: [offsetSize][i2cAddr][offsetHigh][offsetLow] */
779         i2c_addr = (*ppos >> 16) & 0xffff;
780         offset = *ppos & 0xffff;
781
782         /* explicitly reject invalid address 0 to catch cp and cat */
783         if (i2c_addr == 0)
784                 return -EINVAL;
785
786         buff = memdup_user(buf, count);
787         if (IS_ERR(buff))
788                 return PTR_ERR(buff);
789
790         total_written = i2c_write(ppd, target, i2c_addr, offset, buff, count);
791         if (total_written < 0) {
792                 ret = total_written;
793                 goto _free;
794         }
795
796         *ppos += total_written;
797
798         ret = total_written;
799
800  _free:
801         kfree(buff);
802         return ret;
803 }
804
805 /* Do an i2c write operation on chain for HFI 0. */
806 static ssize_t i2c1_debugfs_write(struct file *file, const char __user *buf,
807                                   size_t count, loff_t *ppos)
808 {
809         return __i2c_debugfs_write(file, buf, count, ppos, 0);
810 }
811
812 /* Do an i2c write operation on chain for HFI 1. */
813 static ssize_t i2c2_debugfs_write(struct file *file, const char __user *buf,
814                                   size_t count, loff_t *ppos)
815 {
816         return __i2c_debugfs_write(file, buf, count, ppos, 1);
817 }
818
819 /* Do an i2c read operation on the chain for the given HFI. */
820 static ssize_t __i2c_debugfs_read(struct file *file, char __user *buf,
821                                   size_t count, loff_t *ppos, u32 target)
822 {
823         struct hfi1_pportdata *ppd;
824         char *buff;
825         int ret;
826         int i2c_addr;
827         int offset;
828         int total_read;
829
830         ppd = private2ppd(file);
831
832         /* byte offset format: [offsetSize][i2cAddr][offsetHigh][offsetLow] */
833         i2c_addr = (*ppos >> 16) & 0xffff;
834         offset = *ppos & 0xffff;
835
836         /* explicitly reject invalid address 0 to catch cp and cat */
837         if (i2c_addr == 0)
838                 return -EINVAL;
839
840         buff = kmalloc(count, GFP_KERNEL);
841         if (!buff)
842                 return -ENOMEM;
843
844         total_read = i2c_read(ppd, target, i2c_addr, offset, buff, count);
845         if (total_read < 0) {
846                 ret = total_read;
847                 goto _free;
848         }
849
850         *ppos += total_read;
851
852         ret = copy_to_user(buf, buff, total_read);
853         if (ret > 0) {
854                 ret = -EFAULT;
855                 goto _free;
856         }
857
858         ret = total_read;
859
860  _free:
861         kfree(buff);
862         return ret;
863 }
864
865 /* Do an i2c read operation on chain for HFI 0. */
866 static ssize_t i2c1_debugfs_read(struct file *file, char __user *buf,
867                                  size_t count, loff_t *ppos)
868 {
869         return __i2c_debugfs_read(file, buf, count, ppos, 0);
870 }
871
872 /* Do an i2c read operation on chain for HFI 1. */
873 static ssize_t i2c2_debugfs_read(struct file *file, char __user *buf,
874                                  size_t count, loff_t *ppos)
875 {
876         return __i2c_debugfs_read(file, buf, count, ppos, 1);
877 }
878
879 /* Do a QSFP write operation on the i2c chain for the given HFI. */
880 static ssize_t __qsfp_debugfs_write(struct file *file, const char __user *buf,
881                                     size_t count, loff_t *ppos, u32 target)
882 {
883         struct hfi1_pportdata *ppd;
884         char *buff;
885         int ret;
886         int total_written;
887
888         if (*ppos + count > QSFP_PAGESIZE * 4) /* base page + page00-page03 */
889                 return -EINVAL;
890
891         ppd = private2ppd(file);
892
893         buff = memdup_user(buf, count);
894         if (IS_ERR(buff))
895                 return PTR_ERR(buff);
896
897         total_written = qsfp_write(ppd, target, *ppos, buff, count);
898         if (total_written < 0) {
899                 ret = total_written;
900                 goto _free;
901         }
902
903         *ppos += total_written;
904
905         ret = total_written;
906
907  _free:
908         kfree(buff);
909         return ret;
910 }
911
912 /* Do a QSFP write operation on i2c chain for HFI 0. */
913 static ssize_t qsfp1_debugfs_write(struct file *file, const char __user *buf,
914                                    size_t count, loff_t *ppos)
915 {
916         return __qsfp_debugfs_write(file, buf, count, ppos, 0);
917 }
918
919 /* Do a QSFP write operation on i2c chain for HFI 1. */
920 static ssize_t qsfp2_debugfs_write(struct file *file, const char __user *buf,
921                                    size_t count, loff_t *ppos)
922 {
923         return __qsfp_debugfs_write(file, buf, count, ppos, 1);
924 }
925
926 /* Do a QSFP read operation on the i2c chain for the given HFI. */
927 static ssize_t __qsfp_debugfs_read(struct file *file, char __user *buf,
928                                    size_t count, loff_t *ppos, u32 target)
929 {
930         struct hfi1_pportdata *ppd;
931         char *buff;
932         int ret;
933         int total_read;
934
935         if (*ppos + count > QSFP_PAGESIZE * 4) { /* base page + page00-page03 */
936                 ret = -EINVAL;
937                 goto _return;
938         }
939
940         ppd = private2ppd(file);
941
942         buff = kmalloc(count, GFP_KERNEL);
943         if (!buff) {
944                 ret = -ENOMEM;
945                 goto _return;
946         }
947
948         total_read = qsfp_read(ppd, target, *ppos, buff, count);
949         if (total_read < 0) {
950                 ret = total_read;
951                 goto _free;
952         }
953
954         *ppos += total_read;
955
956         ret = copy_to_user(buf, buff, total_read);
957         if (ret > 0) {
958                 ret = -EFAULT;
959                 goto _free;
960         }
961
962         ret = total_read;
963
964  _free:
965         kfree(buff);
966  _return:
967         return ret;
968 }
969
970 /* Do a QSFP read operation on i2c chain for HFI 0. */
971 static ssize_t qsfp1_debugfs_read(struct file *file, char __user *buf,
972                                   size_t count, loff_t *ppos)
973 {
974         return __qsfp_debugfs_read(file, buf, count, ppos, 0);
975 }
976
977 /* Do a QSFP read operation on i2c chain for HFI 1. */
978 static ssize_t qsfp2_debugfs_read(struct file *file, char __user *buf,
979                                   size_t count, loff_t *ppos)
980 {
981         return __qsfp_debugfs_read(file, buf, count, ppos, 1);
982 }
983
984 static int __i2c_debugfs_open(struct inode *in, struct file *fp, u32 target)
985 {
986         struct hfi1_pportdata *ppd;
987         int ret;
988
989         if (!try_module_get(THIS_MODULE))
990                 return -ENODEV;
991
992         ppd = private2ppd(fp);
993
994         ret = acquire_chip_resource(ppd->dd, i2c_target(target), 0);
995         if (ret) /* failed - release the module */
996                 module_put(THIS_MODULE);
997
998         return ret;
999 }
1000
1001 static int i2c1_debugfs_open(struct inode *in, struct file *fp)
1002 {
1003         return __i2c_debugfs_open(in, fp, 0);
1004 }
1005
1006 static int i2c2_debugfs_open(struct inode *in, struct file *fp)
1007 {
1008         return __i2c_debugfs_open(in, fp, 1);
1009 }
1010
1011 static int __i2c_debugfs_release(struct inode *in, struct file *fp, u32 target)
1012 {
1013         struct hfi1_pportdata *ppd;
1014
1015         ppd = private2ppd(fp);
1016
1017         release_chip_resource(ppd->dd, i2c_target(target));
1018         module_put(THIS_MODULE);
1019
1020         return 0;
1021 }
1022
1023 static int i2c1_debugfs_release(struct inode *in, struct file *fp)
1024 {
1025         return __i2c_debugfs_release(in, fp, 0);
1026 }
1027
1028 static int i2c2_debugfs_release(struct inode *in, struct file *fp)
1029 {
1030         return __i2c_debugfs_release(in, fp, 1);
1031 }
1032
1033 static int __qsfp_debugfs_open(struct inode *in, struct file *fp, u32 target)
1034 {
1035         struct hfi1_pportdata *ppd;
1036         int ret;
1037
1038         if (!try_module_get(THIS_MODULE))
1039                 return -ENODEV;
1040
1041         ppd = private2ppd(fp);
1042
1043         ret = acquire_chip_resource(ppd->dd, i2c_target(target), 0);
1044         if (ret) /* failed - release the module */
1045                 module_put(THIS_MODULE);
1046
1047         return ret;
1048 }
1049
1050 static int qsfp1_debugfs_open(struct inode *in, struct file *fp)
1051 {
1052         return __qsfp_debugfs_open(in, fp, 0);
1053 }
1054
1055 static int qsfp2_debugfs_open(struct inode *in, struct file *fp)
1056 {
1057         return __qsfp_debugfs_open(in, fp, 1);
1058 }
1059
1060 static int __qsfp_debugfs_release(struct inode *in, struct file *fp, u32 target)
1061 {
1062         struct hfi1_pportdata *ppd;
1063
1064         ppd = private2ppd(fp);
1065
1066         release_chip_resource(ppd->dd, i2c_target(target));
1067         module_put(THIS_MODULE);
1068
1069         return 0;
1070 }
1071
1072 static int qsfp1_debugfs_release(struct inode *in, struct file *fp)
1073 {
1074         return __qsfp_debugfs_release(in, fp, 0);
1075 }
1076
1077 static int qsfp2_debugfs_release(struct inode *in, struct file *fp)
1078 {
1079         return __qsfp_debugfs_release(in, fp, 1);
1080 }
1081
1082 #define DEBUGFS_OPS(nm, readroutine, writeroutine)      \
1083 { \
1084         .name = nm, \
1085         .ops = { \
1086                 .read = readroutine, \
1087                 .write = writeroutine, \
1088                 .llseek = generic_file_llseek, \
1089         }, \
1090 }
1091
1092 #define DEBUGFS_XOPS(nm, readf, writef, openf, releasef) \
1093 { \
1094         .name = nm, \
1095         .ops = { \
1096                 .read = readf, \
1097                 .write = writef, \
1098                 .llseek = generic_file_llseek, \
1099                 .open = openf, \
1100                 .release = releasef \
1101         }, \
1102 }
1103
1104 static const struct counter_info cntr_ops[] = {
1105         DEBUGFS_OPS("counter_names", dev_names_read, NULL),
1106         DEBUGFS_OPS("counters", dev_counters_read, NULL),
1107         DEBUGFS_OPS("portcounter_names", portnames_read, NULL),
1108 };
1109
1110 static const struct counter_info port_cntr_ops[] = {
1111         DEBUGFS_OPS("port%dcounters", portcntrs_debugfs_read, NULL),
1112         DEBUGFS_XOPS("i2c1", i2c1_debugfs_read, i2c1_debugfs_write,
1113                      i2c1_debugfs_open, i2c1_debugfs_release),
1114         DEBUGFS_XOPS("i2c2", i2c2_debugfs_read, i2c2_debugfs_write,
1115                      i2c2_debugfs_open, i2c2_debugfs_release),
1116         DEBUGFS_OPS("qsfp_dump%d", qsfp_debugfs_dump, NULL),
1117         DEBUGFS_XOPS("qsfp1", qsfp1_debugfs_read, qsfp1_debugfs_write,
1118                      qsfp1_debugfs_open, qsfp1_debugfs_release),
1119         DEBUGFS_XOPS("qsfp2", qsfp2_debugfs_read, qsfp2_debugfs_write,
1120                      qsfp2_debugfs_open, qsfp2_debugfs_release),
1121         DEBUGFS_OPS("asic_flags", asic_flags_read, asic_flags_write),
1122         DEBUGFS_OPS("dc8051_memory", dc8051_memory_read, NULL),
1123         DEBUGFS_OPS("lcb", debugfs_lcb_read, debugfs_lcb_write),
1124 };
1125
1126 static void *_sdma_cpu_list_seq_start(struct seq_file *s, loff_t *pos)
1127 {
1128         if (*pos >= num_online_cpus())
1129                 return NULL;
1130
1131         return pos;
1132 }
1133
1134 static void *_sdma_cpu_list_seq_next(struct seq_file *s, void *v, loff_t *pos)
1135 {
1136         ++*pos;
1137         if (*pos >= num_online_cpus())
1138                 return NULL;
1139
1140         return pos;
1141 }
1142
1143 static void _sdma_cpu_list_seq_stop(struct seq_file *s, void *v)
1144 {
1145         /* nothing allocated */
1146 }
1147
1148 static int _sdma_cpu_list_seq_show(struct seq_file *s, void *v)
1149 {
1150         struct hfi1_ibdev *ibd = (struct hfi1_ibdev *)s->private;
1151         struct hfi1_devdata *dd = dd_from_dev(ibd);
1152         loff_t *spos = v;
1153         loff_t i = *spos;
1154
1155         sdma_seqfile_dump_cpu_list(s, dd, (unsigned long)i);
1156         return 0;
1157 }
1158
1159 DEBUGFS_SEQ_FILE_OPS(sdma_cpu_list);
1160 DEBUGFS_SEQ_FILE_OPEN(sdma_cpu_list)
1161 DEBUGFS_FILE_OPS(sdma_cpu_list);
1162
1163 #ifdef CONFIG_FAULT_INJECTION
1164 static void *_fault_stats_seq_start(struct seq_file *s, loff_t *pos)
1165 {
1166         struct hfi1_opcode_stats_perctx *opstats;
1167
1168         if (*pos >= ARRAY_SIZE(opstats->stats))
1169                 return NULL;
1170         return pos;
1171 }
1172
1173 static void *_fault_stats_seq_next(struct seq_file *s, void *v, loff_t *pos)
1174 {
1175         struct hfi1_opcode_stats_perctx *opstats;
1176
1177         ++*pos;
1178         if (*pos >= ARRAY_SIZE(opstats->stats))
1179                 return NULL;
1180         return pos;
1181 }
1182
1183 static void _fault_stats_seq_stop(struct seq_file *s, void *v)
1184 {
1185 }
1186
1187 static int _fault_stats_seq_show(struct seq_file *s, void *v)
1188 {
1189         loff_t *spos = v;
1190         loff_t i = *spos, j;
1191         u64 n_packets = 0, n_bytes = 0;
1192         struct hfi1_ibdev *ibd = (struct hfi1_ibdev *)s->private;
1193         struct hfi1_devdata *dd = dd_from_dev(ibd);
1194         struct hfi1_ctxtdata *rcd;
1195
1196         for (j = 0; j < dd->first_dyn_alloc_ctxt; j++) {
1197                 rcd = hfi1_rcd_get_by_index(dd, j);
1198                 if (rcd) {
1199                         n_packets += rcd->opstats->stats[i].n_packets;
1200                         n_bytes += rcd->opstats->stats[i].n_bytes;
1201                 }
1202                 hfi1_rcd_put(rcd);
1203         }
1204         if (!n_packets && !n_bytes)
1205                 return SEQ_SKIP;
1206         if (!ibd->fault_opcode->n_rxfaults[i] &&
1207             !ibd->fault_opcode->n_txfaults[i])
1208                 return SEQ_SKIP;
1209         seq_printf(s, "%02llx %llu/%llu (faults rx:%llu faults: tx:%llu)\n", i,
1210                    (unsigned long long)n_packets,
1211                    (unsigned long long)n_bytes,
1212                    (unsigned long long)ibd->fault_opcode->n_rxfaults[i],
1213                    (unsigned long long)ibd->fault_opcode->n_txfaults[i]);
1214         return 0;
1215 }
1216
1217 DEBUGFS_SEQ_FILE_OPS(fault_stats);
1218 DEBUGFS_SEQ_FILE_OPEN(fault_stats);
1219 DEBUGFS_FILE_OPS(fault_stats);
1220
1221 static void fault_exit_opcode_debugfs(struct hfi1_ibdev *ibd)
1222 {
1223         debugfs_remove_recursive(ibd->fault_opcode->dir);
1224         kfree(ibd->fault_opcode);
1225         ibd->fault_opcode = NULL;
1226 }
1227
1228 static int fault_init_opcode_debugfs(struct hfi1_ibdev *ibd)
1229 {
1230         struct dentry *parent = ibd->hfi1_ibdev_dbg;
1231
1232         ibd->fault_opcode = kzalloc(sizeof(*ibd->fault_opcode), GFP_KERNEL);
1233         if (!ibd->fault_opcode)
1234                 return -ENOMEM;
1235
1236         ibd->fault_opcode->attr.interval = 1;
1237         ibd->fault_opcode->attr.require_end = ULONG_MAX;
1238         ibd->fault_opcode->attr.stacktrace_depth = 32;
1239         ibd->fault_opcode->attr.dname = NULL;
1240         ibd->fault_opcode->attr.verbose = 0;
1241         ibd->fault_opcode->fault_by_opcode = false;
1242         ibd->fault_opcode->opcode = 0;
1243         ibd->fault_opcode->mask = 0xff;
1244
1245         ibd->fault_opcode->dir =
1246                 fault_create_debugfs_attr("fault_opcode",
1247                                           parent,
1248                                           &ibd->fault_opcode->attr);
1249         if (IS_ERR(ibd->fault_opcode->dir)) {
1250                 kfree(ibd->fault_opcode);
1251                 return -ENOENT;
1252         }
1253
1254         DEBUGFS_SEQ_FILE_CREATE(fault_stats, ibd->fault_opcode->dir, ibd);
1255         if (!debugfs_create_bool("fault_by_opcode", 0600,
1256                                  ibd->fault_opcode->dir,
1257                                  &ibd->fault_opcode->fault_by_opcode))
1258                 goto fail;
1259         if (!debugfs_create_x8("opcode", 0600, ibd->fault_opcode->dir,
1260                                &ibd->fault_opcode->opcode))
1261                 goto fail;
1262         if (!debugfs_create_x8("mask", 0600, ibd->fault_opcode->dir,
1263                                &ibd->fault_opcode->mask))
1264                 goto fail;
1265
1266         return 0;
1267 fail:
1268         fault_exit_opcode_debugfs(ibd);
1269         return -ENOMEM;
1270 }
1271
1272 static void fault_exit_packet_debugfs(struct hfi1_ibdev *ibd)
1273 {
1274         debugfs_remove_recursive(ibd->fault_packet->dir);
1275         kfree(ibd->fault_packet);
1276         ibd->fault_packet = NULL;
1277 }
1278
1279 static int fault_init_packet_debugfs(struct hfi1_ibdev *ibd)
1280 {
1281         struct dentry *parent = ibd->hfi1_ibdev_dbg;
1282
1283         ibd->fault_packet = kzalloc(sizeof(*ibd->fault_packet), GFP_KERNEL);
1284         if (!ibd->fault_packet)
1285                 return -ENOMEM;
1286
1287         ibd->fault_packet->attr.interval = 1;
1288         ibd->fault_packet->attr.require_end = ULONG_MAX;
1289         ibd->fault_packet->attr.stacktrace_depth = 32;
1290         ibd->fault_packet->attr.dname = NULL;
1291         ibd->fault_packet->attr.verbose = 0;
1292         ibd->fault_packet->fault_by_packet = false;
1293
1294         ibd->fault_packet->dir =
1295                 fault_create_debugfs_attr("fault_packet",
1296                                           parent,
1297                                           &ibd->fault_opcode->attr);
1298         if (IS_ERR(ibd->fault_packet->dir)) {
1299                 kfree(ibd->fault_packet);
1300                 return -ENOENT;
1301         }
1302
1303         if (!debugfs_create_bool("fault_by_packet", 0600,
1304                                  ibd->fault_packet->dir,
1305                                  &ibd->fault_packet->fault_by_packet))
1306                 goto fail;
1307         if (!debugfs_create_u64("fault_stats", 0400,
1308                                 ibd->fault_packet->dir,
1309                                 &ibd->fault_packet->n_faults))
1310                 goto fail;
1311
1312         return 0;
1313 fail:
1314         fault_exit_packet_debugfs(ibd);
1315         return -ENOMEM;
1316 }
1317
1318 static void fault_exit_debugfs(struct hfi1_ibdev *ibd)
1319 {
1320         fault_exit_opcode_debugfs(ibd);
1321         fault_exit_packet_debugfs(ibd);
1322 }
1323
1324 static int fault_init_debugfs(struct hfi1_ibdev *ibd)
1325 {
1326         int ret = 0;
1327
1328         ret = fault_init_opcode_debugfs(ibd);
1329         if (ret)
1330                 return ret;
1331
1332         ret = fault_init_packet_debugfs(ibd);
1333         if (ret)
1334                 fault_exit_opcode_debugfs(ibd);
1335
1336         return ret;
1337 }
1338
1339 bool hfi1_dbg_fault_suppress_err(struct hfi1_ibdev *ibd)
1340 {
1341         return ibd->fault_suppress_err;
1342 }
1343
1344 bool hfi1_dbg_fault_opcode(struct rvt_qp *qp, u32 opcode, bool rx)
1345 {
1346         bool ret = false;
1347         struct hfi1_ibdev *ibd = to_idev(qp->ibqp.device);
1348
1349         if (!ibd->fault_opcode || !ibd->fault_opcode->fault_by_opcode)
1350                 return false;
1351         if (ibd->fault_opcode->opcode != (opcode & ibd->fault_opcode->mask))
1352                 return false;
1353         ret = should_fail(&ibd->fault_opcode->attr, 1);
1354         if (ret) {
1355                 trace_hfi1_fault_opcode(qp, opcode);
1356                 if (rx)
1357                         ibd->fault_opcode->n_rxfaults[opcode]++;
1358                 else
1359                         ibd->fault_opcode->n_txfaults[opcode]++;
1360         }
1361         return ret;
1362 }
1363
1364 bool hfi1_dbg_fault_packet(struct hfi1_packet *packet)
1365 {
1366         struct rvt_dev_info *rdi = &packet->rcd->ppd->dd->verbs_dev.rdi;
1367         struct hfi1_ibdev *ibd = dev_from_rdi(rdi);
1368         bool ret = false;
1369
1370         if (!ibd->fault_packet || !ibd->fault_packet->fault_by_packet)
1371                 return false;
1372
1373         ret = should_fail(&ibd->fault_packet->attr, 1);
1374         if (ret) {
1375                 ++ibd->fault_packet->n_faults;
1376                 trace_hfi1_fault_packet(packet);
1377         }
1378         return ret;
1379 }
1380 #endif
1381
1382 void hfi1_dbg_ibdev_init(struct hfi1_ibdev *ibd)
1383 {
1384         char name[sizeof("port0counters") + 1];
1385         char link[10];
1386         struct hfi1_devdata *dd = dd_from_dev(ibd);
1387         struct hfi1_pportdata *ppd;
1388         int unit = dd->unit;
1389         int i, j;
1390
1391         if (!hfi1_dbg_root)
1392                 return;
1393         snprintf(name, sizeof(name), "%s_%d", class_name(), unit);
1394         snprintf(link, sizeof(link), "%d", unit);
1395         ibd->hfi1_ibdev_dbg = debugfs_create_dir(name, hfi1_dbg_root);
1396         if (!ibd->hfi1_ibdev_dbg) {
1397                 pr_warn("create of %s failed\n", name);
1398                 return;
1399         }
1400         ibd->hfi1_ibdev_link =
1401                 debugfs_create_symlink(link, hfi1_dbg_root, name);
1402         if (!ibd->hfi1_ibdev_link) {
1403                 pr_warn("create of %s symlink failed\n", name);
1404                 return;
1405         }
1406         DEBUGFS_SEQ_FILE_CREATE(opcode_stats, ibd->hfi1_ibdev_dbg, ibd);
1407         DEBUGFS_SEQ_FILE_CREATE(tx_opcode_stats, ibd->hfi1_ibdev_dbg, ibd);
1408         DEBUGFS_SEQ_FILE_CREATE(ctx_stats, ibd->hfi1_ibdev_dbg, ibd);
1409         DEBUGFS_SEQ_FILE_CREATE(qp_stats, ibd->hfi1_ibdev_dbg, ibd);
1410         DEBUGFS_SEQ_FILE_CREATE(sdes, ibd->hfi1_ibdev_dbg, ibd);
1411         DEBUGFS_SEQ_FILE_CREATE(rcds, ibd->hfi1_ibdev_dbg, ibd);
1412         DEBUGFS_SEQ_FILE_CREATE(sdma_cpu_list, ibd->hfi1_ibdev_dbg, ibd);
1413         /* dev counter files */
1414         for (i = 0; i < ARRAY_SIZE(cntr_ops); i++)
1415                 DEBUGFS_FILE_CREATE(cntr_ops[i].name,
1416                                     ibd->hfi1_ibdev_dbg,
1417                                     dd,
1418                                     &cntr_ops[i].ops, S_IRUGO);
1419         /* per port files */
1420         for (ppd = dd->pport, j = 0; j < dd->num_pports; j++, ppd++)
1421                 for (i = 0; i < ARRAY_SIZE(port_cntr_ops); i++) {
1422                         snprintf(name,
1423                                  sizeof(name),
1424                                  port_cntr_ops[i].name,
1425                                  j + 1);
1426                         DEBUGFS_FILE_CREATE(name,
1427                                             ibd->hfi1_ibdev_dbg,
1428                                             ppd,
1429                                             &port_cntr_ops[i].ops,
1430                                             !port_cntr_ops[i].ops.write ?
1431                                             S_IRUGO : S_IRUGO | S_IWUSR);
1432                 }
1433
1434 #ifdef CONFIG_FAULT_INJECTION
1435         debugfs_create_bool("fault_suppress_err", 0600,
1436                             ibd->hfi1_ibdev_dbg,
1437                             &ibd->fault_suppress_err);
1438         fault_init_debugfs(ibd);
1439 #endif
1440 }
1441
1442 void hfi1_dbg_ibdev_exit(struct hfi1_ibdev *ibd)
1443 {
1444         if (!hfi1_dbg_root)
1445                 goto out;
1446 #ifdef CONFIG_FAULT_INJECTION
1447         fault_exit_debugfs(ibd);
1448 #endif
1449         debugfs_remove(ibd->hfi1_ibdev_link);
1450         debugfs_remove_recursive(ibd->hfi1_ibdev_dbg);
1451 out:
1452         ibd->hfi1_ibdev_dbg = NULL;
1453 }
1454
1455 /*
1456  * driver stats field names, one line per stat, single string.  Used by
1457  * programs like hfistats to print the stats in a way which works for
1458  * different versions of drivers, without changing program source.
1459  * if hfi1_ib_stats changes, this needs to change.  Names need to be
1460  * 12 chars or less (w/o newline), for proper display by hfistats utility.
1461  */
1462 static const char * const hfi1_statnames[] = {
1463         /* must be element 0*/
1464         "KernIntr",
1465         "ErrorIntr",
1466         "Tx_Errs",
1467         "Rcv_Errs",
1468         "H/W_Errs",
1469         "NoPIOBufs",
1470         "CtxtsOpen",
1471         "RcvLen_Errs",
1472         "EgrBufFull",
1473         "EgrHdrFull"
1474 };
1475
1476 static void *_driver_stats_names_seq_start(struct seq_file *s, loff_t *pos)
1477 {
1478         if (*pos >= ARRAY_SIZE(hfi1_statnames))
1479                 return NULL;
1480         return pos;
1481 }
1482
1483 static void *_driver_stats_names_seq_next(
1484         struct seq_file *s,
1485         void *v,
1486         loff_t *pos)
1487 {
1488         ++*pos;
1489         if (*pos >= ARRAY_SIZE(hfi1_statnames))
1490                 return NULL;
1491         return pos;
1492 }
1493
1494 static void _driver_stats_names_seq_stop(struct seq_file *s, void *v)
1495 {
1496 }
1497
1498 static int _driver_stats_names_seq_show(struct seq_file *s, void *v)
1499 {
1500         loff_t *spos = v;
1501
1502         seq_printf(s, "%s\n", hfi1_statnames[*spos]);
1503         return 0;
1504 }
1505
1506 DEBUGFS_SEQ_FILE_OPS(driver_stats_names);
1507 DEBUGFS_SEQ_FILE_OPEN(driver_stats_names)
1508 DEBUGFS_FILE_OPS(driver_stats_names);
1509
1510 static void *_driver_stats_seq_start(struct seq_file *s, loff_t *pos)
1511 {
1512         if (*pos >= ARRAY_SIZE(hfi1_statnames))
1513                 return NULL;
1514         return pos;
1515 }
1516
1517 static void *_driver_stats_seq_next(struct seq_file *s, void *v, loff_t *pos)
1518 {
1519         ++*pos;
1520         if (*pos >= ARRAY_SIZE(hfi1_statnames))
1521                 return NULL;
1522         return pos;
1523 }
1524
1525 static void _driver_stats_seq_stop(struct seq_file *s, void *v)
1526 {
1527 }
1528
1529 static u64 hfi1_sps_ints(void)
1530 {
1531         unsigned long flags;
1532         struct hfi1_devdata *dd;
1533         u64 sps_ints = 0;
1534
1535         spin_lock_irqsave(&hfi1_devs_lock, flags);
1536         list_for_each_entry(dd, &hfi1_dev_list, list) {
1537                 sps_ints += get_all_cpu_total(dd->int_counter);
1538         }
1539         spin_unlock_irqrestore(&hfi1_devs_lock, flags);
1540         return sps_ints;
1541 }
1542
1543 static int _driver_stats_seq_show(struct seq_file *s, void *v)
1544 {
1545         loff_t *spos = v;
1546         char *buffer;
1547         u64 *stats = (u64 *)&hfi1_stats;
1548         size_t sz = seq_get_buf(s, &buffer);
1549
1550         if (sz < sizeof(u64))
1551                 return SEQ_SKIP;
1552         /* special case for interrupts */
1553         if (*spos == 0)
1554                 *(u64 *)buffer = hfi1_sps_ints();
1555         else
1556                 *(u64 *)buffer = stats[*spos];
1557         seq_commit(s,  sizeof(u64));
1558         return 0;
1559 }
1560
1561 DEBUGFS_SEQ_FILE_OPS(driver_stats);
1562 DEBUGFS_SEQ_FILE_OPEN(driver_stats)
1563 DEBUGFS_FILE_OPS(driver_stats);
1564
1565 void hfi1_dbg_init(void)
1566 {
1567         hfi1_dbg_root  = debugfs_create_dir(DRIVER_NAME, NULL);
1568         if (!hfi1_dbg_root)
1569                 pr_warn("init of debugfs failed\n");
1570         DEBUGFS_SEQ_FILE_CREATE(driver_stats_names, hfi1_dbg_root, NULL);
1571         DEBUGFS_SEQ_FILE_CREATE(driver_stats, hfi1_dbg_root, NULL);
1572 }
1573
1574 void hfi1_dbg_exit(void)
1575 {
1576         debugfs_remove_recursive(hfi1_dbg_root);
1577         hfi1_dbg_root = NULL;
1578 }