PCI/VPD: Move VPD structures to vpd.c
[muen/linux.git] / drivers / pci / pci-sysfs.c
1 // SPDX-License-Identifier: GPL-2.0
2 /*
3  * drivers/pci/pci-sysfs.c
4  *
5  * (C) Copyright 2002-2004 Greg Kroah-Hartman <greg@kroah.com>
6  * (C) Copyright 2002-2004 IBM Corp.
7  * (C) Copyright 2003 Matthew Wilcox
8  * (C) Copyright 2003 Hewlett-Packard
9  * (C) Copyright 2004 Jon Smirl <jonsmirl@yahoo.com>
10  * (C) Copyright 2004 Silicon Graphics, Inc. Jesse Barnes <jbarnes@sgi.com>
11  *
12  * File attributes for PCI devices
13  *
14  * Modeled after usb's driverfs.c
15  *
16  */
17
18
19 #include <linux/kernel.h>
20 #include <linux/sched.h>
21 #include <linux/pci.h>
22 #include <linux/stat.h>
23 #include <linux/export.h>
24 #include <linux/topology.h>
25 #include <linux/mm.h>
26 #include <linux/fs.h>
27 #include <linux/capability.h>
28 #include <linux/security.h>
29 #include <linux/pci-aspm.h>
30 #include <linux/slab.h>
31 #include <linux/vgaarb.h>
32 #include <linux/pm_runtime.h>
33 #include <linux/of.h>
34 #include "pci.h"
35
36 static int sysfs_initialized;   /* = 0 */
37
38 /* show configuration fields */
39 #define pci_config_attr(field, format_string)                           \
40 static ssize_t                                                          \
41 field##_show(struct device *dev, struct device_attribute *attr, char *buf)                              \
42 {                                                                       \
43         struct pci_dev *pdev;                                           \
44                                                                         \
45         pdev = to_pci_dev(dev);                                         \
46         return sprintf(buf, format_string, pdev->field);                \
47 }                                                                       \
48 static DEVICE_ATTR_RO(field)
49
50 pci_config_attr(vendor, "0x%04x\n");
51 pci_config_attr(device, "0x%04x\n");
52 pci_config_attr(subsystem_vendor, "0x%04x\n");
53 pci_config_attr(subsystem_device, "0x%04x\n");
54 pci_config_attr(revision, "0x%02x\n");
55 pci_config_attr(class, "0x%06x\n");
56 pci_config_attr(irq, "%u\n");
57
58 static ssize_t broken_parity_status_show(struct device *dev,
59                                          struct device_attribute *attr,
60                                          char *buf)
61 {
62         struct pci_dev *pdev = to_pci_dev(dev);
63         return sprintf(buf, "%u\n", pdev->broken_parity_status);
64 }
65
66 static ssize_t broken_parity_status_store(struct device *dev,
67                                           struct device_attribute *attr,
68                                           const char *buf, size_t count)
69 {
70         struct pci_dev *pdev = to_pci_dev(dev);
71         unsigned long val;
72
73         if (kstrtoul(buf, 0, &val) < 0)
74                 return -EINVAL;
75
76         pdev->broken_parity_status = !!val;
77
78         return count;
79 }
80 static DEVICE_ATTR_RW(broken_parity_status);
81
82 static ssize_t pci_dev_show_local_cpu(struct device *dev, bool list,
83                                       struct device_attribute *attr, char *buf)
84 {
85         const struct cpumask *mask;
86
87 #ifdef CONFIG_NUMA
88         mask = (dev_to_node(dev) == -1) ? cpu_online_mask :
89                                           cpumask_of_node(dev_to_node(dev));
90 #else
91         mask = cpumask_of_pcibus(to_pci_dev(dev)->bus);
92 #endif
93         return cpumap_print_to_pagebuf(list, buf, mask);
94 }
95
96 static ssize_t local_cpus_show(struct device *dev,
97                                struct device_attribute *attr, char *buf)
98 {
99         return pci_dev_show_local_cpu(dev, false, attr, buf);
100 }
101 static DEVICE_ATTR_RO(local_cpus);
102
103 static ssize_t local_cpulist_show(struct device *dev,
104                                   struct device_attribute *attr, char *buf)
105 {
106         return pci_dev_show_local_cpu(dev, true, attr, buf);
107 }
108 static DEVICE_ATTR_RO(local_cpulist);
109
110 /*
111  * PCI Bus Class Devices
112  */
113 static ssize_t cpuaffinity_show(struct device *dev,
114                                 struct device_attribute *attr, char *buf)
115 {
116         const struct cpumask *cpumask = cpumask_of_pcibus(to_pci_bus(dev));
117
118         return cpumap_print_to_pagebuf(false, buf, cpumask);
119 }
120 static DEVICE_ATTR_RO(cpuaffinity);
121
122 static ssize_t cpulistaffinity_show(struct device *dev,
123                                     struct device_attribute *attr, char *buf)
124 {
125         const struct cpumask *cpumask = cpumask_of_pcibus(to_pci_bus(dev));
126
127         return cpumap_print_to_pagebuf(true, buf, cpumask);
128 }
129 static DEVICE_ATTR_RO(cpulistaffinity);
130
131 /* show resources */
132 static ssize_t resource_show(struct device *dev, struct device_attribute *attr,
133                              char *buf)
134 {
135         struct pci_dev *pci_dev = to_pci_dev(dev);
136         char *str = buf;
137         int i;
138         int max;
139         resource_size_t start, end;
140
141         if (pci_dev->subordinate)
142                 max = DEVICE_COUNT_RESOURCE;
143         else
144                 max = PCI_BRIDGE_RESOURCES;
145
146         for (i = 0; i < max; i++) {
147                 struct resource *res =  &pci_dev->resource[i];
148                 pci_resource_to_user(pci_dev, i, res, &start, &end);
149                 str += sprintf(str, "0x%016llx 0x%016llx 0x%016llx\n",
150                                (unsigned long long)start,
151                                (unsigned long long)end,
152                                (unsigned long long)res->flags);
153         }
154         return (str - buf);
155 }
156 static DEVICE_ATTR_RO(resource);
157
158 static ssize_t max_link_speed_show(struct device *dev,
159                                    struct device_attribute *attr, char *buf)
160 {
161         struct pci_dev *pci_dev = to_pci_dev(dev);
162         u32 linkcap;
163         int err;
164         const char *speed;
165
166         err = pcie_capability_read_dword(pci_dev, PCI_EXP_LNKCAP, &linkcap);
167         if (err)
168                 return -EINVAL;
169
170         switch (linkcap & PCI_EXP_LNKCAP_SLS) {
171         case PCI_EXP_LNKCAP_SLS_8_0GB:
172                 speed = "8 GT/s";
173                 break;
174         case PCI_EXP_LNKCAP_SLS_5_0GB:
175                 speed = "5 GT/s";
176                 break;
177         case PCI_EXP_LNKCAP_SLS_2_5GB:
178                 speed = "2.5 GT/s";
179                 break;
180         default:
181                 speed = "Unknown speed";
182         }
183
184         return sprintf(buf, "%s\n", speed);
185 }
186 static DEVICE_ATTR_RO(max_link_speed);
187
188 static ssize_t max_link_width_show(struct device *dev,
189                                    struct device_attribute *attr, char *buf)
190 {
191         struct pci_dev *pci_dev = to_pci_dev(dev);
192         u32 linkcap;
193         int err;
194
195         err = pcie_capability_read_dword(pci_dev, PCI_EXP_LNKCAP, &linkcap);
196         if (err)
197                 return -EINVAL;
198
199         return sprintf(buf, "%u\n", (linkcap & PCI_EXP_LNKCAP_MLW) >> 4);
200 }
201 static DEVICE_ATTR_RO(max_link_width);
202
203 static ssize_t current_link_speed_show(struct device *dev,
204                                        struct device_attribute *attr, char *buf)
205 {
206         struct pci_dev *pci_dev = to_pci_dev(dev);
207         u16 linkstat;
208         int err;
209         const char *speed;
210
211         err = pcie_capability_read_word(pci_dev, PCI_EXP_LNKSTA, &linkstat);
212         if (err)
213                 return -EINVAL;
214
215         switch (linkstat & PCI_EXP_LNKSTA_CLS) {
216         case PCI_EXP_LNKSTA_CLS_8_0GB:
217                 speed = "8 GT/s";
218                 break;
219         case PCI_EXP_LNKSTA_CLS_5_0GB:
220                 speed = "5 GT/s";
221                 break;
222         case PCI_EXP_LNKSTA_CLS_2_5GB:
223                 speed = "2.5 GT/s";
224                 break;
225         default:
226                 speed = "Unknown speed";
227         }
228
229         return sprintf(buf, "%s\n", speed);
230 }
231 static DEVICE_ATTR_RO(current_link_speed);
232
233 static ssize_t current_link_width_show(struct device *dev,
234                                        struct device_attribute *attr, char *buf)
235 {
236         struct pci_dev *pci_dev = to_pci_dev(dev);
237         u16 linkstat;
238         int err;
239
240         err = pcie_capability_read_word(pci_dev, PCI_EXP_LNKSTA, &linkstat);
241         if (err)
242                 return -EINVAL;
243
244         return sprintf(buf, "%u\n",
245                 (linkstat & PCI_EXP_LNKSTA_NLW) >> PCI_EXP_LNKSTA_NLW_SHIFT);
246 }
247 static DEVICE_ATTR_RO(current_link_width);
248
249 static ssize_t secondary_bus_number_show(struct device *dev,
250                                          struct device_attribute *attr,
251                                          char *buf)
252 {
253         struct pci_dev *pci_dev = to_pci_dev(dev);
254         u8 sec_bus;
255         int err;
256
257         err = pci_read_config_byte(pci_dev, PCI_SECONDARY_BUS, &sec_bus);
258         if (err)
259                 return -EINVAL;
260
261         return sprintf(buf, "%u\n", sec_bus);
262 }
263 static DEVICE_ATTR_RO(secondary_bus_number);
264
265 static ssize_t subordinate_bus_number_show(struct device *dev,
266                                            struct device_attribute *attr,
267                                            char *buf)
268 {
269         struct pci_dev *pci_dev = to_pci_dev(dev);
270         u8 sub_bus;
271         int err;
272
273         err = pci_read_config_byte(pci_dev, PCI_SUBORDINATE_BUS, &sub_bus);
274         if (err)
275                 return -EINVAL;
276
277         return sprintf(buf, "%u\n", sub_bus);
278 }
279 static DEVICE_ATTR_RO(subordinate_bus_number);
280
281 static ssize_t ari_enabled_show(struct device *dev,
282                                 struct device_attribute *attr,
283                                 char *buf)
284 {
285         struct pci_dev *pci_dev = to_pci_dev(dev);
286
287         return sprintf(buf, "%u\n", pci_ari_enabled(pci_dev->bus));
288 }
289 static DEVICE_ATTR_RO(ari_enabled);
290
291 static ssize_t modalias_show(struct device *dev, struct device_attribute *attr,
292                              char *buf)
293 {
294         struct pci_dev *pci_dev = to_pci_dev(dev);
295
296         return sprintf(buf, "pci:v%08Xd%08Xsv%08Xsd%08Xbc%02Xsc%02Xi%02X\n",
297                        pci_dev->vendor, pci_dev->device,
298                        pci_dev->subsystem_vendor, pci_dev->subsystem_device,
299                        (u8)(pci_dev->class >> 16), (u8)(pci_dev->class >> 8),
300                        (u8)(pci_dev->class));
301 }
302 static DEVICE_ATTR_RO(modalias);
303
304 static ssize_t enable_store(struct device *dev, struct device_attribute *attr,
305                              const char *buf, size_t count)
306 {
307         struct pci_dev *pdev = to_pci_dev(dev);
308         unsigned long val;
309         ssize_t result = kstrtoul(buf, 0, &val);
310
311         if (result < 0)
312                 return result;
313
314         /* this can crash the machine when done on the "wrong" device */
315         if (!capable(CAP_SYS_ADMIN))
316                 return -EPERM;
317
318         if (!val) {
319                 if (pci_is_enabled(pdev))
320                         pci_disable_device(pdev);
321                 else
322                         result = -EIO;
323         } else
324                 result = pci_enable_device(pdev);
325
326         return result < 0 ? result : count;
327 }
328
329 static ssize_t enable_show(struct device *dev, struct device_attribute *attr,
330                             char *buf)
331 {
332         struct pci_dev *pdev;
333
334         pdev = to_pci_dev(dev);
335         return sprintf(buf, "%u\n", atomic_read(&pdev->enable_cnt));
336 }
337 static DEVICE_ATTR_RW(enable);
338
339 #ifdef CONFIG_NUMA
340 static ssize_t numa_node_store(struct device *dev,
341                                struct device_attribute *attr, const char *buf,
342                                size_t count)
343 {
344         struct pci_dev *pdev = to_pci_dev(dev);
345         int node, ret;
346
347         if (!capable(CAP_SYS_ADMIN))
348                 return -EPERM;
349
350         ret = kstrtoint(buf, 0, &node);
351         if (ret)
352                 return ret;
353
354         if ((node < 0 && node != NUMA_NO_NODE) || node >= MAX_NUMNODES)
355                 return -EINVAL;
356
357         if (node != NUMA_NO_NODE && !node_online(node))
358                 return -EINVAL;
359
360         add_taint(TAINT_FIRMWARE_WORKAROUND, LOCKDEP_STILL_OK);
361         pci_alert(pdev, FW_BUG "Overriding NUMA node to %d.  Contact your vendor for updates.",
362                   node);
363
364         dev->numa_node = node;
365         return count;
366 }
367
368 static ssize_t numa_node_show(struct device *dev, struct device_attribute *attr,
369                               char *buf)
370 {
371         return sprintf(buf, "%d\n", dev->numa_node);
372 }
373 static DEVICE_ATTR_RW(numa_node);
374 #endif
375
376 static ssize_t dma_mask_bits_show(struct device *dev,
377                                   struct device_attribute *attr, char *buf)
378 {
379         struct pci_dev *pdev = to_pci_dev(dev);
380
381         return sprintf(buf, "%d\n", fls64(pdev->dma_mask));
382 }
383 static DEVICE_ATTR_RO(dma_mask_bits);
384
385 static ssize_t consistent_dma_mask_bits_show(struct device *dev,
386                                              struct device_attribute *attr,
387                                              char *buf)
388 {
389         return sprintf(buf, "%d\n", fls64(dev->coherent_dma_mask));
390 }
391 static DEVICE_ATTR_RO(consistent_dma_mask_bits);
392
393 static ssize_t msi_bus_show(struct device *dev, struct device_attribute *attr,
394                             char *buf)
395 {
396         struct pci_dev *pdev = to_pci_dev(dev);
397         struct pci_bus *subordinate = pdev->subordinate;
398
399         return sprintf(buf, "%u\n", subordinate ?
400                        !(subordinate->bus_flags & PCI_BUS_FLAGS_NO_MSI)
401                            : !pdev->no_msi);
402 }
403
404 static ssize_t msi_bus_store(struct device *dev, struct device_attribute *attr,
405                              const char *buf, size_t count)
406 {
407         struct pci_dev *pdev = to_pci_dev(dev);
408         struct pci_bus *subordinate = pdev->subordinate;
409         unsigned long val;
410
411         if (kstrtoul(buf, 0, &val) < 0)
412                 return -EINVAL;
413
414         if (!capable(CAP_SYS_ADMIN))
415                 return -EPERM;
416
417         /*
418          * "no_msi" and "bus_flags" only affect what happens when a driver
419          * requests MSI or MSI-X.  They don't affect any drivers that have
420          * already requested MSI or MSI-X.
421          */
422         if (!subordinate) {
423                 pdev->no_msi = !val;
424                 pci_info(pdev, "MSI/MSI-X %s for future drivers\n",
425                          val ? "allowed" : "disallowed");
426                 return count;
427         }
428
429         if (val)
430                 subordinate->bus_flags &= ~PCI_BUS_FLAGS_NO_MSI;
431         else
432                 subordinate->bus_flags |= PCI_BUS_FLAGS_NO_MSI;
433
434         dev_info(&subordinate->dev, "MSI/MSI-X %s for future drivers of devices on this bus\n",
435                  val ? "allowed" : "disallowed");
436         return count;
437 }
438 static DEVICE_ATTR_RW(msi_bus);
439
440 static ssize_t bus_rescan_store(struct bus_type *bus, const char *buf,
441                                 size_t count)
442 {
443         unsigned long val;
444         struct pci_bus *b = NULL;
445
446         if (kstrtoul(buf, 0, &val) < 0)
447                 return -EINVAL;
448
449         if (val) {
450                 pci_lock_rescan_remove();
451                 while ((b = pci_find_next_bus(b)) != NULL)
452                         pci_rescan_bus(b);
453                 pci_unlock_rescan_remove();
454         }
455         return count;
456 }
457 static BUS_ATTR(rescan, (S_IWUSR|S_IWGRP), NULL, bus_rescan_store);
458
459 static struct attribute *pci_bus_attrs[] = {
460         &bus_attr_rescan.attr,
461         NULL,
462 };
463
464 static const struct attribute_group pci_bus_group = {
465         .attrs = pci_bus_attrs,
466 };
467
468 const struct attribute_group *pci_bus_groups[] = {
469         &pci_bus_group,
470         NULL,
471 };
472
473 static ssize_t dev_rescan_store(struct device *dev,
474                                 struct device_attribute *attr, const char *buf,
475                                 size_t count)
476 {
477         unsigned long val;
478         struct pci_dev *pdev = to_pci_dev(dev);
479
480         if (kstrtoul(buf, 0, &val) < 0)
481                 return -EINVAL;
482
483         if (val) {
484                 pci_lock_rescan_remove();
485                 pci_rescan_bus(pdev->bus);
486                 pci_unlock_rescan_remove();
487         }
488         return count;
489 }
490 static struct device_attribute dev_rescan_attr = __ATTR(rescan,
491                                                         (S_IWUSR|S_IWGRP),
492                                                         NULL, dev_rescan_store);
493
494 static ssize_t remove_store(struct device *dev, struct device_attribute *attr,
495                             const char *buf, size_t count)
496 {
497         unsigned long val;
498
499         if (kstrtoul(buf, 0, &val) < 0)
500                 return -EINVAL;
501
502         if (val && device_remove_file_self(dev, attr))
503                 pci_stop_and_remove_bus_device_locked(to_pci_dev(dev));
504         return count;
505 }
506 static struct device_attribute dev_remove_attr = __ATTR(remove,
507                                                         (S_IWUSR|S_IWGRP),
508                                                         NULL, remove_store);
509
510 static ssize_t dev_bus_rescan_store(struct device *dev,
511                                     struct device_attribute *attr,
512                                     const char *buf, size_t count)
513 {
514         unsigned long val;
515         struct pci_bus *bus = to_pci_bus(dev);
516
517         if (kstrtoul(buf, 0, &val) < 0)
518                 return -EINVAL;
519
520         if (val) {
521                 pci_lock_rescan_remove();
522                 if (!pci_is_root_bus(bus) && list_empty(&bus->devices))
523                         pci_rescan_bus_bridge_resize(bus->self);
524                 else
525                         pci_rescan_bus(bus);
526                 pci_unlock_rescan_remove();
527         }
528         return count;
529 }
530 static DEVICE_ATTR(rescan, (S_IWUSR|S_IWGRP), NULL, dev_bus_rescan_store);
531
532 #if defined(CONFIG_PM) && defined(CONFIG_ACPI)
533 static ssize_t d3cold_allowed_store(struct device *dev,
534                                     struct device_attribute *attr,
535                                     const char *buf, size_t count)
536 {
537         struct pci_dev *pdev = to_pci_dev(dev);
538         unsigned long val;
539
540         if (kstrtoul(buf, 0, &val) < 0)
541                 return -EINVAL;
542
543         pdev->d3cold_allowed = !!val;
544         if (pdev->d3cold_allowed)
545                 pci_d3cold_enable(pdev);
546         else
547                 pci_d3cold_disable(pdev);
548
549         pm_runtime_resume(dev);
550
551         return count;
552 }
553
554 static ssize_t d3cold_allowed_show(struct device *dev,
555                                    struct device_attribute *attr, char *buf)
556 {
557         struct pci_dev *pdev = to_pci_dev(dev);
558         return sprintf(buf, "%u\n", pdev->d3cold_allowed);
559 }
560 static DEVICE_ATTR_RW(d3cold_allowed);
561 #endif
562
563 #ifdef CONFIG_OF
564 static ssize_t devspec_show(struct device *dev,
565                             struct device_attribute *attr, char *buf)
566 {
567         struct pci_dev *pdev = to_pci_dev(dev);
568         struct device_node *np = pci_device_to_OF_node(pdev);
569
570         if (np == NULL)
571                 return 0;
572         return sprintf(buf, "%pOF", np);
573 }
574 static DEVICE_ATTR_RO(devspec);
575 #endif
576
577 #ifdef CONFIG_PCI_IOV
578 static ssize_t sriov_totalvfs_show(struct device *dev,
579                                    struct device_attribute *attr,
580                                    char *buf)
581 {
582         struct pci_dev *pdev = to_pci_dev(dev);
583
584         return sprintf(buf, "%u\n", pci_sriov_get_totalvfs(pdev));
585 }
586
587
588 static ssize_t sriov_numvfs_show(struct device *dev,
589                                  struct device_attribute *attr,
590                                  char *buf)
591 {
592         struct pci_dev *pdev = to_pci_dev(dev);
593
594         return sprintf(buf, "%u\n", pdev->sriov->num_VFs);
595 }
596
597 /*
598  * num_vfs > 0; number of VFs to enable
599  * num_vfs = 0; disable all VFs
600  *
601  * Note: SRIOV spec doesn't allow partial VF
602  *       disable, so it's all or none.
603  */
604 static ssize_t sriov_numvfs_store(struct device *dev,
605                                   struct device_attribute *attr,
606                                   const char *buf, size_t count)
607 {
608         struct pci_dev *pdev = to_pci_dev(dev);
609         int ret;
610         u16 num_vfs;
611
612         ret = kstrtou16(buf, 0, &num_vfs);
613         if (ret < 0)
614                 return ret;
615
616         if (num_vfs > pci_sriov_get_totalvfs(pdev))
617                 return -ERANGE;
618
619         device_lock(&pdev->dev);
620
621         if (num_vfs == pdev->sriov->num_VFs)
622                 goto exit;
623
624         /* is PF driver loaded w/callback */
625         if (!pdev->driver || !pdev->driver->sriov_configure) {
626                 pci_info(pdev, "Driver doesn't support SRIOV configuration via sysfs\n");
627                 ret = -ENOENT;
628                 goto exit;
629         }
630
631         if (num_vfs == 0) {
632                 /* disable VFs */
633                 ret = pdev->driver->sriov_configure(pdev, 0);
634                 goto exit;
635         }
636
637         /* enable VFs */
638         if (pdev->sriov->num_VFs) {
639                 pci_warn(pdev, "%d VFs already enabled. Disable before enabling %d VFs\n",
640                          pdev->sriov->num_VFs, num_vfs);
641                 ret = -EBUSY;
642                 goto exit;
643         }
644
645         ret = pdev->driver->sriov_configure(pdev, num_vfs);
646         if (ret < 0)
647                 goto exit;
648
649         if (ret != num_vfs)
650                 pci_warn(pdev, "%d VFs requested; only %d enabled\n",
651                          num_vfs, ret);
652
653 exit:
654         device_unlock(&pdev->dev);
655
656         if (ret < 0)
657                 return ret;
658
659         return count;
660 }
661
662 static ssize_t sriov_offset_show(struct device *dev,
663                                  struct device_attribute *attr,
664                                  char *buf)
665 {
666         struct pci_dev *pdev = to_pci_dev(dev);
667
668         return sprintf(buf, "%u\n", pdev->sriov->offset);
669 }
670
671 static ssize_t sriov_stride_show(struct device *dev,
672                                  struct device_attribute *attr,
673                                  char *buf)
674 {
675         struct pci_dev *pdev = to_pci_dev(dev);
676
677         return sprintf(buf, "%u\n", pdev->sriov->stride);
678 }
679
680 static ssize_t sriov_vf_device_show(struct device *dev,
681                                     struct device_attribute *attr,
682                                     char *buf)
683 {
684         struct pci_dev *pdev = to_pci_dev(dev);
685
686         return sprintf(buf, "%x\n", pdev->sriov->vf_device);
687 }
688
689 static ssize_t sriov_drivers_autoprobe_show(struct device *dev,
690                                             struct device_attribute *attr,
691                                             char *buf)
692 {
693         struct pci_dev *pdev = to_pci_dev(dev);
694
695         return sprintf(buf, "%u\n", pdev->sriov->drivers_autoprobe);
696 }
697
698 static ssize_t sriov_drivers_autoprobe_store(struct device *dev,
699                                              struct device_attribute *attr,
700                                              const char *buf, size_t count)
701 {
702         struct pci_dev *pdev = to_pci_dev(dev);
703         bool drivers_autoprobe;
704
705         if (kstrtobool(buf, &drivers_autoprobe) < 0)
706                 return -EINVAL;
707
708         pdev->sriov->drivers_autoprobe = drivers_autoprobe;
709
710         return count;
711 }
712
713 static struct device_attribute sriov_totalvfs_attr = __ATTR_RO(sriov_totalvfs);
714 static struct device_attribute sriov_numvfs_attr =
715                 __ATTR(sriov_numvfs, (S_IRUGO|S_IWUSR|S_IWGRP),
716                        sriov_numvfs_show, sriov_numvfs_store);
717 static struct device_attribute sriov_offset_attr = __ATTR_RO(sriov_offset);
718 static struct device_attribute sriov_stride_attr = __ATTR_RO(sriov_stride);
719 static struct device_attribute sriov_vf_device_attr = __ATTR_RO(sriov_vf_device);
720 static struct device_attribute sriov_drivers_autoprobe_attr =
721                 __ATTR(sriov_drivers_autoprobe, (S_IRUGO|S_IWUSR|S_IWGRP),
722                        sriov_drivers_autoprobe_show, sriov_drivers_autoprobe_store);
723 #endif /* CONFIG_PCI_IOV */
724
725 static ssize_t driver_override_store(struct device *dev,
726                                      struct device_attribute *attr,
727                                      const char *buf, size_t count)
728 {
729         struct pci_dev *pdev = to_pci_dev(dev);
730         char *driver_override, *old, *cp;
731
732         /* We need to keep extra room for a newline */
733         if (count >= (PAGE_SIZE - 1))
734                 return -EINVAL;
735
736         driver_override = kstrndup(buf, count, GFP_KERNEL);
737         if (!driver_override)
738                 return -ENOMEM;
739
740         cp = strchr(driver_override, '\n');
741         if (cp)
742                 *cp = '\0';
743
744         device_lock(dev);
745         old = pdev->driver_override;
746         if (strlen(driver_override)) {
747                 pdev->driver_override = driver_override;
748         } else {
749                 kfree(driver_override);
750                 pdev->driver_override = NULL;
751         }
752         device_unlock(dev);
753
754         kfree(old);
755
756         return count;
757 }
758
759 static ssize_t driver_override_show(struct device *dev,
760                                     struct device_attribute *attr, char *buf)
761 {
762         struct pci_dev *pdev = to_pci_dev(dev);
763         ssize_t len;
764
765         device_lock(dev);
766         len = snprintf(buf, PAGE_SIZE, "%s\n", pdev->driver_override);
767         device_unlock(dev);
768         return len;
769 }
770 static DEVICE_ATTR_RW(driver_override);
771
772 static struct attribute *pci_dev_attrs[] = {
773         &dev_attr_resource.attr,
774         &dev_attr_vendor.attr,
775         &dev_attr_device.attr,
776         &dev_attr_subsystem_vendor.attr,
777         &dev_attr_subsystem_device.attr,
778         &dev_attr_revision.attr,
779         &dev_attr_class.attr,
780         &dev_attr_irq.attr,
781         &dev_attr_local_cpus.attr,
782         &dev_attr_local_cpulist.attr,
783         &dev_attr_modalias.attr,
784 #ifdef CONFIG_NUMA
785         &dev_attr_numa_node.attr,
786 #endif
787         &dev_attr_dma_mask_bits.attr,
788         &dev_attr_consistent_dma_mask_bits.attr,
789         &dev_attr_enable.attr,
790         &dev_attr_broken_parity_status.attr,
791         &dev_attr_msi_bus.attr,
792 #if defined(CONFIG_PM) && defined(CONFIG_ACPI)
793         &dev_attr_d3cold_allowed.attr,
794 #endif
795 #ifdef CONFIG_OF
796         &dev_attr_devspec.attr,
797 #endif
798         &dev_attr_driver_override.attr,
799         &dev_attr_ari_enabled.attr,
800         NULL,
801 };
802
803 static struct attribute *pci_bridge_attrs[] = {
804         &dev_attr_subordinate_bus_number.attr,
805         &dev_attr_secondary_bus_number.attr,
806         NULL,
807 };
808
809 static struct attribute *pcie_dev_attrs[] = {
810         &dev_attr_current_link_speed.attr,
811         &dev_attr_current_link_width.attr,
812         &dev_attr_max_link_width.attr,
813         &dev_attr_max_link_speed.attr,
814         NULL,
815 };
816
817 static struct attribute *pcibus_attrs[] = {
818         &dev_attr_rescan.attr,
819         &dev_attr_cpuaffinity.attr,
820         &dev_attr_cpulistaffinity.attr,
821         NULL,
822 };
823
824 static const struct attribute_group pcibus_group = {
825         .attrs = pcibus_attrs,
826 };
827
828 const struct attribute_group *pcibus_groups[] = {
829         &pcibus_group,
830         NULL,
831 };
832
833 static ssize_t boot_vga_show(struct device *dev, struct device_attribute *attr,
834                              char *buf)
835 {
836         struct pci_dev *pdev = to_pci_dev(dev);
837         struct pci_dev *vga_dev = vga_default_device();
838
839         if (vga_dev)
840                 return sprintf(buf, "%u\n", (pdev == vga_dev));
841
842         return sprintf(buf, "%u\n",
843                 !!(pdev->resource[PCI_ROM_RESOURCE].flags &
844                    IORESOURCE_ROM_SHADOW));
845 }
846 static struct device_attribute vga_attr = __ATTR_RO(boot_vga);
847
848 static ssize_t pci_read_config(struct file *filp, struct kobject *kobj,
849                                struct bin_attribute *bin_attr, char *buf,
850                                loff_t off, size_t count)
851 {
852         struct pci_dev *dev = to_pci_dev(kobj_to_dev(kobj));
853         unsigned int size = 64;
854         loff_t init_off = off;
855         u8 *data = (u8 *) buf;
856
857         /* Several chips lock up trying to read undefined config space */
858         if (file_ns_capable(filp, &init_user_ns, CAP_SYS_ADMIN))
859                 size = dev->cfg_size;
860         else if (dev->hdr_type == PCI_HEADER_TYPE_CARDBUS)
861                 size = 128;
862
863         if (off > size)
864                 return 0;
865         if (off + count > size) {
866                 size -= off;
867                 count = size;
868         } else {
869                 size = count;
870         }
871
872         pci_config_pm_runtime_get(dev);
873
874         if ((off & 1) && size) {
875                 u8 val;
876                 pci_user_read_config_byte(dev, off, &val);
877                 data[off - init_off] = val;
878                 off++;
879                 size--;
880         }
881
882         if ((off & 3) && size > 2) {
883                 u16 val;
884                 pci_user_read_config_word(dev, off, &val);
885                 data[off - init_off] = val & 0xff;
886                 data[off - init_off + 1] = (val >> 8) & 0xff;
887                 off += 2;
888                 size -= 2;
889         }
890
891         while (size > 3) {
892                 u32 val;
893                 pci_user_read_config_dword(dev, off, &val);
894                 data[off - init_off] = val & 0xff;
895                 data[off - init_off + 1] = (val >> 8) & 0xff;
896                 data[off - init_off + 2] = (val >> 16) & 0xff;
897                 data[off - init_off + 3] = (val >> 24) & 0xff;
898                 off += 4;
899                 size -= 4;
900         }
901
902         if (size >= 2) {
903                 u16 val;
904                 pci_user_read_config_word(dev, off, &val);
905                 data[off - init_off] = val & 0xff;
906                 data[off - init_off + 1] = (val >> 8) & 0xff;
907                 off += 2;
908                 size -= 2;
909         }
910
911         if (size > 0) {
912                 u8 val;
913                 pci_user_read_config_byte(dev, off, &val);
914                 data[off - init_off] = val;
915                 off++;
916                 --size;
917         }
918
919         pci_config_pm_runtime_put(dev);
920
921         return count;
922 }
923
924 static ssize_t pci_write_config(struct file *filp, struct kobject *kobj,
925                                 struct bin_attribute *bin_attr, char *buf,
926                                 loff_t off, size_t count)
927 {
928         struct pci_dev *dev = to_pci_dev(kobj_to_dev(kobj));
929         unsigned int size = count;
930         loff_t init_off = off;
931         u8 *data = (u8 *) buf;
932
933         if (off > dev->cfg_size)
934                 return 0;
935         if (off + count > dev->cfg_size) {
936                 size = dev->cfg_size - off;
937                 count = size;
938         }
939
940         pci_config_pm_runtime_get(dev);
941
942         if ((off & 1) && size) {
943                 pci_user_write_config_byte(dev, off, data[off - init_off]);
944                 off++;
945                 size--;
946         }
947
948         if ((off & 3) && size > 2) {
949                 u16 val = data[off - init_off];
950                 val |= (u16) data[off - init_off + 1] << 8;
951                 pci_user_write_config_word(dev, off, val);
952                 off += 2;
953                 size -= 2;
954         }
955
956         while (size > 3) {
957                 u32 val = data[off - init_off];
958                 val |= (u32) data[off - init_off + 1] << 8;
959                 val |= (u32) data[off - init_off + 2] << 16;
960                 val |= (u32) data[off - init_off + 3] << 24;
961                 pci_user_write_config_dword(dev, off, val);
962                 off += 4;
963                 size -= 4;
964         }
965
966         if (size >= 2) {
967                 u16 val = data[off - init_off];
968                 val |= (u16) data[off - init_off + 1] << 8;
969                 pci_user_write_config_word(dev, off, val);
970                 off += 2;
971                 size -= 2;
972         }
973
974         if (size) {
975                 pci_user_write_config_byte(dev, off, data[off - init_off]);
976                 off++;
977                 --size;
978         }
979
980         pci_config_pm_runtime_put(dev);
981
982         return count;
983 }
984
985 #ifdef HAVE_PCI_LEGACY
986 /**
987  * pci_read_legacy_io - read byte(s) from legacy I/O port space
988  * @filp: open sysfs file
989  * @kobj: kobject corresponding to file to read from
990  * @bin_attr: struct bin_attribute for this file
991  * @buf: buffer to store results
992  * @off: offset into legacy I/O port space
993  * @count: number of bytes to read
994  *
995  * Reads 1, 2, or 4 bytes from legacy I/O port space using an arch specific
996  * callback routine (pci_legacy_read).
997  */
998 static ssize_t pci_read_legacy_io(struct file *filp, struct kobject *kobj,
999                                   struct bin_attribute *bin_attr, char *buf,
1000                                   loff_t off, size_t count)
1001 {
1002         struct pci_bus *bus = to_pci_bus(kobj_to_dev(kobj));
1003
1004         /* Only support 1, 2 or 4 byte accesses */
1005         if (count != 1 && count != 2 && count != 4)
1006                 return -EINVAL;
1007
1008         return pci_legacy_read(bus, off, (u32 *)buf, count);
1009 }
1010
1011 /**
1012  * pci_write_legacy_io - write byte(s) to legacy I/O port space
1013  * @filp: open sysfs file
1014  * @kobj: kobject corresponding to file to read from
1015  * @bin_attr: struct bin_attribute for this file
1016  * @buf: buffer containing value to be written
1017  * @off: offset into legacy I/O port space
1018  * @count: number of bytes to write
1019  *
1020  * Writes 1, 2, or 4 bytes from legacy I/O port space using an arch specific
1021  * callback routine (pci_legacy_write).
1022  */
1023 static ssize_t pci_write_legacy_io(struct file *filp, struct kobject *kobj,
1024                                    struct bin_attribute *bin_attr, char *buf,
1025                                    loff_t off, size_t count)
1026 {
1027         struct pci_bus *bus = to_pci_bus(kobj_to_dev(kobj));
1028
1029         /* Only support 1, 2 or 4 byte accesses */
1030         if (count != 1 && count != 2 && count != 4)
1031                 return -EINVAL;
1032
1033         return pci_legacy_write(bus, off, *(u32 *)buf, count);
1034 }
1035
1036 /**
1037  * pci_mmap_legacy_mem - map legacy PCI memory into user memory space
1038  * @filp: open sysfs file
1039  * @kobj: kobject corresponding to device to be mapped
1040  * @attr: struct bin_attribute for this file
1041  * @vma: struct vm_area_struct passed to mmap
1042  *
1043  * Uses an arch specific callback, pci_mmap_legacy_mem_page_range, to mmap
1044  * legacy memory space (first meg of bus space) into application virtual
1045  * memory space.
1046  */
1047 static int pci_mmap_legacy_mem(struct file *filp, struct kobject *kobj,
1048                                struct bin_attribute *attr,
1049                                struct vm_area_struct *vma)
1050 {
1051         struct pci_bus *bus = to_pci_bus(kobj_to_dev(kobj));
1052
1053         return pci_mmap_legacy_page_range(bus, vma, pci_mmap_mem);
1054 }
1055
1056 /**
1057  * pci_mmap_legacy_io - map legacy PCI IO into user memory space
1058  * @filp: open sysfs file
1059  * @kobj: kobject corresponding to device to be mapped
1060  * @attr: struct bin_attribute for this file
1061  * @vma: struct vm_area_struct passed to mmap
1062  *
1063  * Uses an arch specific callback, pci_mmap_legacy_io_page_range, to mmap
1064  * legacy IO space (first meg of bus space) into application virtual
1065  * memory space. Returns -ENOSYS if the operation isn't supported
1066  */
1067 static int pci_mmap_legacy_io(struct file *filp, struct kobject *kobj,
1068                               struct bin_attribute *attr,
1069                               struct vm_area_struct *vma)
1070 {
1071         struct pci_bus *bus = to_pci_bus(kobj_to_dev(kobj));
1072
1073         return pci_mmap_legacy_page_range(bus, vma, pci_mmap_io);
1074 }
1075
1076 /**
1077  * pci_adjust_legacy_attr - adjustment of legacy file attributes
1078  * @b: bus to create files under
1079  * @mmap_type: I/O port or memory
1080  *
1081  * Stub implementation. Can be overridden by arch if necessary.
1082  */
1083 void __weak pci_adjust_legacy_attr(struct pci_bus *b,
1084                                    enum pci_mmap_state mmap_type)
1085 {
1086 }
1087
1088 /**
1089  * pci_create_legacy_files - create legacy I/O port and memory files
1090  * @b: bus to create files under
1091  *
1092  * Some platforms allow access to legacy I/O port and ISA memory space on
1093  * a per-bus basis.  This routine creates the files and ties them into
1094  * their associated read, write and mmap files from pci-sysfs.c
1095  *
1096  * On error unwind, but don't propagate the error to the caller
1097  * as it is ok to set up the PCI bus without these files.
1098  */
1099 void pci_create_legacy_files(struct pci_bus *b)
1100 {
1101         int error;
1102
1103         b->legacy_io = kzalloc(sizeof(struct bin_attribute) * 2,
1104                                GFP_ATOMIC);
1105         if (!b->legacy_io)
1106                 goto kzalloc_err;
1107
1108         sysfs_bin_attr_init(b->legacy_io);
1109         b->legacy_io->attr.name = "legacy_io";
1110         b->legacy_io->size = 0xffff;
1111         b->legacy_io->attr.mode = S_IRUSR | S_IWUSR;
1112         b->legacy_io->read = pci_read_legacy_io;
1113         b->legacy_io->write = pci_write_legacy_io;
1114         b->legacy_io->mmap = pci_mmap_legacy_io;
1115         pci_adjust_legacy_attr(b, pci_mmap_io);
1116         error = device_create_bin_file(&b->dev, b->legacy_io);
1117         if (error)
1118                 goto legacy_io_err;
1119
1120         /* Allocated above after the legacy_io struct */
1121         b->legacy_mem = b->legacy_io + 1;
1122         sysfs_bin_attr_init(b->legacy_mem);
1123         b->legacy_mem->attr.name = "legacy_mem";
1124         b->legacy_mem->size = 1024*1024;
1125         b->legacy_mem->attr.mode = S_IRUSR | S_IWUSR;
1126         b->legacy_mem->mmap = pci_mmap_legacy_mem;
1127         pci_adjust_legacy_attr(b, pci_mmap_mem);
1128         error = device_create_bin_file(&b->dev, b->legacy_mem);
1129         if (error)
1130                 goto legacy_mem_err;
1131
1132         return;
1133
1134 legacy_mem_err:
1135         device_remove_bin_file(&b->dev, b->legacy_io);
1136 legacy_io_err:
1137         kfree(b->legacy_io);
1138         b->legacy_io = NULL;
1139 kzalloc_err:
1140         printk(KERN_WARNING "pci: warning: could not create legacy I/O port and ISA memory resources to sysfs\n");
1141         return;
1142 }
1143
1144 void pci_remove_legacy_files(struct pci_bus *b)
1145 {
1146         if (b->legacy_io) {
1147                 device_remove_bin_file(&b->dev, b->legacy_io);
1148                 device_remove_bin_file(&b->dev, b->legacy_mem);
1149                 kfree(b->legacy_io); /* both are allocated here */
1150         }
1151 }
1152 #endif /* HAVE_PCI_LEGACY */
1153
1154 #if defined(HAVE_PCI_MMAP) || defined(ARCH_GENERIC_PCI_MMAP_RESOURCE)
1155
1156 int pci_mmap_fits(struct pci_dev *pdev, int resno, struct vm_area_struct *vma,
1157                   enum pci_mmap_api mmap_api)
1158 {
1159         unsigned long nr, start, size;
1160         resource_size_t pci_start = 0, pci_end;
1161
1162         if (pci_resource_len(pdev, resno) == 0)
1163                 return 0;
1164         nr = vma_pages(vma);
1165         start = vma->vm_pgoff;
1166         size = ((pci_resource_len(pdev, resno) - 1) >> PAGE_SHIFT) + 1;
1167         if (mmap_api == PCI_MMAP_PROCFS) {
1168                 pci_resource_to_user(pdev, resno, &pdev->resource[resno],
1169                                      &pci_start, &pci_end);
1170                 pci_start >>= PAGE_SHIFT;
1171         }
1172         if (start >= pci_start && start < pci_start + size &&
1173                         start + nr <= pci_start + size)
1174                 return 1;
1175         return 0;
1176 }
1177
1178 /**
1179  * pci_mmap_resource - map a PCI resource into user memory space
1180  * @kobj: kobject for mapping
1181  * @attr: struct bin_attribute for the file being mapped
1182  * @vma: struct vm_area_struct passed into the mmap
1183  * @write_combine: 1 for write_combine mapping
1184  *
1185  * Use the regular PCI mapping routines to map a PCI resource into userspace.
1186  */
1187 static int pci_mmap_resource(struct kobject *kobj, struct bin_attribute *attr,
1188                              struct vm_area_struct *vma, int write_combine)
1189 {
1190         struct pci_dev *pdev = to_pci_dev(kobj_to_dev(kobj));
1191         int bar = (unsigned long)attr->private;
1192         enum pci_mmap_state mmap_type;
1193         struct resource *res = &pdev->resource[bar];
1194
1195         if (res->flags & IORESOURCE_MEM && iomem_is_exclusive(res->start))
1196                 return -EINVAL;
1197
1198         if (!pci_mmap_fits(pdev, bar, vma, PCI_MMAP_SYSFS))
1199                 return -EINVAL;
1200
1201         mmap_type = res->flags & IORESOURCE_MEM ? pci_mmap_mem : pci_mmap_io;
1202
1203         return pci_mmap_resource_range(pdev, bar, vma, mmap_type, write_combine);
1204 }
1205
1206 static int pci_mmap_resource_uc(struct file *filp, struct kobject *kobj,
1207                                 struct bin_attribute *attr,
1208                                 struct vm_area_struct *vma)
1209 {
1210         return pci_mmap_resource(kobj, attr, vma, 0);
1211 }
1212
1213 static int pci_mmap_resource_wc(struct file *filp, struct kobject *kobj,
1214                                 struct bin_attribute *attr,
1215                                 struct vm_area_struct *vma)
1216 {
1217         return pci_mmap_resource(kobj, attr, vma, 1);
1218 }
1219
1220 static ssize_t pci_resource_io(struct file *filp, struct kobject *kobj,
1221                                struct bin_attribute *attr, char *buf,
1222                                loff_t off, size_t count, bool write)
1223 {
1224         struct pci_dev *pdev = to_pci_dev(kobj_to_dev(kobj));
1225         int bar = (unsigned long)attr->private;
1226         unsigned long port = off;
1227
1228         port += pci_resource_start(pdev, bar);
1229
1230         if (port > pci_resource_end(pdev, bar))
1231                 return 0;
1232
1233         if (port + count - 1 > pci_resource_end(pdev, bar))
1234                 return -EINVAL;
1235
1236         switch (count) {
1237         case 1:
1238                 if (write)
1239                         outb(*(u8 *)buf, port);
1240                 else
1241                         *(u8 *)buf = inb(port);
1242                 return 1;
1243         case 2:
1244                 if (write)
1245                         outw(*(u16 *)buf, port);
1246                 else
1247                         *(u16 *)buf = inw(port);
1248                 return 2;
1249         case 4:
1250                 if (write)
1251                         outl(*(u32 *)buf, port);
1252                 else
1253                         *(u32 *)buf = inl(port);
1254                 return 4;
1255         }
1256         return -EINVAL;
1257 }
1258
1259 static ssize_t pci_read_resource_io(struct file *filp, struct kobject *kobj,
1260                                     struct bin_attribute *attr, char *buf,
1261                                     loff_t off, size_t count)
1262 {
1263         return pci_resource_io(filp, kobj, attr, buf, off, count, false);
1264 }
1265
1266 static ssize_t pci_write_resource_io(struct file *filp, struct kobject *kobj,
1267                                      struct bin_attribute *attr, char *buf,
1268                                      loff_t off, size_t count)
1269 {
1270         return pci_resource_io(filp, kobj, attr, buf, off, count, true);
1271 }
1272
1273 /**
1274  * pci_remove_resource_files - cleanup resource files
1275  * @pdev: dev to cleanup
1276  *
1277  * If we created resource files for @pdev, remove them from sysfs and
1278  * free their resources.
1279  */
1280 static void pci_remove_resource_files(struct pci_dev *pdev)
1281 {
1282         int i;
1283
1284         for (i = 0; i < PCI_ROM_RESOURCE; i++) {
1285                 struct bin_attribute *res_attr;
1286
1287                 res_attr = pdev->res_attr[i];
1288                 if (res_attr) {
1289                         sysfs_remove_bin_file(&pdev->dev.kobj, res_attr);
1290                         kfree(res_attr);
1291                 }
1292
1293                 res_attr = pdev->res_attr_wc[i];
1294                 if (res_attr) {
1295                         sysfs_remove_bin_file(&pdev->dev.kobj, res_attr);
1296                         kfree(res_attr);
1297                 }
1298         }
1299 }
1300
1301 static int pci_create_attr(struct pci_dev *pdev, int num, int write_combine)
1302 {
1303         /* allocate attribute structure, piggyback attribute name */
1304         int name_len = write_combine ? 13 : 10;
1305         struct bin_attribute *res_attr;
1306         char *res_attr_name;
1307         int retval;
1308
1309         res_attr = kzalloc(sizeof(*res_attr) + name_len, GFP_ATOMIC);
1310         if (!res_attr)
1311                 return -ENOMEM;
1312
1313         res_attr_name = (char *)(res_attr + 1);
1314
1315         sysfs_bin_attr_init(res_attr);
1316         if (write_combine) {
1317                 pdev->res_attr_wc[num] = res_attr;
1318                 sprintf(res_attr_name, "resource%d_wc", num);
1319                 res_attr->mmap = pci_mmap_resource_wc;
1320         } else {
1321                 pdev->res_attr[num] = res_attr;
1322                 sprintf(res_attr_name, "resource%d", num);
1323                 if (pci_resource_flags(pdev, num) & IORESOURCE_IO) {
1324                         res_attr->read = pci_read_resource_io;
1325                         res_attr->write = pci_write_resource_io;
1326                         if (arch_can_pci_mmap_io())
1327                                 res_attr->mmap = pci_mmap_resource_uc;
1328                 } else {
1329                         res_attr->mmap = pci_mmap_resource_uc;
1330                 }
1331         }
1332         res_attr->attr.name = res_attr_name;
1333         res_attr->attr.mode = S_IRUSR | S_IWUSR;
1334         res_attr->size = pci_resource_len(pdev, num);
1335         res_attr->private = (void *)(unsigned long)num;
1336         retval = sysfs_create_bin_file(&pdev->dev.kobj, res_attr);
1337         if (retval)
1338                 kfree(res_attr);
1339
1340         return retval;
1341 }
1342
1343 /**
1344  * pci_create_resource_files - create resource files in sysfs for @dev
1345  * @pdev: dev in question
1346  *
1347  * Walk the resources in @pdev creating files for each resource available.
1348  */
1349 static int pci_create_resource_files(struct pci_dev *pdev)
1350 {
1351         int i;
1352         int retval;
1353
1354         /* Expose the PCI resources from this device as files */
1355         for (i = 0; i < PCI_ROM_RESOURCE; i++) {
1356
1357                 /* skip empty resources */
1358                 if (!pci_resource_len(pdev, i))
1359                         continue;
1360
1361                 retval = pci_create_attr(pdev, i, 0);
1362                 /* for prefetchable resources, create a WC mappable file */
1363                 if (!retval && arch_can_pci_mmap_wc() &&
1364                     pdev->resource[i].flags & IORESOURCE_PREFETCH)
1365                         retval = pci_create_attr(pdev, i, 1);
1366                 if (retval) {
1367                         pci_remove_resource_files(pdev);
1368                         return retval;
1369                 }
1370         }
1371         return 0;
1372 }
1373 #else /* !HAVE_PCI_MMAP */
1374 int __weak pci_create_resource_files(struct pci_dev *dev) { return 0; }
1375 void __weak pci_remove_resource_files(struct pci_dev *dev) { return; }
1376 #endif /* HAVE_PCI_MMAP */
1377
1378 /**
1379  * pci_write_rom - used to enable access to the PCI ROM display
1380  * @filp: sysfs file
1381  * @kobj: kernel object handle
1382  * @bin_attr: struct bin_attribute for this file
1383  * @buf: user input
1384  * @off: file offset
1385  * @count: number of byte in input
1386  *
1387  * writing anything except 0 enables it
1388  */
1389 static ssize_t pci_write_rom(struct file *filp, struct kobject *kobj,
1390                              struct bin_attribute *bin_attr, char *buf,
1391                              loff_t off, size_t count)
1392 {
1393         struct pci_dev *pdev = to_pci_dev(kobj_to_dev(kobj));
1394
1395         if ((off ==  0) && (*buf == '0') && (count == 2))
1396                 pdev->rom_attr_enabled = 0;
1397         else
1398                 pdev->rom_attr_enabled = 1;
1399
1400         return count;
1401 }
1402
1403 /**
1404  * pci_read_rom - read a PCI ROM
1405  * @filp: sysfs file
1406  * @kobj: kernel object handle
1407  * @bin_attr: struct bin_attribute for this file
1408  * @buf: where to put the data we read from the ROM
1409  * @off: file offset
1410  * @count: number of bytes to read
1411  *
1412  * Put @count bytes starting at @off into @buf from the ROM in the PCI
1413  * device corresponding to @kobj.
1414  */
1415 static ssize_t pci_read_rom(struct file *filp, struct kobject *kobj,
1416                             struct bin_attribute *bin_attr, char *buf,
1417                             loff_t off, size_t count)
1418 {
1419         struct pci_dev *pdev = to_pci_dev(kobj_to_dev(kobj));
1420         void __iomem *rom;
1421         size_t size;
1422
1423         if (!pdev->rom_attr_enabled)
1424                 return -EINVAL;
1425
1426         rom = pci_map_rom(pdev, &size); /* size starts out as PCI window size */
1427         if (!rom || !size)
1428                 return -EIO;
1429
1430         if (off >= size)
1431                 count = 0;
1432         else {
1433                 if (off + count > size)
1434                         count = size - off;
1435
1436                 memcpy_fromio(buf, rom + off, count);
1437         }
1438         pci_unmap_rom(pdev, rom);
1439
1440         return count;
1441 }
1442
1443 static const struct bin_attribute pci_config_attr = {
1444         .attr = {
1445                 .name = "config",
1446                 .mode = S_IRUGO | S_IWUSR,
1447         },
1448         .size = PCI_CFG_SPACE_SIZE,
1449         .read = pci_read_config,
1450         .write = pci_write_config,
1451 };
1452
1453 static const struct bin_attribute pcie_config_attr = {
1454         .attr = {
1455                 .name = "config",
1456                 .mode = S_IRUGO | S_IWUSR,
1457         },
1458         .size = PCI_CFG_SPACE_EXP_SIZE,
1459         .read = pci_read_config,
1460         .write = pci_write_config,
1461 };
1462
1463 static ssize_t reset_store(struct device *dev, struct device_attribute *attr,
1464                            const char *buf, size_t count)
1465 {
1466         struct pci_dev *pdev = to_pci_dev(dev);
1467         unsigned long val;
1468         ssize_t result = kstrtoul(buf, 0, &val);
1469
1470         if (result < 0)
1471                 return result;
1472
1473         if (val != 1)
1474                 return -EINVAL;
1475
1476         result = pci_reset_function(pdev);
1477         if (result < 0)
1478                 return result;
1479
1480         return count;
1481 }
1482
1483 static struct device_attribute reset_attr = __ATTR(reset, 0200, NULL, reset_store);
1484
1485 static int pci_create_capabilities_sysfs(struct pci_dev *dev)
1486 {
1487         int retval;
1488
1489         pcie_vpd_create_sysfs_dev_files(dev);
1490         pcie_aspm_create_sysfs_dev_files(dev);
1491
1492         if (!pci_probe_reset_function(dev)) {
1493                 retval = device_create_file(&dev->dev, &reset_attr);
1494                 if (retval)
1495                         goto error;
1496                 dev->reset_fn = 1;
1497         }
1498         return 0;
1499
1500 error:
1501         pcie_aspm_remove_sysfs_dev_files(dev);
1502         pcie_vpd_remove_sysfs_dev_files(dev);
1503         return retval;
1504 }
1505
1506 int __must_check pci_create_sysfs_dev_files(struct pci_dev *pdev)
1507 {
1508         int retval;
1509         int rom_size;
1510         struct bin_attribute *attr;
1511
1512         if (!sysfs_initialized)
1513                 return -EACCES;
1514
1515         if (pdev->cfg_size > PCI_CFG_SPACE_SIZE)
1516                 retval = sysfs_create_bin_file(&pdev->dev.kobj, &pcie_config_attr);
1517         else
1518                 retval = sysfs_create_bin_file(&pdev->dev.kobj, &pci_config_attr);
1519         if (retval)
1520                 goto err;
1521
1522         retval = pci_create_resource_files(pdev);
1523         if (retval)
1524                 goto err_config_file;
1525
1526         /* If the device has a ROM, try to expose it in sysfs. */
1527         rom_size = pci_resource_len(pdev, PCI_ROM_RESOURCE);
1528         if (rom_size) {
1529                 attr = kzalloc(sizeof(*attr), GFP_ATOMIC);
1530                 if (!attr) {
1531                         retval = -ENOMEM;
1532                         goto err_resource_files;
1533                 }
1534                 sysfs_bin_attr_init(attr);
1535                 attr->size = rom_size;
1536                 attr->attr.name = "rom";
1537                 attr->attr.mode = S_IRUSR | S_IWUSR;
1538                 attr->read = pci_read_rom;
1539                 attr->write = pci_write_rom;
1540                 retval = sysfs_create_bin_file(&pdev->dev.kobj, attr);
1541                 if (retval) {
1542                         kfree(attr);
1543                         goto err_resource_files;
1544                 }
1545                 pdev->rom_attr = attr;
1546         }
1547
1548         /* add sysfs entries for various capabilities */
1549         retval = pci_create_capabilities_sysfs(pdev);
1550         if (retval)
1551                 goto err_rom_file;
1552
1553         pci_create_firmware_label_files(pdev);
1554
1555         return 0;
1556
1557 err_rom_file:
1558         if (pdev->rom_attr) {
1559                 sysfs_remove_bin_file(&pdev->dev.kobj, pdev->rom_attr);
1560                 kfree(pdev->rom_attr);
1561                 pdev->rom_attr = NULL;
1562         }
1563 err_resource_files:
1564         pci_remove_resource_files(pdev);
1565 err_config_file:
1566         if (pdev->cfg_size > PCI_CFG_SPACE_SIZE)
1567                 sysfs_remove_bin_file(&pdev->dev.kobj, &pcie_config_attr);
1568         else
1569                 sysfs_remove_bin_file(&pdev->dev.kobj, &pci_config_attr);
1570 err:
1571         return retval;
1572 }
1573
1574 static void pci_remove_capabilities_sysfs(struct pci_dev *dev)
1575 {
1576         pcie_vpd_remove_sysfs_dev_files(dev);
1577         pcie_aspm_remove_sysfs_dev_files(dev);
1578         if (dev->reset_fn) {
1579                 device_remove_file(&dev->dev, &reset_attr);
1580                 dev->reset_fn = 0;
1581         }
1582 }
1583
1584 /**
1585  * pci_remove_sysfs_dev_files - cleanup PCI specific sysfs files
1586  * @pdev: device whose entries we should free
1587  *
1588  * Cleanup when @pdev is removed from sysfs.
1589  */
1590 void pci_remove_sysfs_dev_files(struct pci_dev *pdev)
1591 {
1592         if (!sysfs_initialized)
1593                 return;
1594
1595         pci_remove_capabilities_sysfs(pdev);
1596
1597         if (pdev->cfg_size > PCI_CFG_SPACE_SIZE)
1598                 sysfs_remove_bin_file(&pdev->dev.kobj, &pcie_config_attr);
1599         else
1600                 sysfs_remove_bin_file(&pdev->dev.kobj, &pci_config_attr);
1601
1602         pci_remove_resource_files(pdev);
1603
1604         if (pdev->rom_attr) {
1605                 sysfs_remove_bin_file(&pdev->dev.kobj, pdev->rom_attr);
1606                 kfree(pdev->rom_attr);
1607                 pdev->rom_attr = NULL;
1608         }
1609
1610         pci_remove_firmware_label_files(pdev);
1611 }
1612
1613 static int __init pci_sysfs_init(void)
1614 {
1615         struct pci_dev *pdev = NULL;
1616         int retval;
1617
1618         sysfs_initialized = 1;
1619         for_each_pci_dev(pdev) {
1620                 retval = pci_create_sysfs_dev_files(pdev);
1621                 if (retval) {
1622                         pci_dev_put(pdev);
1623                         return retval;
1624                 }
1625         }
1626
1627         return 0;
1628 }
1629 late_initcall(pci_sysfs_init);
1630
1631 static struct attribute *pci_dev_dev_attrs[] = {
1632         &vga_attr.attr,
1633         NULL,
1634 };
1635
1636 static umode_t pci_dev_attrs_are_visible(struct kobject *kobj,
1637                                          struct attribute *a, int n)
1638 {
1639         struct device *dev = kobj_to_dev(kobj);
1640         struct pci_dev *pdev = to_pci_dev(dev);
1641
1642         if (a == &vga_attr.attr)
1643                 if ((pdev->class >> 8) != PCI_CLASS_DISPLAY_VGA)
1644                         return 0;
1645
1646         return a->mode;
1647 }
1648
1649 static struct attribute *pci_dev_hp_attrs[] = {
1650         &dev_remove_attr.attr,
1651         &dev_rescan_attr.attr,
1652         NULL,
1653 };
1654
1655 static umode_t pci_dev_hp_attrs_are_visible(struct kobject *kobj,
1656                                             struct attribute *a, int n)
1657 {
1658         struct device *dev = kobj_to_dev(kobj);
1659         struct pci_dev *pdev = to_pci_dev(dev);
1660
1661         if (pdev->is_virtfn)
1662                 return 0;
1663
1664         return a->mode;
1665 }
1666
1667 static umode_t pci_bridge_attrs_are_visible(struct kobject *kobj,
1668                                             struct attribute *a, int n)
1669 {
1670         struct device *dev = kobj_to_dev(kobj);
1671         struct pci_dev *pdev = to_pci_dev(dev);
1672
1673         if (pci_is_bridge(pdev))
1674                 return a->mode;
1675
1676         return 0;
1677 }
1678
1679 static umode_t pcie_dev_attrs_are_visible(struct kobject *kobj,
1680                                           struct attribute *a, int n)
1681 {
1682         struct device *dev = kobj_to_dev(kobj);
1683         struct pci_dev *pdev = to_pci_dev(dev);
1684
1685         if (pci_is_pcie(pdev))
1686                 return a->mode;
1687
1688         return 0;
1689 }
1690
1691 static const struct attribute_group pci_dev_group = {
1692         .attrs = pci_dev_attrs,
1693 };
1694
1695 const struct attribute_group *pci_dev_groups[] = {
1696         &pci_dev_group,
1697         NULL,
1698 };
1699
1700 static const struct attribute_group pci_bridge_group = {
1701         .attrs = pci_bridge_attrs,
1702 };
1703
1704 const struct attribute_group *pci_bridge_groups[] = {
1705         &pci_bridge_group,
1706         NULL,
1707 };
1708
1709 static const struct attribute_group pcie_dev_group = {
1710         .attrs = pcie_dev_attrs,
1711 };
1712
1713 const struct attribute_group *pcie_dev_groups[] = {
1714         &pcie_dev_group,
1715         NULL,
1716 };
1717
1718 static const struct attribute_group pci_dev_hp_attr_group = {
1719         .attrs = pci_dev_hp_attrs,
1720         .is_visible = pci_dev_hp_attrs_are_visible,
1721 };
1722
1723 #ifdef CONFIG_PCI_IOV
1724 static struct attribute *sriov_dev_attrs[] = {
1725         &sriov_totalvfs_attr.attr,
1726         &sriov_numvfs_attr.attr,
1727         &sriov_offset_attr.attr,
1728         &sriov_stride_attr.attr,
1729         &sriov_vf_device_attr.attr,
1730         &sriov_drivers_autoprobe_attr.attr,
1731         NULL,
1732 };
1733
1734 static umode_t sriov_attrs_are_visible(struct kobject *kobj,
1735                                        struct attribute *a, int n)
1736 {
1737         struct device *dev = kobj_to_dev(kobj);
1738
1739         if (!dev_is_pf(dev))
1740                 return 0;
1741
1742         return a->mode;
1743 }
1744
1745 static const struct attribute_group sriov_dev_attr_group = {
1746         .attrs = sriov_dev_attrs,
1747         .is_visible = sriov_attrs_are_visible,
1748 };
1749 #endif /* CONFIG_PCI_IOV */
1750
1751 static const struct attribute_group pci_dev_attr_group = {
1752         .attrs = pci_dev_dev_attrs,
1753         .is_visible = pci_dev_attrs_are_visible,
1754 };
1755
1756 static const struct attribute_group pci_bridge_attr_group = {
1757         .attrs = pci_bridge_attrs,
1758         .is_visible = pci_bridge_attrs_are_visible,
1759 };
1760
1761 static const struct attribute_group pcie_dev_attr_group = {
1762         .attrs = pcie_dev_attrs,
1763         .is_visible = pcie_dev_attrs_are_visible,
1764 };
1765
1766 static const struct attribute_group *pci_dev_attr_groups[] = {
1767         &pci_dev_attr_group,
1768         &pci_dev_hp_attr_group,
1769 #ifdef CONFIG_PCI_IOV
1770         &sriov_dev_attr_group,
1771 #endif
1772         &pci_bridge_attr_group,
1773         &pcie_dev_attr_group,
1774         NULL,
1775 };
1776
1777 const struct device_type pci_dev_type = {
1778         .groups = pci_dev_attr_groups,
1779 };