ed47688b8e7981b24323153ec763a19505e2451a
[muen/linux.git] / kernel / irq / irqdomain.c
1 #define pr_fmt(fmt)  "irq: " fmt
2
3 #include <linux/debugfs.h>
4 #include <linux/hardirq.h>
5 #include <linux/interrupt.h>
6 #include <linux/irq.h>
7 #include <linux/irqdesc.h>
8 #include <linux/irqdomain.h>
9 #include <linux/module.h>
10 #include <linux/mutex.h>
11 #include <linux/of.h>
12 #include <linux/of_address.h>
13 #include <linux/of_irq.h>
14 #include <linux/topology.h>
15 #include <linux/seq_file.h>
16 #include <linux/slab.h>
17 #include <linux/smp.h>
18 #include <linux/fs.h>
19
20 static LIST_HEAD(irq_domain_list);
21 static DEFINE_MUTEX(irq_domain_mutex);
22
23 static DEFINE_MUTEX(revmap_trees_mutex);
24 static struct irq_domain *irq_default_domain;
25
26 static void irq_domain_check_hierarchy(struct irq_domain *domain);
27
28 struct irqchip_fwid {
29         struct fwnode_handle    fwnode;
30         unsigned int            type;
31         char                    *name;
32         void *data;
33 };
34
35 #ifdef CONFIG_GENERIC_IRQ_DEBUGFS
36 static void debugfs_add_domain_dir(struct irq_domain *d);
37 static void debugfs_remove_domain_dir(struct irq_domain *d);
38 #else
39 static inline void debugfs_add_domain_dir(struct irq_domain *d) { }
40 static inline void debugfs_remove_domain_dir(struct irq_domain *d) { }
41 #endif
42
43 /**
44  * irq_domain_alloc_fwnode - Allocate a fwnode_handle suitable for
45  *                           identifying an irq domain
46  * @type:       Type of irqchip_fwnode. See linux/irqdomain.h
47  * @name:       Optional user provided domain name
48  * @id:         Optional user provided id if name != NULL
49  * @data:       Optional user-provided data
50  *
51  * Allocate a struct irqchip_fwid, and return a poiner to the embedded
52  * fwnode_handle (or NULL on failure).
53  *
54  * Note: The types IRQCHIP_FWNODE_NAMED and IRQCHIP_FWNODE_NAMED_ID are
55  * solely to transport name information to irqdomain creation code. The
56  * node is not stored. For other types the pointer is kept in the irq
57  * domain struct.
58  */
59 struct fwnode_handle *__irq_domain_alloc_fwnode(unsigned int type, int id,
60                                                 const char *name, void *data)
61 {
62         struct irqchip_fwid *fwid;
63         char *n;
64
65         fwid = kzalloc(sizeof(*fwid), GFP_KERNEL);
66
67         switch (type) {
68         case IRQCHIP_FWNODE_NAMED:
69                 n = kasprintf(GFP_KERNEL, "%s", name);
70                 break;
71         case IRQCHIP_FWNODE_NAMED_ID:
72                 n = kasprintf(GFP_KERNEL, "%s-%d", name, id);
73                 break;
74         default:
75                 n = kasprintf(GFP_KERNEL, "irqchip@%p", data);
76                 break;
77         }
78
79         if (!fwid || !n) {
80                 kfree(fwid);
81                 kfree(n);
82                 return NULL;
83         }
84
85         fwid->type = type;
86         fwid->name = n;
87         fwid->data = data;
88         fwid->fwnode.type = FWNODE_IRQCHIP;
89         return &fwid->fwnode;
90 }
91 EXPORT_SYMBOL_GPL(__irq_domain_alloc_fwnode);
92
93 /**
94  * irq_domain_free_fwnode - Free a non-OF-backed fwnode_handle
95  *
96  * Free a fwnode_handle allocated with irq_domain_alloc_fwnode.
97  */
98 void irq_domain_free_fwnode(struct fwnode_handle *fwnode)
99 {
100         struct irqchip_fwid *fwid;
101
102         if (WARN_ON(!is_fwnode_irqchip(fwnode)))
103                 return;
104
105         fwid = container_of(fwnode, struct irqchip_fwid, fwnode);
106         kfree(fwid->name);
107         kfree(fwid);
108 }
109 EXPORT_SYMBOL_GPL(irq_domain_free_fwnode);
110
111 /**
112  * __irq_domain_add() - Allocate a new irq_domain data structure
113  * @fwnode: firmware node for the interrupt controller
114  * @size: Size of linear map; 0 for radix mapping only
115  * @hwirq_max: Maximum number of interrupts supported by controller
116  * @direct_max: Maximum value of direct maps; Use ~0 for no limit; 0 for no
117  *              direct mapping
118  * @ops: domain callbacks
119  * @host_data: Controller private data pointer
120  *
121  * Allocates and initialize and irq_domain structure.
122  * Returns pointer to IRQ domain, or NULL on failure.
123  */
124 struct irq_domain *__irq_domain_add(struct fwnode_handle *fwnode, int size,
125                                     irq_hw_number_t hwirq_max, int direct_max,
126                                     const struct irq_domain_ops *ops,
127                                     void *host_data)
128 {
129         struct device_node *of_node = to_of_node(fwnode);
130         struct irqchip_fwid *fwid;
131         struct irq_domain *domain;
132
133         static atomic_t unknown_domains;
134
135         domain = kzalloc_node(sizeof(*domain) + (sizeof(unsigned int) * size),
136                               GFP_KERNEL, of_node_to_nid(of_node));
137         if (WARN_ON(!domain))
138                 return NULL;
139
140         if (fwnode && is_fwnode_irqchip(fwnode)) {
141                 fwid = container_of(fwnode, struct irqchip_fwid, fwnode);
142
143                 switch (fwid->type) {
144                 case IRQCHIP_FWNODE_NAMED:
145                 case IRQCHIP_FWNODE_NAMED_ID:
146                         domain->name = kstrdup(fwid->name, GFP_KERNEL);
147                         if (!domain->name) {
148                                 kfree(domain);
149                                 return NULL;
150                         }
151                         domain->flags |= IRQ_DOMAIN_NAME_ALLOCATED;
152                         break;
153                 default:
154                         domain->fwnode = fwnode;
155                         domain->name = fwid->name;
156                         break;
157                 }
158         } else if (of_node) {
159                 char *name;
160
161                 /*
162                  * DT paths contain '/', which debugfs is legitimately
163                  * unhappy about. Replace them with ':', which does
164                  * the trick and is not as offensive as '\'...
165                  */
166                 name = kstrdup(of_node_full_name(of_node), GFP_KERNEL);
167                 if (!name) {
168                         kfree(domain);
169                         return NULL;
170                 }
171
172                 strreplace(name, '/', ':');
173
174                 domain->name = name;
175                 domain->fwnode = fwnode;
176                 domain->flags |= IRQ_DOMAIN_NAME_ALLOCATED;
177         }
178
179         if (!domain->name) {
180                 if (fwnode) {
181                         pr_err("Invalid fwnode type (%d) for irqdomain\n",
182                                fwnode->type);
183                 }
184                 domain->name = kasprintf(GFP_KERNEL, "unknown-%d",
185                                          atomic_inc_return(&unknown_domains));
186                 if (!domain->name) {
187                         kfree(domain);
188                         return NULL;
189                 }
190                 domain->flags |= IRQ_DOMAIN_NAME_ALLOCATED;
191         }
192
193         of_node_get(of_node);
194
195         /* Fill structure */
196         INIT_RADIX_TREE(&domain->revmap_tree, GFP_KERNEL);
197         domain->ops = ops;
198         domain->host_data = host_data;
199         domain->hwirq_max = hwirq_max;
200         domain->revmap_size = size;
201         domain->revmap_direct_max_irq = direct_max;
202         irq_domain_check_hierarchy(domain);
203
204         mutex_lock(&irq_domain_mutex);
205         debugfs_add_domain_dir(domain);
206         list_add(&domain->link, &irq_domain_list);
207         mutex_unlock(&irq_domain_mutex);
208
209         pr_debug("Added domain %s\n", domain->name);
210         return domain;
211 }
212 EXPORT_SYMBOL_GPL(__irq_domain_add);
213
214 /**
215  * irq_domain_remove() - Remove an irq domain.
216  * @domain: domain to remove
217  *
218  * This routine is used to remove an irq domain. The caller must ensure
219  * that all mappings within the domain have been disposed of prior to
220  * use, depending on the revmap type.
221  */
222 void irq_domain_remove(struct irq_domain *domain)
223 {
224         mutex_lock(&irq_domain_mutex);
225         debugfs_remove_domain_dir(domain);
226
227         WARN_ON(!radix_tree_empty(&domain->revmap_tree));
228
229         list_del(&domain->link);
230
231         /*
232          * If the going away domain is the default one, reset it.
233          */
234         if (unlikely(irq_default_domain == domain))
235                 irq_set_default_host(NULL);
236
237         mutex_unlock(&irq_domain_mutex);
238
239         pr_debug("Removed domain %s\n", domain->name);
240
241         of_node_put(irq_domain_get_of_node(domain));
242         if (domain->flags & IRQ_DOMAIN_NAME_ALLOCATED)
243                 kfree(domain->name);
244         kfree(domain);
245 }
246 EXPORT_SYMBOL_GPL(irq_domain_remove);
247
248 void irq_domain_update_bus_token(struct irq_domain *domain,
249                                  enum irq_domain_bus_token bus_token)
250 {
251         char *name;
252
253         if (domain->bus_token == bus_token)
254                 return;
255
256         mutex_lock(&irq_domain_mutex);
257
258         domain->bus_token = bus_token;
259
260         name = kasprintf(GFP_KERNEL, "%s-%d", domain->name, bus_token);
261         if (!name) {
262                 mutex_unlock(&irq_domain_mutex);
263                 return;
264         }
265
266         debugfs_remove_domain_dir(domain);
267
268         if (domain->flags & IRQ_DOMAIN_NAME_ALLOCATED)
269                 kfree(domain->name);
270         else
271                 domain->flags |= IRQ_DOMAIN_NAME_ALLOCATED;
272
273         domain->name = name;
274         debugfs_add_domain_dir(domain);
275
276         mutex_unlock(&irq_domain_mutex);
277 }
278
279 /**
280  * irq_domain_add_simple() - Register an irq_domain and optionally map a range of irqs
281  * @of_node: pointer to interrupt controller's device tree node.
282  * @size: total number of irqs in mapping
283  * @first_irq: first number of irq block assigned to the domain,
284  *      pass zero to assign irqs on-the-fly. If first_irq is non-zero, then
285  *      pre-map all of the irqs in the domain to virqs starting at first_irq.
286  * @ops: domain callbacks
287  * @host_data: Controller private data pointer
288  *
289  * Allocates an irq_domain, and optionally if first_irq is positive then also
290  * allocate irq_descs and map all of the hwirqs to virqs starting at first_irq.
291  *
292  * This is intended to implement the expected behaviour for most
293  * interrupt controllers. If device tree is used, then first_irq will be 0 and
294  * irqs get mapped dynamically on the fly. However, if the controller requires
295  * static virq assignments (non-DT boot) then it will set that up correctly.
296  */
297 struct irq_domain *irq_domain_add_simple(struct device_node *of_node,
298                                          unsigned int size,
299                                          unsigned int first_irq,
300                                          const struct irq_domain_ops *ops,
301                                          void *host_data)
302 {
303         struct irq_domain *domain;
304
305         domain = __irq_domain_add(of_node_to_fwnode(of_node), size, size, 0, ops, host_data);
306         if (!domain)
307                 return NULL;
308
309         if (first_irq > 0) {
310                 if (IS_ENABLED(CONFIG_SPARSE_IRQ)) {
311                         /* attempt to allocated irq_descs */
312                         int rc = irq_alloc_descs(first_irq, first_irq, size,
313                                                  of_node_to_nid(of_node));
314                         if (rc < 0)
315                                 pr_info("Cannot allocate irq_descs @ IRQ%d, assuming pre-allocated\n",
316                                         first_irq);
317                 }
318                 irq_domain_associate_many(domain, first_irq, 0, size);
319         }
320
321         return domain;
322 }
323 EXPORT_SYMBOL_GPL(irq_domain_add_simple);
324
325 /**
326  * irq_domain_add_legacy() - Allocate and register a legacy revmap irq_domain.
327  * @of_node: pointer to interrupt controller's device tree node.
328  * @size: total number of irqs in legacy mapping
329  * @first_irq: first number of irq block assigned to the domain
330  * @first_hwirq: first hwirq number to use for the translation. Should normally
331  *               be '0', but a positive integer can be used if the effective
332  *               hwirqs numbering does not begin at zero.
333  * @ops: map/unmap domain callbacks
334  * @host_data: Controller private data pointer
335  *
336  * Note: the map() callback will be called before this function returns
337  * for all legacy interrupts except 0 (which is always the invalid irq for
338  * a legacy controller).
339  */
340 struct irq_domain *irq_domain_add_legacy(struct device_node *of_node,
341                                          unsigned int size,
342                                          unsigned int first_irq,
343                                          irq_hw_number_t first_hwirq,
344                                          const struct irq_domain_ops *ops,
345                                          void *host_data)
346 {
347         struct irq_domain *domain;
348
349         domain = __irq_domain_add(of_node_to_fwnode(of_node), first_hwirq + size,
350                                   first_hwirq + size, 0, ops, host_data);
351         if (domain)
352                 irq_domain_associate_many(domain, first_irq, first_hwirq, size);
353
354         return domain;
355 }
356 EXPORT_SYMBOL_GPL(irq_domain_add_legacy);
357
358 /**
359  * irq_find_matching_fwspec() - Locates a domain for a given fwspec
360  * @fwspec: FW specifier for an interrupt
361  * @bus_token: domain-specific data
362  */
363 struct irq_domain *irq_find_matching_fwspec(struct irq_fwspec *fwspec,
364                                             enum irq_domain_bus_token bus_token)
365 {
366         struct irq_domain *h, *found = NULL;
367         struct fwnode_handle *fwnode = fwspec->fwnode;
368         int rc;
369
370         /* We might want to match the legacy controller last since
371          * it might potentially be set to match all interrupts in
372          * the absence of a device node. This isn't a problem so far
373          * yet though...
374          *
375          * bus_token == DOMAIN_BUS_ANY matches any domain, any other
376          * values must generate an exact match for the domain to be
377          * selected.
378          */
379         mutex_lock(&irq_domain_mutex);
380         list_for_each_entry(h, &irq_domain_list, link) {
381                 if (h->ops->select && fwspec->param_count)
382                         rc = h->ops->select(h, fwspec, bus_token);
383                 else if (h->ops->match)
384                         rc = h->ops->match(h, to_of_node(fwnode), bus_token);
385                 else
386                         rc = ((fwnode != NULL) && (h->fwnode == fwnode) &&
387                               ((bus_token == DOMAIN_BUS_ANY) ||
388                                (h->bus_token == bus_token)));
389
390                 if (rc) {
391                         found = h;
392                         break;
393                 }
394         }
395         mutex_unlock(&irq_domain_mutex);
396         return found;
397 }
398 EXPORT_SYMBOL_GPL(irq_find_matching_fwspec);
399
400 /**
401  * irq_domain_check_msi_remap - Check whether all MSI irq domains implement
402  * IRQ remapping
403  *
404  * Return: false if any MSI irq domain does not support IRQ remapping,
405  * true otherwise (including if there is no MSI irq domain)
406  */
407 bool irq_domain_check_msi_remap(void)
408 {
409         struct irq_domain *h;
410         bool ret = true;
411
412         mutex_lock(&irq_domain_mutex);
413         list_for_each_entry(h, &irq_domain_list, link) {
414                 if (irq_domain_is_msi(h) &&
415                     !irq_domain_hierarchical_is_msi_remap(h)) {
416                         ret = false;
417                         break;
418                 }
419         }
420         mutex_unlock(&irq_domain_mutex);
421         return ret;
422 }
423 EXPORT_SYMBOL_GPL(irq_domain_check_msi_remap);
424
425 /**
426  * irq_set_default_host() - Set a "default" irq domain
427  * @domain: default domain pointer
428  *
429  * For convenience, it's possible to set a "default" domain that will be used
430  * whenever NULL is passed to irq_create_mapping(). It makes life easier for
431  * platforms that want to manipulate a few hard coded interrupt numbers that
432  * aren't properly represented in the device-tree.
433  */
434 void irq_set_default_host(struct irq_domain *domain)
435 {
436         pr_debug("Default domain set to @0x%p\n", domain);
437
438         irq_default_domain = domain;
439 }
440 EXPORT_SYMBOL_GPL(irq_set_default_host);
441
442 void irq_domain_disassociate(struct irq_domain *domain, unsigned int irq)
443 {
444         struct irq_data *irq_data = irq_get_irq_data(irq);
445         irq_hw_number_t hwirq;
446
447         if (WARN(!irq_data || irq_data->domain != domain,
448                  "virq%i doesn't exist; cannot disassociate\n", irq))
449                 return;
450
451         hwirq = irq_data->hwirq;
452         irq_set_status_flags(irq, IRQ_NOREQUEST);
453
454         /* remove chip and handler */
455         irq_set_chip_and_handler(irq, NULL, NULL);
456
457         /* Make sure it's completed */
458         synchronize_irq(irq);
459
460         /* Tell the PIC about it */
461         if (domain->ops->unmap)
462                 domain->ops->unmap(domain, irq);
463         smp_mb();
464
465         irq_data->domain = NULL;
466         irq_data->hwirq = 0;
467         domain->mapcount--;
468
469         /* Clear reverse map for this hwirq */
470         if (hwirq < domain->revmap_size) {
471                 domain->linear_revmap[hwirq] = 0;
472         } else {
473                 mutex_lock(&revmap_trees_mutex);
474                 radix_tree_delete(&domain->revmap_tree, hwirq);
475                 mutex_unlock(&revmap_trees_mutex);
476         }
477 }
478
479 int irq_domain_associate(struct irq_domain *domain, unsigned int virq,
480                          irq_hw_number_t hwirq)
481 {
482         struct irq_data *irq_data = irq_get_irq_data(virq);
483         int ret;
484
485         if (WARN(hwirq >= domain->hwirq_max,
486                  "error: hwirq 0x%x is too large for %s\n", (int)hwirq, domain->name))
487                 return -EINVAL;
488         if (WARN(!irq_data, "error: virq%i is not allocated", virq))
489                 return -EINVAL;
490         if (WARN(irq_data->domain, "error: virq%i is already associated", virq))
491                 return -EINVAL;
492
493         mutex_lock(&irq_domain_mutex);
494         irq_data->hwirq = hwirq;
495         irq_data->domain = domain;
496         if (domain->ops->map) {
497                 ret = domain->ops->map(domain, virq, hwirq);
498                 if (ret != 0) {
499                         /*
500                          * If map() returns -EPERM, this interrupt is protected
501                          * by the firmware or some other service and shall not
502                          * be mapped. Don't bother telling the user about it.
503                          */
504                         if (ret != -EPERM) {
505                                 pr_info("%s didn't like hwirq-0x%lx to VIRQ%i mapping (rc=%d)\n",
506                                        domain->name, hwirq, virq, ret);
507                         }
508                         irq_data->domain = NULL;
509                         irq_data->hwirq = 0;
510                         mutex_unlock(&irq_domain_mutex);
511                         return ret;
512                 }
513
514                 /* If not already assigned, give the domain the chip's name */
515                 if (!domain->name && irq_data->chip)
516                         domain->name = irq_data->chip->name;
517         }
518
519         domain->mapcount++;
520         if (hwirq < domain->revmap_size) {
521                 domain->linear_revmap[hwirq] = virq;
522         } else {
523                 mutex_lock(&revmap_trees_mutex);
524                 radix_tree_insert(&domain->revmap_tree, hwirq, irq_data);
525                 mutex_unlock(&revmap_trees_mutex);
526         }
527         mutex_unlock(&irq_domain_mutex);
528
529         irq_clear_status_flags(virq, IRQ_NOREQUEST);
530
531         return 0;
532 }
533 EXPORT_SYMBOL_GPL(irq_domain_associate);
534
535 void irq_domain_associate_many(struct irq_domain *domain, unsigned int irq_base,
536                                irq_hw_number_t hwirq_base, int count)
537 {
538         struct device_node *of_node;
539         int i;
540
541         of_node = irq_domain_get_of_node(domain);
542         pr_debug("%s(%s, irqbase=%i, hwbase=%i, count=%i)\n", __func__,
543                 of_node_full_name(of_node), irq_base, (int)hwirq_base, count);
544
545         for (i = 0; i < count; i++) {
546                 irq_domain_associate(domain, irq_base + i, hwirq_base + i);
547         }
548 }
549 EXPORT_SYMBOL_GPL(irq_domain_associate_many);
550
551 /**
552  * irq_create_direct_mapping() - Allocate an irq for direct mapping
553  * @domain: domain to allocate the irq for or NULL for default domain
554  *
555  * This routine is used for irq controllers which can choose the hardware
556  * interrupt numbers they generate. In such a case it's simplest to use
557  * the linux irq as the hardware interrupt number. It still uses the linear
558  * or radix tree to store the mapping, but the irq controller can optimize
559  * the revmap path by using the hwirq directly.
560  */
561 unsigned int irq_create_direct_mapping(struct irq_domain *domain)
562 {
563         struct device_node *of_node;
564         unsigned int virq;
565
566         if (domain == NULL)
567                 domain = irq_default_domain;
568
569         of_node = irq_domain_get_of_node(domain);
570         virq = irq_alloc_desc_from(1, of_node_to_nid(of_node));
571         if (!virq) {
572                 pr_debug("create_direct virq allocation failed\n");
573                 return 0;
574         }
575         if (virq >= domain->revmap_direct_max_irq) {
576                 pr_err("ERROR: no free irqs available below %i maximum\n",
577                         domain->revmap_direct_max_irq);
578                 irq_free_desc(virq);
579                 return 0;
580         }
581         pr_debug("create_direct obtained virq %d\n", virq);
582
583         if (irq_domain_associate(domain, virq, virq)) {
584                 irq_free_desc(virq);
585                 return 0;
586         }
587
588         return virq;
589 }
590 EXPORT_SYMBOL_GPL(irq_create_direct_mapping);
591
592 /**
593  * irq_create_mapping() - Map a hardware interrupt into linux irq space
594  * @domain: domain owning this hardware interrupt or NULL for default domain
595  * @hwirq: hardware irq number in that domain space
596  *
597  * Only one mapping per hardware interrupt is permitted. Returns a linux
598  * irq number.
599  * If the sense/trigger is to be specified, set_irq_type() should be called
600  * on the number returned from that call.
601  */
602 unsigned int irq_create_mapping(struct irq_domain *domain,
603                                 irq_hw_number_t hwirq)
604 {
605         struct device_node *of_node;
606         int virq;
607
608         pr_debug("irq_create_mapping(0x%p, 0x%lx)\n", domain, hwirq);
609
610         /* Look for default domain if nececssary */
611         if (domain == NULL)
612                 domain = irq_default_domain;
613         if (domain == NULL) {
614                 WARN(1, "%s(, %lx) called with NULL domain\n", __func__, hwirq);
615                 return 0;
616         }
617         pr_debug("-> using domain @%p\n", domain);
618
619         of_node = irq_domain_get_of_node(domain);
620
621         /* Check if mapping already exists */
622         virq = irq_find_mapping(domain, hwirq);
623         if (virq) {
624                 pr_debug("-> existing mapping on virq %d\n", virq);
625                 return virq;
626         }
627
628         /* Allocate a virtual interrupt number */
629         virq = irq_domain_alloc_descs(-1, 1, hwirq, of_node_to_nid(of_node), NULL);
630         if (virq <= 0) {
631                 pr_debug("-> virq allocation failed\n");
632                 return 0;
633         }
634
635         if (irq_domain_associate(domain, virq, hwirq)) {
636                 irq_free_desc(virq);
637                 return 0;
638         }
639
640         pr_debug("irq %lu on domain %s mapped to virtual irq %u\n",
641                 hwirq, of_node_full_name(of_node), virq);
642
643         return virq;
644 }
645 EXPORT_SYMBOL_GPL(irq_create_mapping);
646
647 /**
648  * irq_create_strict_mappings() - Map a range of hw irqs to fixed linux irqs
649  * @domain: domain owning the interrupt range
650  * @irq_base: beginning of linux IRQ range
651  * @hwirq_base: beginning of hardware IRQ range
652  * @count: Number of interrupts to map
653  *
654  * This routine is used for allocating and mapping a range of hardware
655  * irqs to linux irqs where the linux irq numbers are at pre-defined
656  * locations. For use by controllers that already have static mappings
657  * to insert in to the domain.
658  *
659  * Non-linear users can use irq_create_identity_mapping() for IRQ-at-a-time
660  * domain insertion.
661  *
662  * 0 is returned upon success, while any failure to establish a static
663  * mapping is treated as an error.
664  */
665 int irq_create_strict_mappings(struct irq_domain *domain, unsigned int irq_base,
666                                irq_hw_number_t hwirq_base, int count)
667 {
668         struct device_node *of_node;
669         int ret;
670
671         of_node = irq_domain_get_of_node(domain);
672         ret = irq_alloc_descs(irq_base, irq_base, count,
673                               of_node_to_nid(of_node));
674         if (unlikely(ret < 0))
675                 return ret;
676
677         irq_domain_associate_many(domain, irq_base, hwirq_base, count);
678         return 0;
679 }
680 EXPORT_SYMBOL_GPL(irq_create_strict_mappings);
681
682 static int irq_domain_translate(struct irq_domain *d,
683                                 struct irq_fwspec *fwspec,
684                                 irq_hw_number_t *hwirq, unsigned int *type)
685 {
686 #ifdef CONFIG_IRQ_DOMAIN_HIERARCHY
687         if (d->ops->translate)
688                 return d->ops->translate(d, fwspec, hwirq, type);
689 #endif
690         if (d->ops->xlate)
691                 return d->ops->xlate(d, to_of_node(fwspec->fwnode),
692                                      fwspec->param, fwspec->param_count,
693                                      hwirq, type);
694
695         /* If domain has no translation, then we assume interrupt line */
696         *hwirq = fwspec->param[0];
697         return 0;
698 }
699
700 static void of_phandle_args_to_fwspec(struct of_phandle_args *irq_data,
701                                       struct irq_fwspec *fwspec)
702 {
703         int i;
704
705         fwspec->fwnode = irq_data->np ? &irq_data->np->fwnode : NULL;
706         fwspec->param_count = irq_data->args_count;
707
708         for (i = 0; i < irq_data->args_count; i++)
709                 fwspec->param[i] = irq_data->args[i];
710 }
711
712 unsigned int irq_create_fwspec_mapping(struct irq_fwspec *fwspec)
713 {
714         struct irq_domain *domain;
715         struct irq_data *irq_data;
716         irq_hw_number_t hwirq;
717         unsigned int type = IRQ_TYPE_NONE;
718         int virq;
719
720         if (fwspec->fwnode) {
721                 domain = irq_find_matching_fwspec(fwspec, DOMAIN_BUS_WIRED);
722                 if (!domain)
723                         domain = irq_find_matching_fwspec(fwspec, DOMAIN_BUS_ANY);
724         } else {
725                 domain = irq_default_domain;
726         }
727
728         if (!domain) {
729                 pr_warn("no irq domain found for %s !\n",
730                         of_node_full_name(to_of_node(fwspec->fwnode)));
731                 return 0;
732         }
733
734         if (irq_domain_translate(domain, fwspec, &hwirq, &type))
735                 return 0;
736
737         /*
738          * WARN if the irqchip returns a type with bits
739          * outside the sense mask set and clear these bits.
740          */
741         if (WARN_ON(type & ~IRQ_TYPE_SENSE_MASK))
742                 type &= IRQ_TYPE_SENSE_MASK;
743
744         /*
745          * If we've already configured this interrupt,
746          * don't do it again, or hell will break loose.
747          */
748         virq = irq_find_mapping(domain, hwirq);
749         if (virq) {
750                 /*
751                  * If the trigger type is not specified or matches the
752                  * current trigger type then we are done so return the
753                  * interrupt number.
754                  */
755                 if (type == IRQ_TYPE_NONE || type == irq_get_trigger_type(virq))
756                         return virq;
757
758                 /*
759                  * If the trigger type has not been set yet, then set
760                  * it now and return the interrupt number.
761                  */
762                 if (irq_get_trigger_type(virq) == IRQ_TYPE_NONE) {
763                         irq_data = irq_get_irq_data(virq);
764                         if (!irq_data)
765                                 return 0;
766
767                         irqd_set_trigger_type(irq_data, type);
768                         return virq;
769                 }
770
771                 pr_warn("type mismatch, failed to map hwirq-%lu for %s!\n",
772                         hwirq, of_node_full_name(to_of_node(fwspec->fwnode)));
773                 return 0;
774         }
775
776         if (irq_domain_is_hierarchy(domain)) {
777                 virq = irq_domain_alloc_irqs(domain, 1, NUMA_NO_NODE, fwspec);
778                 if (virq <= 0)
779                         return 0;
780         } else {
781                 /* Create mapping */
782                 virq = irq_create_mapping(domain, hwirq);
783                 if (!virq)
784                         return virq;
785         }
786
787         irq_data = irq_get_irq_data(virq);
788         if (!irq_data) {
789                 if (irq_domain_is_hierarchy(domain))
790                         irq_domain_free_irqs(virq, 1);
791                 else
792                         irq_dispose_mapping(virq);
793                 return 0;
794         }
795
796         /* Store trigger type */
797         irqd_set_trigger_type(irq_data, type);
798
799         return virq;
800 }
801 EXPORT_SYMBOL_GPL(irq_create_fwspec_mapping);
802
803 unsigned int irq_create_of_mapping(struct of_phandle_args *irq_data)
804 {
805         struct irq_fwspec fwspec;
806
807         of_phandle_args_to_fwspec(irq_data, &fwspec);
808         return irq_create_fwspec_mapping(&fwspec);
809 }
810 EXPORT_SYMBOL_GPL(irq_create_of_mapping);
811
812 /**
813  * irq_dispose_mapping() - Unmap an interrupt
814  * @virq: linux irq number of the interrupt to unmap
815  */
816 void irq_dispose_mapping(unsigned int virq)
817 {
818         struct irq_data *irq_data = irq_get_irq_data(virq);
819         struct irq_domain *domain;
820
821         if (!virq || !irq_data)
822                 return;
823
824         domain = irq_data->domain;
825         if (WARN_ON(domain == NULL))
826                 return;
827
828         if (irq_domain_is_hierarchy(domain)) {
829                 irq_domain_free_irqs(virq, 1);
830         } else {
831                 irq_domain_disassociate(domain, virq);
832                 irq_free_desc(virq);
833         }
834 }
835 EXPORT_SYMBOL_GPL(irq_dispose_mapping);
836
837 /**
838  * irq_find_mapping() - Find a linux irq from an hw irq number.
839  * @domain: domain owning this hardware interrupt
840  * @hwirq: hardware irq number in that domain space
841  */
842 unsigned int irq_find_mapping(struct irq_domain *domain,
843                               irq_hw_number_t hwirq)
844 {
845         struct irq_data *data;
846
847         /* Look for default domain if nececssary */
848         if (domain == NULL)
849                 domain = irq_default_domain;
850         if (domain == NULL)
851                 return 0;
852
853         if (hwirq < domain->revmap_direct_max_irq) {
854                 data = irq_domain_get_irq_data(domain, hwirq);
855                 if (data && data->hwirq == hwirq)
856                         return hwirq;
857         }
858
859         /* Check if the hwirq is in the linear revmap. */
860         if (hwirq < domain->revmap_size)
861                 return domain->linear_revmap[hwirq];
862
863         rcu_read_lock();
864         data = radix_tree_lookup(&domain->revmap_tree, hwirq);
865         rcu_read_unlock();
866         return data ? data->irq : 0;
867 }
868 EXPORT_SYMBOL_GPL(irq_find_mapping);
869
870 #ifdef CONFIG_IRQ_DOMAIN_DEBUG
871 static void virq_debug_show_one(struct seq_file *m, struct irq_desc *desc)
872 {
873         struct irq_domain *domain;
874         struct irq_data *data;
875
876         domain = desc->irq_data.domain;
877         data = &desc->irq_data;
878
879         while (domain) {
880                 unsigned int irq = data->irq;
881                 unsigned long hwirq = data->hwirq;
882                 struct irq_chip *chip;
883                 bool direct;
884
885                 if (data == &desc->irq_data)
886                         seq_printf(m, "%5d  ", irq);
887                 else
888                         seq_printf(m, "%5d+ ", irq);
889                 seq_printf(m, "0x%05lx  ", hwirq);
890
891                 chip = irq_data_get_irq_chip(data);
892                 seq_printf(m, "%-15s  ", (chip && chip->name) ? chip->name : "none");
893
894                 seq_printf(m, data ? "0x%p  " : "  %p  ",
895                            irq_data_get_irq_chip_data(data));
896
897                 seq_printf(m, "   %c    ", (desc->action && desc->action->handler) ? '*' : ' ');
898                 direct = (irq == hwirq) && (irq < domain->revmap_direct_max_irq);
899                 seq_printf(m, "%6s%-8s  ",
900                            (hwirq < domain->revmap_size) ? "LINEAR" : "RADIX",
901                            direct ? "(DIRECT)" : "");
902                 seq_printf(m, "%s\n", domain->name);
903 #ifdef CONFIG_IRQ_DOMAIN_HIERARCHY
904                 domain = domain->parent;
905                 data = data->parent_data;
906 #else
907                 domain = NULL;
908 #endif
909         }
910 }
911
912 static int virq_debug_show(struct seq_file *m, void *private)
913 {
914         unsigned long flags;
915         struct irq_desc *desc;
916         struct irq_domain *domain;
917         struct radix_tree_iter iter;
918         void **slot;
919         int i;
920
921         seq_printf(m, " %-16s  %-6s  %-10s  %-10s  %s\n",
922                    "name", "mapped", "linear-max", "direct-max", "devtree-node");
923         mutex_lock(&irq_domain_mutex);
924         list_for_each_entry(domain, &irq_domain_list, link) {
925                 struct device_node *of_node;
926                 const char *name;
927
928                 int count = 0;
929
930                 of_node = irq_domain_get_of_node(domain);
931                 if (of_node)
932                         name = of_node_full_name(of_node);
933                 else if (is_fwnode_irqchip(domain->fwnode))
934                         name = container_of(domain->fwnode, struct irqchip_fwid,
935                                             fwnode)->name;
936                 else
937                         name = "";
938
939                 radix_tree_for_each_slot(slot, &domain->revmap_tree, &iter, 0)
940                         count++;
941                 seq_printf(m, "%c%-16s  %6u  %10u  %10u  %s\n",
942                            domain == irq_default_domain ? '*' : ' ', domain->name,
943                            domain->revmap_size + count, domain->revmap_size,
944                            domain->revmap_direct_max_irq,
945                            name);
946         }
947         mutex_unlock(&irq_domain_mutex);
948
949         seq_printf(m, "%-5s  %-7s  %-15s  %-*s  %6s  %-14s  %s\n", "irq", "hwirq",
950                       "chip name", (int)(2 * sizeof(void *) + 2), "chip data",
951                       "active", "type", "domain");
952
953         for (i = 1; i < nr_irqs; i++) {
954                 desc = irq_to_desc(i);
955                 if (!desc)
956                         continue;
957
958                 raw_spin_lock_irqsave(&desc->lock, flags);
959                 virq_debug_show_one(m, desc);
960                 raw_spin_unlock_irqrestore(&desc->lock, flags);
961         }
962
963         return 0;
964 }
965
966 static int virq_debug_open(struct inode *inode, struct file *file)
967 {
968         return single_open(file, virq_debug_show, inode->i_private);
969 }
970
971 static const struct file_operations virq_debug_fops = {
972         .open = virq_debug_open,
973         .read = seq_read,
974         .llseek = seq_lseek,
975         .release = single_release,
976 };
977
978 static int __init irq_debugfs_init(void)
979 {
980         if (debugfs_create_file("irq_domain_mapping", S_IRUGO, NULL,
981                                  NULL, &virq_debug_fops) == NULL)
982                 return -ENOMEM;
983
984         return 0;
985 }
986 __initcall(irq_debugfs_init);
987 #endif /* CONFIG_IRQ_DOMAIN_DEBUG */
988
989 /**
990  * irq_domain_xlate_onecell() - Generic xlate for direct one cell bindings
991  *
992  * Device Tree IRQ specifier translation function which works with one cell
993  * bindings where the cell value maps directly to the hwirq number.
994  */
995 int irq_domain_xlate_onecell(struct irq_domain *d, struct device_node *ctrlr,
996                              const u32 *intspec, unsigned int intsize,
997                              unsigned long *out_hwirq, unsigned int *out_type)
998 {
999         if (WARN_ON(intsize < 1))
1000                 return -EINVAL;
1001         *out_hwirq = intspec[0];
1002         *out_type = IRQ_TYPE_NONE;
1003         return 0;
1004 }
1005 EXPORT_SYMBOL_GPL(irq_domain_xlate_onecell);
1006
1007 /**
1008  * irq_domain_xlate_twocell() - Generic xlate for direct two cell bindings
1009  *
1010  * Device Tree IRQ specifier translation function which works with two cell
1011  * bindings where the cell values map directly to the hwirq number
1012  * and linux irq flags.
1013  */
1014 int irq_domain_xlate_twocell(struct irq_domain *d, struct device_node *ctrlr,
1015                         const u32 *intspec, unsigned int intsize,
1016                         irq_hw_number_t *out_hwirq, unsigned int *out_type)
1017 {
1018         if (WARN_ON(intsize < 2))
1019                 return -EINVAL;
1020         *out_hwirq = intspec[0];
1021         *out_type = intspec[1] & IRQ_TYPE_SENSE_MASK;
1022         return 0;
1023 }
1024 EXPORT_SYMBOL_GPL(irq_domain_xlate_twocell);
1025
1026 /**
1027  * irq_domain_xlate_onetwocell() - Generic xlate for one or two cell bindings
1028  *
1029  * Device Tree IRQ specifier translation function which works with either one
1030  * or two cell bindings where the cell values map directly to the hwirq number
1031  * and linux irq flags.
1032  *
1033  * Note: don't use this function unless your interrupt controller explicitly
1034  * supports both one and two cell bindings.  For the majority of controllers
1035  * the _onecell() or _twocell() variants above should be used.
1036  */
1037 int irq_domain_xlate_onetwocell(struct irq_domain *d,
1038                                 struct device_node *ctrlr,
1039                                 const u32 *intspec, unsigned int intsize,
1040                                 unsigned long *out_hwirq, unsigned int *out_type)
1041 {
1042         if (WARN_ON(intsize < 1))
1043                 return -EINVAL;
1044         *out_hwirq = intspec[0];
1045         if (intsize > 1)
1046                 *out_type = intspec[1] & IRQ_TYPE_SENSE_MASK;
1047         else
1048                 *out_type = IRQ_TYPE_NONE;
1049         return 0;
1050 }
1051 EXPORT_SYMBOL_GPL(irq_domain_xlate_onetwocell);
1052
1053 const struct irq_domain_ops irq_domain_simple_ops = {
1054         .xlate = irq_domain_xlate_onetwocell,
1055 };
1056 EXPORT_SYMBOL_GPL(irq_domain_simple_ops);
1057
1058 int irq_domain_alloc_descs(int virq, unsigned int cnt, irq_hw_number_t hwirq,
1059                            int node, const struct cpumask *affinity)
1060 {
1061         unsigned int hint;
1062
1063         if (virq >= 0) {
1064                 virq = __irq_alloc_descs(virq, virq, cnt, node, THIS_MODULE,
1065                                          affinity);
1066         } else {
1067                 hint = hwirq % nr_irqs;
1068                 if (hint == 0)
1069                         hint++;
1070                 virq = __irq_alloc_descs(-1, hint, cnt, node, THIS_MODULE,
1071                                          affinity);
1072                 if (virq <= 0 && hint > 1) {
1073                         virq = __irq_alloc_descs(-1, 1, cnt, node, THIS_MODULE,
1074                                                  affinity);
1075                 }
1076         }
1077
1078         return virq;
1079 }
1080
1081 #ifdef  CONFIG_IRQ_DOMAIN_HIERARCHY
1082 /**
1083  * irq_domain_create_hierarchy - Add a irqdomain into the hierarchy
1084  * @parent:     Parent irq domain to associate with the new domain
1085  * @flags:      Irq domain flags associated to the domain
1086  * @size:       Size of the domain. See below
1087  * @fwnode:     Optional fwnode of the interrupt controller
1088  * @ops:        Pointer to the interrupt domain callbacks
1089  * @host_data:  Controller private data pointer
1090  *
1091  * If @size is 0 a tree domain is created, otherwise a linear domain.
1092  *
1093  * If successful the parent is associated to the new domain and the
1094  * domain flags are set.
1095  * Returns pointer to IRQ domain, or NULL on failure.
1096  */
1097 struct irq_domain *irq_domain_create_hierarchy(struct irq_domain *parent,
1098                                             unsigned int flags,
1099                                             unsigned int size,
1100                                             struct fwnode_handle *fwnode,
1101                                             const struct irq_domain_ops *ops,
1102                                             void *host_data)
1103 {
1104         struct irq_domain *domain;
1105
1106         if (size)
1107                 domain = irq_domain_create_linear(fwnode, size, ops, host_data);
1108         else
1109                 domain = irq_domain_create_tree(fwnode, ops, host_data);
1110         if (domain) {
1111                 domain->parent = parent;
1112                 domain->flags |= flags;
1113         }
1114
1115         return domain;
1116 }
1117 EXPORT_SYMBOL_GPL(irq_domain_create_hierarchy);
1118
1119 static void irq_domain_insert_irq(int virq)
1120 {
1121         struct irq_data *data;
1122
1123         for (data = irq_get_irq_data(virq); data; data = data->parent_data) {
1124                 struct irq_domain *domain = data->domain;
1125                 irq_hw_number_t hwirq = data->hwirq;
1126
1127                 domain->mapcount++;
1128                 if (hwirq < domain->revmap_size) {
1129                         domain->linear_revmap[hwirq] = virq;
1130                 } else {
1131                         mutex_lock(&revmap_trees_mutex);
1132                         radix_tree_insert(&domain->revmap_tree, hwirq, data);
1133                         mutex_unlock(&revmap_trees_mutex);
1134                 }
1135
1136                 /* If not already assigned, give the domain the chip's name */
1137                 if (!domain->name && data->chip)
1138                         domain->name = data->chip->name;
1139         }
1140
1141         irq_clear_status_flags(virq, IRQ_NOREQUEST);
1142 }
1143
1144 static void irq_domain_remove_irq(int virq)
1145 {
1146         struct irq_data *data;
1147
1148         irq_set_status_flags(virq, IRQ_NOREQUEST);
1149         irq_set_chip_and_handler(virq, NULL, NULL);
1150         synchronize_irq(virq);
1151         smp_mb();
1152
1153         for (data = irq_get_irq_data(virq); data; data = data->parent_data) {
1154                 struct irq_domain *domain = data->domain;
1155                 irq_hw_number_t hwirq = data->hwirq;
1156
1157                 domain->mapcount--;
1158                 if (hwirq < domain->revmap_size) {
1159                         domain->linear_revmap[hwirq] = 0;
1160                 } else {
1161                         mutex_lock(&revmap_trees_mutex);
1162                         radix_tree_delete(&domain->revmap_tree, hwirq);
1163                         mutex_unlock(&revmap_trees_mutex);
1164                 }
1165         }
1166 }
1167
1168 static struct irq_data *irq_domain_insert_irq_data(struct irq_domain *domain,
1169                                                    struct irq_data *child)
1170 {
1171         struct irq_data *irq_data;
1172
1173         irq_data = kzalloc_node(sizeof(*irq_data), GFP_KERNEL,
1174                                 irq_data_get_node(child));
1175         if (irq_data) {
1176                 child->parent_data = irq_data;
1177                 irq_data->irq = child->irq;
1178                 irq_data->common = child->common;
1179                 irq_data->domain = domain;
1180         }
1181
1182         return irq_data;
1183 }
1184
1185 static void irq_domain_free_irq_data(unsigned int virq, unsigned int nr_irqs)
1186 {
1187         struct irq_data *irq_data, *tmp;
1188         int i;
1189
1190         for (i = 0; i < nr_irqs; i++) {
1191                 irq_data = irq_get_irq_data(virq + i);
1192                 tmp = irq_data->parent_data;
1193                 irq_data->parent_data = NULL;
1194                 irq_data->domain = NULL;
1195
1196                 while (tmp) {
1197                         irq_data = tmp;
1198                         tmp = tmp->parent_data;
1199                         kfree(irq_data);
1200                 }
1201         }
1202 }
1203
1204 static int irq_domain_alloc_irq_data(struct irq_domain *domain,
1205                                      unsigned int virq, unsigned int nr_irqs)
1206 {
1207         struct irq_data *irq_data;
1208         struct irq_domain *parent;
1209         int i;
1210
1211         /* The outermost irq_data is embedded in struct irq_desc */
1212         for (i = 0; i < nr_irqs; i++) {
1213                 irq_data = irq_get_irq_data(virq + i);
1214                 irq_data->domain = domain;
1215
1216                 for (parent = domain->parent; parent; parent = parent->parent) {
1217                         irq_data = irq_domain_insert_irq_data(parent, irq_data);
1218                         if (!irq_data) {
1219                                 irq_domain_free_irq_data(virq, i + 1);
1220                                 return -ENOMEM;
1221                         }
1222                 }
1223         }
1224
1225         return 0;
1226 }
1227
1228 /**
1229  * irq_domain_get_irq_data - Get irq_data associated with @virq and @domain
1230  * @domain:     domain to match
1231  * @virq:       IRQ number to get irq_data
1232  */
1233 struct irq_data *irq_domain_get_irq_data(struct irq_domain *domain,
1234                                          unsigned int virq)
1235 {
1236         struct irq_data *irq_data;
1237
1238         for (irq_data = irq_get_irq_data(virq); irq_data;
1239              irq_data = irq_data->parent_data)
1240                 if (irq_data->domain == domain)
1241                         return irq_data;
1242
1243         return NULL;
1244 }
1245 EXPORT_SYMBOL_GPL(irq_domain_get_irq_data);
1246
1247 /**
1248  * irq_domain_set_hwirq_and_chip - Set hwirq and irqchip of @virq at @domain
1249  * @domain:     Interrupt domain to match
1250  * @virq:       IRQ number
1251  * @hwirq:      The hwirq number
1252  * @chip:       The associated interrupt chip
1253  * @chip_data:  The associated chip data
1254  */
1255 int irq_domain_set_hwirq_and_chip(struct irq_domain *domain, unsigned int virq,
1256                                   irq_hw_number_t hwirq, struct irq_chip *chip,
1257                                   void *chip_data)
1258 {
1259         struct irq_data *irq_data = irq_domain_get_irq_data(domain, virq);
1260
1261         if (!irq_data)
1262                 return -ENOENT;
1263
1264         irq_data->hwirq = hwirq;
1265         irq_data->chip = chip ? chip : &no_irq_chip;
1266         irq_data->chip_data = chip_data;
1267
1268         return 0;
1269 }
1270 EXPORT_SYMBOL_GPL(irq_domain_set_hwirq_and_chip);
1271
1272 /**
1273  * irq_domain_set_info - Set the complete data for a @virq in @domain
1274  * @domain:             Interrupt domain to match
1275  * @virq:               IRQ number
1276  * @hwirq:              The hardware interrupt number
1277  * @chip:               The associated interrupt chip
1278  * @chip_data:          The associated interrupt chip data
1279  * @handler:            The interrupt flow handler
1280  * @handler_data:       The interrupt flow handler data
1281  * @handler_name:       The interrupt handler name
1282  */
1283 void irq_domain_set_info(struct irq_domain *domain, unsigned int virq,
1284                          irq_hw_number_t hwirq, struct irq_chip *chip,
1285                          void *chip_data, irq_flow_handler_t handler,
1286                          void *handler_data, const char *handler_name)
1287 {
1288         irq_domain_set_hwirq_and_chip(domain, virq, hwirq, chip, chip_data);
1289         __irq_set_handler(virq, handler, 0, handler_name);
1290         irq_set_handler_data(virq, handler_data);
1291 }
1292 EXPORT_SYMBOL(irq_domain_set_info);
1293
1294 /**
1295  * irq_domain_reset_irq_data - Clear hwirq, chip and chip_data in @irq_data
1296  * @irq_data:   The pointer to irq_data
1297  */
1298 void irq_domain_reset_irq_data(struct irq_data *irq_data)
1299 {
1300         irq_data->hwirq = 0;
1301         irq_data->chip = &no_irq_chip;
1302         irq_data->chip_data = NULL;
1303 }
1304 EXPORT_SYMBOL_GPL(irq_domain_reset_irq_data);
1305
1306 /**
1307  * irq_domain_free_irqs_common - Clear irq_data and free the parent
1308  * @domain:     Interrupt domain to match
1309  * @virq:       IRQ number to start with
1310  * @nr_irqs:    The number of irqs to free
1311  */
1312 void irq_domain_free_irqs_common(struct irq_domain *domain, unsigned int virq,
1313                                  unsigned int nr_irqs)
1314 {
1315         struct irq_data *irq_data;
1316         int i;
1317
1318         for (i = 0; i < nr_irqs; i++) {
1319                 irq_data = irq_domain_get_irq_data(domain, virq + i);
1320                 if (irq_data)
1321                         irq_domain_reset_irq_data(irq_data);
1322         }
1323         irq_domain_free_irqs_parent(domain, virq, nr_irqs);
1324 }
1325 EXPORT_SYMBOL_GPL(irq_domain_free_irqs_common);
1326
1327 /**
1328  * irq_domain_free_irqs_top - Clear handler and handler data, clear irqdata and free parent
1329  * @domain:     Interrupt domain to match
1330  * @virq:       IRQ number to start with
1331  * @nr_irqs:    The number of irqs to free
1332  */
1333 void irq_domain_free_irqs_top(struct irq_domain *domain, unsigned int virq,
1334                               unsigned int nr_irqs)
1335 {
1336         int i;
1337
1338         for (i = 0; i < nr_irqs; i++) {
1339                 irq_set_handler_data(virq + i, NULL);
1340                 irq_set_handler(virq + i, NULL);
1341         }
1342         irq_domain_free_irqs_common(domain, virq, nr_irqs);
1343 }
1344
1345 static void irq_domain_free_irqs_hierarchy(struct irq_domain *domain,
1346                                            unsigned int irq_base,
1347                                            unsigned int nr_irqs)
1348 {
1349         domain->ops->free(domain, irq_base, nr_irqs);
1350 }
1351
1352 int irq_domain_alloc_irqs_hierarchy(struct irq_domain *domain,
1353                                     unsigned int irq_base,
1354                                     unsigned int nr_irqs, void *arg)
1355 {
1356         return domain->ops->alloc(domain, irq_base, nr_irqs, arg);
1357 }
1358
1359 /**
1360  * __irq_domain_alloc_irqs - Allocate IRQs from domain
1361  * @domain:     domain to allocate from
1362  * @irq_base:   allocate specified IRQ nubmer if irq_base >= 0
1363  * @nr_irqs:    number of IRQs to allocate
1364  * @node:       NUMA node id for memory allocation
1365  * @arg:        domain specific argument
1366  * @realloc:    IRQ descriptors have already been allocated if true
1367  * @affinity:   Optional irq affinity mask for multiqueue devices
1368  *
1369  * Allocate IRQ numbers and initialized all data structures to support
1370  * hierarchy IRQ domains.
1371  * Parameter @realloc is mainly to support legacy IRQs.
1372  * Returns error code or allocated IRQ number
1373  *
1374  * The whole process to setup an IRQ has been split into two steps.
1375  * The first step, __irq_domain_alloc_irqs(), is to allocate IRQ
1376  * descriptor and required hardware resources. The second step,
1377  * irq_domain_activate_irq(), is to program hardwares with preallocated
1378  * resources. In this way, it's easier to rollback when failing to
1379  * allocate resources.
1380  */
1381 int __irq_domain_alloc_irqs(struct irq_domain *domain, int irq_base,
1382                             unsigned int nr_irqs, int node, void *arg,
1383                             bool realloc, const struct cpumask *affinity)
1384 {
1385         int i, ret, virq;
1386
1387         if (domain == NULL) {
1388                 domain = irq_default_domain;
1389                 if (WARN(!domain, "domain is NULL; cannot allocate IRQ\n"))
1390                         return -EINVAL;
1391         }
1392
1393         if (!domain->ops->alloc) {
1394                 pr_debug("domain->ops->alloc() is NULL\n");
1395                 return -ENOSYS;
1396         }
1397
1398         if (realloc && irq_base >= 0) {
1399                 virq = irq_base;
1400         } else {
1401                 virq = irq_domain_alloc_descs(irq_base, nr_irqs, 0, node,
1402                                               affinity);
1403                 if (virq < 0) {
1404                         pr_debug("cannot allocate IRQ(base %d, count %d)\n",
1405                                  irq_base, nr_irqs);
1406                         return virq;
1407                 }
1408         }
1409
1410         if (irq_domain_alloc_irq_data(domain, virq, nr_irqs)) {
1411                 pr_debug("cannot allocate memory for IRQ%d\n", virq);
1412                 ret = -ENOMEM;
1413                 goto out_free_desc;
1414         }
1415
1416         mutex_lock(&irq_domain_mutex);
1417         ret = irq_domain_alloc_irqs_hierarchy(domain, virq, nr_irqs, arg);
1418         if (ret < 0) {
1419                 mutex_unlock(&irq_domain_mutex);
1420                 goto out_free_irq_data;
1421         }
1422         for (i = 0; i < nr_irqs; i++)
1423                 irq_domain_insert_irq(virq + i);
1424         mutex_unlock(&irq_domain_mutex);
1425
1426         return virq;
1427
1428 out_free_irq_data:
1429         irq_domain_free_irq_data(virq, nr_irqs);
1430 out_free_desc:
1431         irq_free_descs(virq, nr_irqs);
1432         return ret;
1433 }
1434
1435 /**
1436  * irq_domain_free_irqs - Free IRQ number and associated data structures
1437  * @virq:       base IRQ number
1438  * @nr_irqs:    number of IRQs to free
1439  */
1440 void irq_domain_free_irqs(unsigned int virq, unsigned int nr_irqs)
1441 {
1442         struct irq_data *data = irq_get_irq_data(virq);
1443         int i;
1444
1445         if (WARN(!data || !data->domain || !data->domain->ops->free,
1446                  "NULL pointer, cannot free irq\n"))
1447                 return;
1448
1449         mutex_lock(&irq_domain_mutex);
1450         for (i = 0; i < nr_irqs; i++)
1451                 irq_domain_remove_irq(virq + i);
1452         irq_domain_free_irqs_hierarchy(data->domain, virq, nr_irqs);
1453         mutex_unlock(&irq_domain_mutex);
1454
1455         irq_domain_free_irq_data(virq, nr_irqs);
1456         irq_free_descs(virq, nr_irqs);
1457 }
1458
1459 /**
1460  * irq_domain_alloc_irqs_parent - Allocate interrupts from parent domain
1461  * @irq_base:   Base IRQ number
1462  * @nr_irqs:    Number of IRQs to allocate
1463  * @arg:        Allocation data (arch/domain specific)
1464  *
1465  * Check whether the domain has been setup recursive. If not allocate
1466  * through the parent domain.
1467  */
1468 int irq_domain_alloc_irqs_parent(struct irq_domain *domain,
1469                                  unsigned int irq_base, unsigned int nr_irqs,
1470                                  void *arg)
1471 {
1472         if (!domain->parent)
1473                 return -ENOSYS;
1474
1475         return irq_domain_alloc_irqs_hierarchy(domain->parent, irq_base,
1476                                                nr_irqs, arg);
1477 }
1478 EXPORT_SYMBOL_GPL(irq_domain_alloc_irqs_parent);
1479
1480 /**
1481  * irq_domain_free_irqs_parent - Free interrupts from parent domain
1482  * @irq_base:   Base IRQ number
1483  * @nr_irqs:    Number of IRQs to free
1484  *
1485  * Check whether the domain has been setup recursive. If not free
1486  * through the parent domain.
1487  */
1488 void irq_domain_free_irqs_parent(struct irq_domain *domain,
1489                                  unsigned int irq_base, unsigned int nr_irqs)
1490 {
1491         if (!domain->parent)
1492                 return;
1493
1494         irq_domain_free_irqs_hierarchy(domain->parent, irq_base, nr_irqs);
1495 }
1496 EXPORT_SYMBOL_GPL(irq_domain_free_irqs_parent);
1497
1498 static void __irq_domain_activate_irq(struct irq_data *irq_data)
1499 {
1500         if (irq_data && irq_data->domain) {
1501                 struct irq_domain *domain = irq_data->domain;
1502
1503                 if (irq_data->parent_data)
1504                         __irq_domain_activate_irq(irq_data->parent_data);
1505                 if (domain->ops->activate)
1506                         domain->ops->activate(domain, irq_data);
1507         }
1508 }
1509
1510 static void __irq_domain_deactivate_irq(struct irq_data *irq_data)
1511 {
1512         if (irq_data && irq_data->domain) {
1513                 struct irq_domain *domain = irq_data->domain;
1514
1515                 if (domain->ops->deactivate)
1516                         domain->ops->deactivate(domain, irq_data);
1517                 if (irq_data->parent_data)
1518                         __irq_domain_deactivate_irq(irq_data->parent_data);
1519         }
1520 }
1521
1522 /**
1523  * irq_domain_activate_irq - Call domain_ops->activate recursively to activate
1524  *                           interrupt
1525  * @irq_data:   outermost irq_data associated with interrupt
1526  *
1527  * This is the second step to call domain_ops->activate to program interrupt
1528  * controllers, so the interrupt could actually get delivered.
1529  */
1530 void irq_domain_activate_irq(struct irq_data *irq_data)
1531 {
1532         if (!irqd_is_activated(irq_data)) {
1533                 __irq_domain_activate_irq(irq_data);
1534                 irqd_set_activated(irq_data);
1535         }
1536 }
1537
1538 /**
1539  * irq_domain_deactivate_irq - Call domain_ops->deactivate recursively to
1540  *                             deactivate interrupt
1541  * @irq_data: outermost irq_data associated with interrupt
1542  *
1543  * It calls domain_ops->deactivate to program interrupt controllers to disable
1544  * interrupt delivery.
1545  */
1546 void irq_domain_deactivate_irq(struct irq_data *irq_data)
1547 {
1548         if (irqd_is_activated(irq_data)) {
1549                 __irq_domain_deactivate_irq(irq_data);
1550                 irqd_clr_activated(irq_data);
1551         }
1552 }
1553
1554 static void irq_domain_check_hierarchy(struct irq_domain *domain)
1555 {
1556         /* Hierarchy irq_domains must implement callback alloc() */
1557         if (domain->ops->alloc)
1558                 domain->flags |= IRQ_DOMAIN_FLAG_HIERARCHY;
1559 }
1560
1561 /**
1562  * irq_domain_hierarchical_is_msi_remap - Check if the domain or any
1563  * parent has MSI remapping support
1564  * @domain: domain pointer
1565  */
1566 bool irq_domain_hierarchical_is_msi_remap(struct irq_domain *domain)
1567 {
1568         for (; domain; domain = domain->parent) {
1569                 if (irq_domain_is_msi_remap(domain))
1570                         return true;
1571         }
1572         return false;
1573 }
1574 #else   /* CONFIG_IRQ_DOMAIN_HIERARCHY */
1575 /**
1576  * irq_domain_get_irq_data - Get irq_data associated with @virq and @domain
1577  * @domain:     domain to match
1578  * @virq:       IRQ number to get irq_data
1579  */
1580 struct irq_data *irq_domain_get_irq_data(struct irq_domain *domain,
1581                                          unsigned int virq)
1582 {
1583         struct irq_data *irq_data = irq_get_irq_data(virq);
1584
1585         return (irq_data && irq_data->domain == domain) ? irq_data : NULL;
1586 }
1587 EXPORT_SYMBOL_GPL(irq_domain_get_irq_data);
1588
1589 /**
1590  * irq_domain_set_info - Set the complete data for a @virq in @domain
1591  * @domain:             Interrupt domain to match
1592  * @virq:               IRQ number
1593  * @hwirq:              The hardware interrupt number
1594  * @chip:               The associated interrupt chip
1595  * @chip_data:          The associated interrupt chip data
1596  * @handler:            The interrupt flow handler
1597  * @handler_data:       The interrupt flow handler data
1598  * @handler_name:       The interrupt handler name
1599  */
1600 void irq_domain_set_info(struct irq_domain *domain, unsigned int virq,
1601                          irq_hw_number_t hwirq, struct irq_chip *chip,
1602                          void *chip_data, irq_flow_handler_t handler,
1603                          void *handler_data, const char *handler_name)
1604 {
1605         irq_set_chip_and_handler_name(virq, chip, handler, handler_name);
1606         irq_set_chip_data(virq, chip_data);
1607         irq_set_handler_data(virq, handler_data);
1608 }
1609
1610 static void irq_domain_check_hierarchy(struct irq_domain *domain)
1611 {
1612 }
1613 #endif  /* CONFIG_IRQ_DOMAIN_HIERARCHY */
1614
1615 #ifdef CONFIG_GENERIC_IRQ_DEBUGFS
1616 static struct dentry *domain_dir;
1617
1618 static void
1619 irq_domain_debug_show_one(struct seq_file *m, struct irq_domain *d, int ind)
1620 {
1621         seq_printf(m, "%*sname:   %s\n", ind, "", d->name);
1622         seq_printf(m, "%*ssize:   %u\n", ind + 1, "",
1623                    d->revmap_size + d->revmap_direct_max_irq);
1624         seq_printf(m, "%*smapped: %u\n", ind + 1, "", d->mapcount);
1625         seq_printf(m, "%*sflags:  0x%08x\n", ind +1 , "", d->flags);
1626 #ifdef  CONFIG_IRQ_DOMAIN_HIERARCHY
1627         if (!d->parent)
1628                 return;
1629         seq_printf(m, "%*sparent: %s\n", ind + 1, "", d->parent->name);
1630         irq_domain_debug_show_one(m, d->parent, ind + 4);
1631 #endif
1632 }
1633
1634 static int irq_domain_debug_show(struct seq_file *m, void *p)
1635 {
1636         struct irq_domain *d = m->private;
1637
1638         /* Default domain? Might be NULL */
1639         if (!d) {
1640                 if (!irq_default_domain)
1641                         return 0;
1642                 d = irq_default_domain;
1643         }
1644         irq_domain_debug_show_one(m, d, 0);
1645         return 0;
1646 }
1647
1648 static int irq_domain_debug_open(struct inode *inode, struct file *file)
1649 {
1650         return single_open(file, irq_domain_debug_show, inode->i_private);
1651 }
1652
1653 static const struct file_operations dfs_domain_ops = {
1654         .open           = irq_domain_debug_open,
1655         .read           = seq_read,
1656         .llseek         = seq_lseek,
1657         .release        = single_release,
1658 };
1659
1660 static void debugfs_add_domain_dir(struct irq_domain *d)
1661 {
1662         if (!d->name || !domain_dir || d->debugfs_file)
1663                 return;
1664         d->debugfs_file = debugfs_create_file(d->name, 0444, domain_dir, d,
1665                                               &dfs_domain_ops);
1666 }
1667
1668 static void debugfs_remove_domain_dir(struct irq_domain *d)
1669 {
1670         debugfs_remove(d->debugfs_file);
1671 }
1672
1673 void __init irq_domain_debugfs_init(struct dentry *root)
1674 {
1675         struct irq_domain *d;
1676
1677         domain_dir = debugfs_create_dir("domains", root);
1678         if (!domain_dir)
1679                 return;
1680
1681         debugfs_create_file("default", 0444, domain_dir, NULL, &dfs_domain_ops);
1682         mutex_lock(&irq_domain_mutex);
1683         list_for_each_entry(d, &irq_domain_list, link)
1684                 debugfs_add_domain_dir(d);
1685         mutex_unlock(&irq_domain_mutex);
1686 }
1687 #endif