Please use this identifier to cite or link to this item: http://dx.doi.org/10.14279/depositonce-4408
Main Title: Distributed resource allocation in wireless networks
Subtitle: A game theoretical learning framework
Translated Title: Verteilte Ressourcenallokation in Mobilfunknetzen
Translated Subtitle: ein spieltheoretisch lernendes Systemkonzept
Author(s): Maghsudi, Setareh
Advisor(s): Stanczak, Slawomir
Referee(s): Caire, Giuseppe
Tassiulas, Leandros
Stanczak, Slawomir
Granting Institution: Technische Universität Berlin, Fakultät IV - Elektrotechnik und Informatik
Type: Doctoral Thesis
Language: English
Language Code: en
Abstract: Als eine der wichtigsten Schlüsseltechnologien für die zukünftige Kommunikationstechnik werden die mit direkter Gerät-zu-Gerät Kommunikation unterlegten zellularen Mobilfunknetze (Engl. underly Device-to-Device communications, D2D) angesehen. Sie können zur Verbesserung der Leistungsfähigkeit von zellularen Netzwerken beitragen. Die Hauptvorteile leiten sich aus der Wiederverwendung- (Engl. reuse-), Nachbarschaft- (Engl. Proximity) und der Hop-Gewinne ab. Diese können für erhöhte Abdeckung (Engl. coverage), Kapazität (Engl. capacity) und Quality-of-Service (QoS) in Mobilfunknetzen benutzt werden. Die Grundidee ist es, dass ausgewählte Gerätepaare zelluläre Spektren (Engl. cellular spectrum) wiederverwenden. Gleichzeitig ist darauf zu achten, dass solche direkten Übertragungen keine negativen Auswirkungen auf die traditionellen Zellnutzer haben. Trotz des großen Potenzials für Leistungssteigerungen, enthält die D2D Kommunikation einige Herausforderungen für die Systementwickler; dazu gehören Übertragungsmodus-Auswahl (Engl. transmission mode selection), Ressourcenallokation (Engl. resource allocation) und Interferenz-Management (Engl. interference management). Diese Herausforderungen verschärfen sich wegen des Mangels an genauen Kanalzustandsinformationen (Engl. channel state information) für die direkten D2D Verbindungen auf der Ebene der Basisstationen (Engl. base stations) und der drahtlosen Geräte (Engl. wireless devices). Um eine deutliche Erhöhung des Signalisierungsaufwandes (Engl. signaling overhead) zu vermeiden, besteht ein starkes Bedürfnis nach D2D Ressourcenallokationslösungen, die (i) in einer verteilten Weise implementiert werden können und (ii) einige Nebeninformationen (Engl. side-information), falls verfügbar, vorteilhaft nutzen können. Darüber hinaus müssen solche D2D Lösungen in der Lage sein, die folgenden Eigenschaften der Mobilfunknetzwerke zu behandeln: (i) Unsicherheit (Engl. uncertainty), die durch das zufällige Verhalten von Mobilfunkkanälen ebenso wie durch das unberechenbare Verhalten von Mobilfunknutzern verursacht ist und sich im Falle geringer Informationen auf der Ebene der Basisstation und/oder den Mobilfunknutzern weiterhin verschärft, und (ii) Konkurrenz zwischen den Mobilnutzern, die auf stark begrenzte drahtlose Ressourcen zuzugreifen versuchen. Im Rahmen dieser Arbeit wurde ein neuartiges theoretisches Systemkonzept entwickelt, das die verteilte Ressourcenallokation (Engl. decentralized resource allocation) unter Berücksichtigung der Unsicherheit betrachtet sowie Spieletheorie (Engl. game theory) und Verstärkendes Lernen (Engl. reinforcement learning) mit einbezieht. Innerhalb dieser Arbeit werden verteilte Mobilfunknetze mittels Multiagentsystemen (Engl. multi-agent systems) modelliert. Eine Anzahl von eigennützigen Agenten mit eingeschränkter Rationalität (Engl. bounded rationality) teilen begrenzte Ressourcen nur durch eine Auswahl an Entscheidungsstrategien (Engl. decision making strategy). Jedes dieser gemeinsame Entscheidungsprofile (Engl. joint action profile) ist verbunden mit Belohnungen (Engl. utility) oder Kosten (Engl. cost) für die Agenten. Die Agenten kämpfen deshalb für höhere Utility. Durch die Einbindung von lernenden Algorithmen (Engl. learning algorithms) in die spieltheoretische Formation, verbessern sich die Entscheidungen der Agenten mit der Zeit. Generell kann dies als Funktion der Belohnungen aus der bereits vergangenen Zeit und den möglicherweise zusätzlich erhaltenen Informationen ausgedrückt werden. Die so lernenden Agenten wollen die optimale langfristige Utility erreichen, zusammen mit einer Art von effizientem Gleichgewicht (Engl. equilibrium). Deswegen, kanndie verteilte Ressourcenallokation als Entwicklung von Entscheidungsstrategien formuliert werden. Die dazugehörigen Entscheidungsprofile sind jedoch nicht einzigartig. Sie hängen insbesondere von den Grundeigenschaften des Netzwerks ab. Diese sind z.B. die verfügbaren Informationen und/oder die Art der Zufälligkeit. Innerhalb dieser Arbeit werden verschiedene Netzwerke unter Berücksichtigung der oben gennannten Aspekte untersucht. Entsprechende Entscheidungsprofile werden für unterschiedliche Aspekte entwickelt, um das Problem der verteilten Ressourcenallokation zu lösen.
Device-to-device (D2D) communications underlaying a cellular infrastructure is regarded as one of the key technology enablers for future wireless networks. The main advantages of underlay D2D communications stem from the reuse-, proximity-, and hop gains, which can be utilized for enhanced coverage, capacity and quality-of-service in mobile networks. The basic idea consists in enabling suitably-selected nearby device pairs to reuse the cellular spectrum for direct data transfer, while ensuring that there is no detrimental impact on traditional cellular transmissions via base stations. Despite its great potential for performance gains, D2D communications poses some fundamental challenges to system designers. These challenges, which include D2D discovery, transmission mode selection, resource allocation and interference management, are exacerbated by the lack of timely and accurate channel state information for direct D2D links at the level of base stations and wireless devices. Therefore, in order to avoid a significant increase in the feedback and signaling overhead, there is a strong need for D2D resource allocation solutions that (i) are amenable to distributed implementation and (ii) can beneficially exploit some side-information made available at the level of D2D links through the network assistance. In addition, such D2D solutions must be capable of dealing with the following characteristics of mobile networks: (i) uncertainty, which is caused by the random nature of the wireless environment (including channels and users' behavior), and is further aggravated by the lack of information at the user level, and (ii) competition between users that attempt to access strictly limited wireless resources. To address these challenges, the core objective of this thesis is to develop and study a novel theoretical framework for network-assistedD2D resource allocation that incorporates game theory and reinforcement learning. We model a distributed D2D wireless network as a multi-agent system, in which a set of self-interested smart agents with bounded rationality share limited resources, by taking actions according to some decision making strategy. Every joint action profile is associated with some reward (or cost) for each agent, and the agents selfishly compete for access to resources in order to achieve a higher utility. By incorporating a learning model into a game-theoretical formulation, the agents' actions evolve over time, in general as a function of the past outcomes and the (possibly) observed side-information. Therefore, for the learning agents which strive for optimality in some sense in the long run, the distributed resource allocation problem can be rephrased as a decision making problem, to be solved by developing decision making strategies whose outcomes are some sort of efficient equilibria. An appropriate decision making strategy is however not unique, and depends strongly on the basic characteristics of the underlying networks such as the type of randomness and information availability. We study selected types of networks in the context of the features mentioned above, and develop decision making strategies for distributed resource allocation problem.
URI: urn:nbn:de:kobv:83-opus4-65076
http://depositonce.tu-berlin.de/handle/11303/4705
http://dx.doi.org/10.14279/depositonce-4408
Exam Date: 23-Mar-2015
Issue Date: 15-Apr-2015
Date Available: 15-Apr-2015
DDC Class: 629 Andere Fachrichtungen der Ingenieurwissenschaften
Subject(s): Lernen
Mobilfunknetze
Ressourcenallokation
Spieltheorie
Game theroy
learning
multi-armed bandits
resource allocation
wireless networks
Usage rights: Terms of German Copyright Law
Appears in Collections:Institut für Telekommunikationssysteme » Publications

Files in This Item:
File Description SizeFormat 
maghsudi_setareh.pdf1.29 MBAdobe PDFThumbnail
View/Open


Items in DepositOnce are protected by copyright, with all rights reserved, unless otherwise indicated.