]> err.no Git - linux-2.6/blobdiff - drivers/net/mv643xx_eth.c
at91_ether: use netstats in net_device structure
[linux-2.6] / drivers / net / mv643xx_eth.c
index 3c8591853999ae87232f85cb5624f7c3d74bddde..83a877f3a553ee94611dced9e87d28f2222aecaf 100644 (file)
@@ -55,7 +55,7 @@
 #include <asm/system.h>
 
 static char mv643xx_eth_driver_name[] = "mv643xx_eth";
-static char mv643xx_eth_driver_version[] = "1.0";
+static char mv643xx_eth_driver_version[] = "1.1";
 
 #define MV643XX_ETH_CHECKSUM_OFFLOAD_TX
 #define MV643XX_ETH_NAPI
@@ -96,6 +96,7 @@ static char mv643xx_eth_driver_version[] = "1.0";
 #define TX_BW_MTU(p)                   (0x0458 + ((p) << 10))
 #define TX_BW_BURST(p)                 (0x045c + ((p) << 10))
 #define INT_CAUSE(p)                   (0x0460 + ((p) << 10))
+#define  INT_TX_END                    0x07f80000
 #define  INT_RX                                0x0007fbfc
 #define  INT_EXT                       0x00000002
 #define INT_CAUSE_EXT(p)               (0x0464 + ((p) << 10))
@@ -103,16 +104,20 @@ static char mv643xx_eth_driver_version[] = "1.0";
 #define  INT_EXT_PHY                   0x00010000
 #define  INT_EXT_TX_ERROR_0            0x00000100
 #define  INT_EXT_TX_0                  0x00000001
-#define  INT_EXT_TX                    0x00000101
+#define  INT_EXT_TX                    0x0000ffff
 #define INT_MASK(p)                    (0x0468 + ((p) << 10))
 #define INT_MASK_EXT(p)                        (0x046c + ((p) << 10))
 #define TX_FIFO_URGENT_THRESHOLD(p)    (0x0474 + ((p) << 10))
+#define TXQ_FIX_PRIO_CONF_MOVED(p)     (0x04dc + ((p) << 10))
+#define TX_BW_RATE_MOVED(p)            (0x04e0 + ((p) << 10))
+#define TX_BW_MTU_MOVED(p)             (0x04e8 + ((p) << 10))
+#define TX_BW_BURST_MOVED(p)           (0x04ec + ((p) << 10))
 #define RXQ_CURRENT_DESC_PTR(p, q)     (0x060c + ((p) << 10) + ((q) << 4))
 #define RXQ_COMMAND(p)                 (0x0680 + ((p) << 10))
-#define TXQ_CURRENT_DESC_PTR(p)                (0x06c0 + ((p) << 10))
-#define TXQ_BW_TOKENS(p)               (0x0700 + ((p) << 10))
-#define TXQ_BW_CONF(p)                 (0x0704 + ((p) << 10))
-#define TXQ_BW_WRR_CONF(p)             (0x0708 + ((p) << 10))
+#define TXQ_CURRENT_DESC_PTR(p, q)     (0x06c0 + ((p) << 10) + ((q) << 2))
+#define TXQ_BW_TOKENS(p, q)            (0x0700 + ((p) << 10) + ((q) << 4))
+#define TXQ_BW_CONF(p, q)              (0x0704 + ((p) << 10) + ((q) << 4))
+#define TXQ_BW_WRR_CONF(p, q)          (0x0708 + ((p) << 10) + ((q) << 4))
 #define MIB_COUNTERS(p)                        (0x1000 + ((p) << 7))
 #define SPECIAL_MCAST_TABLE(p)         (0x1400 + ((p) << 10))
 #define OTHER_MCAST_TABLE(p)           (0x1500 + ((p) << 10))
@@ -248,6 +253,8 @@ struct mv643xx_eth_shared_private {
         * Hardware-specific parameters.
         */
        unsigned int t_clk;
+       int extended_rx_coal_limit;
+       int tx_bw_control_moved;
 };
 
 
@@ -303,6 +310,8 @@ struct rx_queue {
 };
 
 struct tx_queue {
+       int index;
+
        int tx_ring_size;
 
        int tx_desc_count;
@@ -347,7 +356,9 @@ struct mv643xx_eth_private {
        int default_tx_ring_size;
        unsigned long tx_desc_sram_addr;
        int tx_desc_sram_size;
-       struct tx_queue txq[1];
+       u8 txq_mask;
+       int txq_primary;
+       struct tx_queue txq[8];
 #ifdef MV643XX_ETH_TX_FAST_REFILL
        int tx_clean_threshold;
 #endif
@@ -374,7 +385,7 @@ static struct mv643xx_eth_private *rxq_to_mp(struct rx_queue *rxq)
 
 static struct mv643xx_eth_private *txq_to_mp(struct tx_queue *txq)
 {
-       return container_of(txq, struct mv643xx_eth_private, txq[0]);
+       return container_of(txq, struct mv643xx_eth_private, txq[txq->index]);
 }
 
 static void rxq_enable(struct rx_queue *rxq)
@@ -396,13 +407,13 @@ static void rxq_disable(struct rx_queue *rxq)
 static void txq_enable(struct tx_queue *txq)
 {
        struct mv643xx_eth_private *mp = txq_to_mp(txq);
-       wrl(mp, TXQ_COMMAND(mp->port_num), 1);
+       wrl(mp, TXQ_COMMAND(mp->port_num), 1 << txq->index);
 }
 
 static void txq_disable(struct tx_queue *txq)
 {
        struct mv643xx_eth_private *mp = txq_to_mp(txq);
-       u8 mask = 1;
+       u8 mask = 1 << txq->index;
 
        wrl(mp, TXQ_COMMAND(mp->port_num), mask << 8);
        while (rdl(mp, TXQ_COMMAND(mp->port_num)) & mask)
@@ -413,6 +424,12 @@ static void __txq_maybe_wake(struct tx_queue *txq)
 {
        struct mv643xx_eth_private *mp = txq_to_mp(txq);
 
+       /*
+        * netif_{stop,wake}_queue() flow control only applies to
+        * the primary queue.
+        */
+       BUG_ON(txq->index != mp->txq_primary);
+
        if (txq->tx_ring_size - txq->tx_desc_count >= MAX_DESCS_PER_SKB)
                netif_wake_queue(mp->dev);
 }
@@ -472,7 +489,7 @@ static void rxq_refill(struct rx_queue *rxq)
                skb_reserve(skb, 2);
        }
 
-       if (rxq->rx_desc_count == 0) {
+       if (rxq->rx_desc_count != rxq->rx_ring_size) {
                rxq->rx_oom.expires = jiffies + (HZ / 10);
                add_timer(&rxq->rx_oom);
        }
@@ -593,8 +610,10 @@ static int mv643xx_eth_poll(struct napi_struct *napi, int budget)
 
 #ifdef MV643XX_ETH_TX_FAST_REFILL
        if (++mp->tx_clean_threshold > 5) {
-               txq_reclaim(mp->txq, 0);
                mp->tx_clean_threshold = 0;
+               for (i = 0; i < 8; i++)
+                       if (mp->txq_mask & (1 << i))
+                               txq_reclaim(mp->txq + i, 0);
        }
 #endif
 
@@ -607,7 +626,7 @@ static int mv643xx_eth_poll(struct napi_struct *napi, int budget)
                netif_rx_complete(mp->dev, napi);
                wrl(mp, INT_CAUSE(mp->port_num), 0);
                wrl(mp, INT_CAUSE_EXT(mp->port_num), 0);
-               wrl(mp, INT_MASK(mp->port_num), INT_RX | INT_EXT);
+               wrl(mp, INT_MASK(mp->port_num), INT_TX_END | INT_RX | INT_EXT);
        }
 
        return rx;
@@ -754,8 +773,6 @@ static int mv643xx_eth_xmit(struct sk_buff *skb, struct net_device *dev)
        struct tx_queue *txq;
        unsigned long flags;
 
-       BUG_ON(netif_queue_stopped(dev));
-
        if (has_tiny_unaligned_frags(skb) && __skb_linearize(skb)) {
                stats->tx_dropped++;
                dev_printk(KERN_DEBUG, &dev->dev,
@@ -766,13 +783,15 @@ static int mv643xx_eth_xmit(struct sk_buff *skb, struct net_device *dev)
 
        spin_lock_irqsave(&mp->lock, flags);
 
-       txq = mp->txq;
+       txq = mp->txq + mp->txq_primary;
 
        if (txq->tx_ring_size - txq->tx_desc_count < MAX_DESCS_PER_SKB) {
-               printk(KERN_ERR "%s: transmit with queue full\n", dev->name);
-               netif_stop_queue(dev);
                spin_unlock_irqrestore(&mp->lock, flags);
-               return NETDEV_TX_BUSY;
+               if (txq->index == mp->txq_primary && net_ratelimit())
+                       dev_printk(KERN_ERR, &dev->dev,
+                                  "primary tx queue full?!\n");
+               kfree_skb(skb);
+               return NETDEV_TX_OK;
        }
 
        txq_submit_skb(txq, skb);
@@ -780,8 +799,13 @@ static int mv643xx_eth_xmit(struct sk_buff *skb, struct net_device *dev)
        stats->tx_packets++;
        dev->trans_start = jiffies;
 
-       if (txq->tx_ring_size - txq->tx_desc_count < MAX_DESCS_PER_SKB)
-               netif_stop_queue(dev);
+       if (txq->index == mp->txq_primary) {
+               int entries_left;
+
+               entries_left = txq->tx_ring_size - txq->tx_desc_count;
+               if (entries_left < MAX_DESCS_PER_SKB)
+                       netif_stop_queue(dev);
+       }
 
        spin_unlock_irqrestore(&mp->lock, flags);
 
@@ -812,9 +836,15 @@ static void tx_set_rate(struct mv643xx_eth_private *mp, int rate, int burst)
        if (bucket_size > 65535)
                bucket_size = 65535;
 
-       wrl(mp, TX_BW_RATE(mp->port_num), token_rate);
-       wrl(mp, TX_BW_MTU(mp->port_num), mtu);
-       wrl(mp, TX_BW_BURST(mp->port_num), bucket_size);
+       if (mp->shared->tx_bw_control_moved) {
+               wrl(mp, TX_BW_RATE_MOVED(mp->port_num), token_rate);
+               wrl(mp, TX_BW_MTU_MOVED(mp->port_num), mtu);
+               wrl(mp, TX_BW_BURST_MOVED(mp->port_num), bucket_size);
+       } else {
+               wrl(mp, TX_BW_RATE(mp->port_num), token_rate);
+               wrl(mp, TX_BW_MTU(mp->port_num), mtu);
+               wrl(mp, TX_BW_BURST(mp->port_num), bucket_size);
+       }
 }
 
 static void txq_set_rate(struct tx_queue *txq, int rate, int burst)
@@ -831,8 +861,8 @@ static void txq_set_rate(struct tx_queue *txq, int rate, int burst)
        if (bucket_size > 65535)
                bucket_size = 65535;
 
-       wrl(mp, TXQ_BW_TOKENS(mp->port_num), token_rate << 14);
-       wrl(mp, TXQ_BW_CONF(mp->port_num),
+       wrl(mp, TXQ_BW_TOKENS(mp->port_num, txq->index), token_rate << 14);
+       wrl(mp, TXQ_BW_CONF(mp->port_num, txq->index),
                        (bucket_size << 10) | token_rate);
 }
 
@@ -845,10 +875,13 @@ static void txq_set_fixed_prio_mode(struct tx_queue *txq)
        /*
         * Turn on fixed priority mode.
         */
-       off = TXQ_FIX_PRIO_CONF(mp->port_num);
+       if (mp->shared->tx_bw_control_moved)
+               off = TXQ_FIX_PRIO_CONF_MOVED(mp->port_num);
+       else
+               off = TXQ_FIX_PRIO_CONF(mp->port_num);
 
        val = rdl(mp, off);
-       val |= 1;
+       val |= 1 << txq->index;
        wrl(mp, off, val);
 }
 
@@ -861,16 +894,19 @@ static void txq_set_wrr(struct tx_queue *txq, int weight)
        /*
         * Turn off fixed priority mode.
         */
-       off = TXQ_FIX_PRIO_CONF(mp->port_num);
+       if (mp->shared->tx_bw_control_moved)
+               off = TXQ_FIX_PRIO_CONF_MOVED(mp->port_num);
+       else
+               off = TXQ_FIX_PRIO_CONF(mp->port_num);
 
        val = rdl(mp, off);
-       val &= ~1;
+       val &= ~(1 << txq->index);
        wrl(mp, off, val);
 
        /*
         * Configure WRR weight for this queue.
         */
-       off = TXQ_BW_WRR_CONF(mp->port_num);
+       off = TXQ_BW_WRR_CONF(mp->port_num, txq->index);
 
        val = rdl(mp, off);
        val = (val & ~0xff) | (weight & 0xff);
@@ -1074,6 +1110,22 @@ static int mv643xx_eth_get_settings(struct net_device *dev, struct ethtool_cmd *
        return err;
 }
 
+static int mv643xx_eth_get_settings_phyless(struct net_device *dev, struct ethtool_cmd *cmd)
+{
+       cmd->supported = SUPPORTED_MII;
+       cmd->advertising = ADVERTISED_MII;
+       cmd->speed = SPEED_1000;
+       cmd->duplex = DUPLEX_FULL;
+       cmd->port = PORT_MII;
+       cmd->phy_address = 0;
+       cmd->transceiver = XCVR_INTERNAL;
+       cmd->autoneg = AUTONEG_DISABLE;
+       cmd->maxtxpkt = 1;
+       cmd->maxrxpkt = 1;
+
+       return 0;
+}
+
 static int mv643xx_eth_set_settings(struct net_device *dev, struct ethtool_cmd *cmd)
 {
        struct mv643xx_eth_private *mp = netdev_priv(dev);
@@ -1091,6 +1143,11 @@ static int mv643xx_eth_set_settings(struct net_device *dev, struct ethtool_cmd *
        return err;
 }
 
+static int mv643xx_eth_set_settings_phyless(struct net_device *dev, struct ethtool_cmd *cmd)
+{
+       return -EINVAL;
+}
+
 static void mv643xx_eth_get_drvinfo(struct net_device *dev,
                                    struct ethtool_drvinfo *drvinfo)
 {
@@ -1108,6 +1165,11 @@ static int mv643xx_eth_nway_reset(struct net_device *dev)
        return mii_nway_restart(&mp->mii);
 }
 
+static int mv643xx_eth_nway_reset_phyless(struct net_device *dev)
+{
+       return -EINVAL;
+}
+
 static u32 mv643xx_eth_get_link(struct net_device *dev)
 {
        struct mv643xx_eth_private *mp = netdev_priv(dev);
@@ -1115,6 +1177,11 @@ static u32 mv643xx_eth_get_link(struct net_device *dev)
        return mii_link_ok(&mp->mii);
 }
 
+static u32 mv643xx_eth_get_link_phyless(struct net_device *dev)
+{
+       return 1;
+}
+
 static void mv643xx_eth_get_strings(struct net_device *dev,
                                    uint32_t stringset, uint8_t *data)
 {
@@ -1174,6 +1241,18 @@ static const struct ethtool_ops mv643xx_eth_ethtool_ops = {
        .get_sset_count         = mv643xx_eth_get_sset_count,
 };
 
+static const struct ethtool_ops mv643xx_eth_ethtool_ops_phyless = {
+       .get_settings           = mv643xx_eth_get_settings_phyless,
+       .set_settings           = mv643xx_eth_set_settings_phyless,
+       .get_drvinfo            = mv643xx_eth_get_drvinfo,
+       .nway_reset             = mv643xx_eth_nway_reset_phyless,
+       .get_link               = mv643xx_eth_get_link_phyless,
+       .set_sg                 = ethtool_op_set_sg,
+       .get_strings            = mv643xx_eth_get_strings,
+       .get_ethtool_stats      = mv643xx_eth_get_ethtool_stats,
+       .get_sset_count         = mv643xx_eth_get_sset_count,
+};
+
 
 /* address handling *********************************************************/
 static void uc_addr_get(struct mv643xx_eth_private *mp, unsigned char *addr)
@@ -1415,13 +1494,15 @@ static void rxq_deinit(struct rx_queue *rxq)
        kfree(rxq->rx_skb);
 }
 
-static int txq_init(struct mv643xx_eth_private *mp)
+static int txq_init(struct mv643xx_eth_private *mp, int index)
 {
-       struct tx_queue *txq = mp->txq;
+       struct tx_queue *txq = mp->txq + index;
        struct tx_desc *tx_desc;
        int size;
        int i;
 
+       txq->index = index;
+
        txq->tx_ring_size = mp->default_tx_ring_size;
 
        txq->tx_desc_count = 0;
@@ -1430,7 +1511,7 @@ static int txq_init(struct mv643xx_eth_private *mp)
 
        size = txq->tx_ring_size * sizeof(struct tx_desc);
 
-       if (size <= mp->tx_desc_sram_size) {
+       if (index == mp->txq_primary && size <= mp->tx_desc_sram_size) {
                txq->tx_desc_area = ioremap(mp->tx_desc_sram_addr,
                                                mp->tx_desc_sram_size);
                txq->tx_desc_dma = mp->tx_desc_sram_addr;
@@ -1467,7 +1548,7 @@ static int txq_init(struct mv643xx_eth_private *mp)
 
 
 out_free:
-       if (size <= mp->tx_desc_sram_size)
+       if (index == mp->txq_primary && size <= mp->tx_desc_sram_size)
                iounmap(txq->tx_desc_area);
        else
                dma_free_coherent(NULL, size,
@@ -1539,7 +1620,8 @@ static void txq_deinit(struct tx_queue *txq)
 
        BUG_ON(txq->tx_used_desc != txq->tx_curr_desc);
 
-       if (txq->tx_desc_area_size <= mp->tx_desc_sram_size)
+       if (txq->index == mp->txq_primary &&
+           txq->tx_desc_area_size <= mp->tx_desc_sram_size)
                iounmap(txq->tx_desc_area);
        else
                dma_free_coherent(NULL, txq->tx_desc_area_size,
@@ -1578,12 +1660,20 @@ static void update_pscr(struct mv643xx_eth_private *mp, int speed, int duplex)
                if ((pscr_o & SERIAL_PORT_ENABLE) == 0)
                        wrl(mp, PORT_SERIAL_CONTROL(mp->port_num), pscr_n);
                else {
-                       txq_disable(mp->txq);
+                       int i;
+
+                       for (i = 0; i < 8; i++)
+                               if (mp->txq_mask & (1 << i))
+                                       txq_disable(mp->txq + i);
+
                        pscr_o &= ~SERIAL_PORT_ENABLE;
                        wrl(mp, PORT_SERIAL_CONTROL(mp->port_num), pscr_o);
                        wrl(mp, PORT_SERIAL_CONTROL(mp->port_num), pscr_n);
                        wrl(mp, PORT_SERIAL_CONTROL(mp->port_num), pscr_n);
-                       txq_enable(mp->txq);
+
+                       for (i = 0; i < 8; i++)
+                               if (mp->txq_mask & (1 << i))
+                                       txq_enable(mp->txq + i);
                }
        }
 }
@@ -1594,8 +1684,10 @@ static irqreturn_t mv643xx_eth_irq(int irq, void *dev_id)
        struct mv643xx_eth_private *mp = netdev_priv(dev);
        u32 int_cause;
        u32 int_cause_ext;
+       u32 txq_active;
 
-       int_cause = rdl(mp, INT_CAUSE(mp->port_num)) & (INT_RX | INT_EXT);
+       int_cause = rdl(mp, INT_CAUSE(mp->port_num)) &
+                       (INT_TX_END | INT_RX | INT_EXT);
        if (int_cause == 0)
                return IRQ_NONE;
 
@@ -1607,15 +1699,23 @@ static irqreturn_t mv643xx_eth_irq(int irq, void *dev_id)
        }
 
        if (int_cause_ext & (INT_EXT_PHY | INT_EXT_LINK)) {
-               if (mii_link_ok(&mp->mii)) {
-                       struct ethtool_cmd cmd;
+               if (mp->phy_addr == -1 || mii_link_ok(&mp->mii)) {
+                       int i;
+
+                       if (mp->phy_addr != -1) {
+                               struct ethtool_cmd cmd;
+
+                               mii_ethtool_gset(&mp->mii, &cmd);
+                               update_pscr(mp, cmd.speed, cmd.duplex);
+                       }
+
+                       for (i = 0; i < 8; i++)
+                               if (mp->txq_mask & (1 << i))
+                                       txq_enable(mp->txq + i);
 
-                       mii_ethtool_gset(&mp->mii, &cmd);
-                       update_pscr(mp, cmd.speed, cmd.duplex);
-                       txq_enable(mp->txq);
                        if (!netif_carrier_ok(dev)) {
                                netif_carrier_on(dev);
-                               __txq_maybe_wake(mp->txq);
+                               __txq_maybe_wake(mp->txq + mp->txq_primary);
                        }
                } else if (netif_carrier_ok(dev)) {
                        netif_stop_queue(dev);
@@ -1643,9 +1743,39 @@ static irqreturn_t mv643xx_eth_irq(int irq, void *dev_id)
        }
 #endif
 
+       txq_active = rdl(mp, TXQ_COMMAND(mp->port_num));
+
+       /*
+        * TxBuffer or TxError set for any of the 8 queues?
+        */
        if (int_cause_ext & INT_EXT_TX) {
-               txq_reclaim(mp->txq, 0);
-               __txq_maybe_wake(mp->txq);
+               int i;
+
+               for (i = 0; i < 8; i++)
+                       if (mp->txq_mask & (1 << i))
+                               txq_reclaim(mp->txq + i, 0);
+       }
+
+       /*
+        * Any TxEnd interrupts?
+        */
+       if (int_cause & INT_TX_END) {
+               int i;
+
+               wrl(mp, INT_CAUSE(mp->port_num), ~(int_cause & INT_TX_END));
+               for (i = 0; i < 8; i++) {
+                       struct tx_queue *txq = mp->txq + i;
+                       if (txq->tx_desc_count && !((txq_active >> i) & 1))
+                               txq_enable(txq);
+               }
+       }
+
+       /*
+        * Enough space again in the primary TX queue for a full packet?
+        */
+       if (int_cause_ext & INT_EXT_TX) {
+               struct tx_queue *txq = mp->txq + mp->txq_primary;
+               __txq_maybe_wake(txq);
        }
 
        return IRQ_HANDLED;
@@ -1668,7 +1798,6 @@ static void phy_reset(struct mv643xx_eth_private *mp)
 static void port_start(struct mv643xx_eth_private *mp)
 {
        u32 pscr;
-       struct ethtool_cmd ethtool_cmd;
        int i;
 
        /*
@@ -1688,19 +1817,29 @@ static void port_start(struct mv643xx_eth_private *mp)
 
        wrl(mp, SDMA_CONFIG(mp->port_num), PORT_SDMA_CONFIG_DEFAULT_VALUE);
 
-       mv643xx_eth_get_settings(mp->dev, &ethtool_cmd);
-       phy_reset(mp);
-       mv643xx_eth_set_settings(mp->dev, &ethtool_cmd);
+       /*
+        * Perform PHY reset, if there is a PHY.
+        */
+       if (mp->phy_addr != -1) {
+               struct ethtool_cmd cmd;
+
+               mv643xx_eth_get_settings(mp->dev, &cmd);
+               phy_reset(mp);
+               mv643xx_eth_set_settings(mp->dev, &cmd);
+       }
 
        /*
         * Configure TX path and queues.
         */
        tx_set_rate(mp, 1000000000, 16777216);
-       for (i = 0; i < 1; i++) {
-               struct tx_queue *txq = mp->txq;
-               int off = TXQ_CURRENT_DESC_PTR(mp->port_num);
+       for (i = 0; i < 8; i++) {
+               struct tx_queue *txq = mp->txq + i;
+               int off = TXQ_CURRENT_DESC_PTR(mp->port_num, i);
                u32 addr;
 
+               if ((mp->txq_mask & (1 << i)) == 0)
+                       continue;
+
                addr = (u32)txq->tx_desc_dma;
                addr += txq->tx_curr_desc * sizeof(struct tx_desc);
                wrl(mp, off, addr);
@@ -1747,14 +1886,22 @@ static void port_start(struct mv643xx_eth_private *mp)
 static void set_rx_coal(struct mv643xx_eth_private *mp, unsigned int delay)
 {
        unsigned int coal = ((mp->shared->t_clk / 1000000) * delay) / 64;
+       u32 val;
 
-       if (coal > 0x3fff)
-               coal = 0x3fff;
-
-       wrl(mp, SDMA_CONFIG(mp->port_num),
-               ((coal & 0x3fff) << 8) |
-               (rdl(mp, SDMA_CONFIG(mp->port_num))
-                       & 0xffc000ff));
+       val = rdl(mp, SDMA_CONFIG(mp->port_num));
+       if (mp->shared->extended_rx_coal_limit) {
+               if (coal > 0xffff)
+                       coal = 0xffff;
+               val &= ~0x023fff80;
+               val |= (coal & 0x8000) << 10;
+               val |= (coal & 0x7fff) << 7;
+       } else {
+               if (coal > 0x3fff)
+                       coal = 0x3fff;
+               val &= ~0x003fff00;
+               val |= (coal & 0x3fff) << 8;
+       }
+       wrl(mp, SDMA_CONFIG(mp->port_num), val);
 }
 
 static void set_tx_coal(struct mv643xx_eth_private *mp, unsigned int delay)
@@ -1801,9 +1948,18 @@ static int mv643xx_eth_open(struct net_device *dev)
                rxq_refill(mp->rxq + i);
        }
 
-       err = txq_init(mp);
-       if (err)
-               goto out_free;
+       for (i = 0; i < 8; i++) {
+               if ((mp->txq_mask & (1 << i)) == 0)
+                       continue;
+
+               err = txq_init(mp, i);
+               if (err) {
+                       while (--i >= 0)
+                               if (mp->txq_mask & (1 << i))
+                                       txq_deinit(mp->txq + i);
+                       goto out_free;
+               }
+       }
 
 #ifdef MV643XX_ETH_NAPI
        napi_enable(&mp->napi);
@@ -1817,7 +1973,7 @@ static int mv643xx_eth_open(struct net_device *dev)
        wrl(mp, INT_MASK_EXT(mp->port_num),
            INT_EXT_LINK | INT_EXT_PHY | INT_EXT_TX);
 
-       wrl(mp, INT_MASK(mp->port_num), INT_RX | INT_EXT);
+       wrl(mp, INT_MASK(mp->port_num), INT_TX_END | INT_RX | INT_EXT);
 
        return 0;
 
@@ -1840,8 +1996,9 @@ static void port_reset(struct mv643xx_eth_private *mp)
        for (i = 0; i < 8; i++) {
                if (mp->rxq_mask & (1 << i))
                        rxq_disable(mp->rxq + i);
+               if (mp->txq_mask & (1 << i))
+                       txq_disable(mp->txq + i);
        }
-       txq_disable(mp->txq);
        while (!(rdl(mp, PORT_STATUS(mp->port_num)) & TX_FIFO_EMPTY))
                udelay(10);
 
@@ -1875,8 +2032,9 @@ static int mv643xx_eth_stop(struct net_device *dev)
        for (i = 0; i < 8; i++) {
                if (mp->rxq_mask & (1 << i))
                        rxq_deinit(mp->rxq + i);
+               if (mp->txq_mask & (1 << i))
+                       txq_deinit(mp->txq + i);
        }
-       txq_deinit(mp->txq);
 
        return 0;
 }
@@ -1885,7 +2043,10 @@ static int mv643xx_eth_ioctl(struct net_device *dev, struct ifreq *ifr, int cmd)
 {
        struct mv643xx_eth_private *mp = netdev_priv(dev);
 
-       return generic_mii_ioctl(&mp->mii, if_mii(ifr), cmd, NULL);
+       if (mp->phy_addr != -1)
+               return generic_mii_ioctl(&mp->mii, if_mii(ifr), cmd, NULL);
+
+       return -EOPNOTSUPP;
 }
 
 static int mv643xx_eth_change_mtu(struct net_device *dev, int new_mtu)
@@ -1928,7 +2089,7 @@ static void tx_timeout_task(struct work_struct *ugly)
                port_reset(mp);
                port_start(mp);
 
-               __txq_maybe_wake(mp->txq);
+               __txq_maybe_wake(mp->txq + mp->txq_primary);
        }
 }
 
@@ -1951,7 +2112,7 @@ static void mv643xx_eth_netpoll(struct net_device *dev)
 
        mv643xx_eth_irq(dev->irq, dev);
 
-       wrl(mp, INT_MASK(mp->port_num), INT_RX | INT_CAUSE_EXT);
+       wrl(mp, INT_MASK(mp->port_num), INT_TX_END | INT_RX | INT_CAUSE_EXT);
 }
 #endif
 
@@ -2008,6 +2169,30 @@ mv643xx_eth_conf_mbus_windows(struct mv643xx_eth_shared_private *msp,
        msp->win_protect = win_protect;
 }
 
+static void infer_hw_params(struct mv643xx_eth_shared_private *msp)
+{
+       /*
+        * Check whether we have a 14-bit coal limit field in bits
+        * [21:8], or a 16-bit coal limit in bits [25,21:7] of the
+        * SDMA config register.
+        */
+       writel(0x02000000, msp->base + SDMA_CONFIG(0));
+       if (readl(msp->base + SDMA_CONFIG(0)) & 0x02000000)
+               msp->extended_rx_coal_limit = 1;
+       else
+               msp->extended_rx_coal_limit = 0;
+
+       /*
+        * Check whether the TX rate control registers are in the
+        * old or the new place.
+        */
+       writel(1, msp->base + TX_BW_MTU_MOVED(0));
+       if (readl(msp->base + TX_BW_MTU_MOVED(0)) & 1)
+               msp->tx_bw_control_moved = 1;
+       else
+               msp->tx_bw_control_moved = 0;
+}
+
 static int mv643xx_eth_shared_probe(struct platform_device *pdev)
 {
        static int mv643xx_eth_version_printed = 0;
@@ -2046,6 +2231,7 @@ static int mv643xx_eth_shared_probe(struct platform_device *pdev)
         * Detect hardware parameters.
         */
        msp->t_clk = (pd != NULL && pd->t_clk != 0) ? pd->t_clk : 133000000;
+       infer_hw_params(msp);
 
        platform_set_drvdata(pdev, msp);
 
@@ -2139,6 +2325,12 @@ static void set_params(struct mv643xx_eth_private *mp,
                mp->default_tx_ring_size = pd->tx_queue_size;
        mp->tx_desc_sram_addr = pd->tx_sram_addr;
        mp->tx_desc_sram_size = pd->tx_sram_size;
+
+       if (pd->tx_queue_mask)
+               mp->txq_mask = pd->tx_queue_mask;
+       else
+               mp->txq_mask = 0x01;
+       mp->txq_primary = fls(mp->txq_mask) - 1;
 }
 
 static int phy_detect(struct mv643xx_eth_private *mp)
@@ -2251,10 +2443,15 @@ static int mv643xx_eth_probe(struct platform_device *pdev)
        mib_counters_clear(mp);
        INIT_WORK(&mp->tx_timeout_task, tx_timeout_task);
 
-       err = phy_init(mp, pd);
-       if (err)
-               goto out;
-       SET_ETHTOOL_OPS(dev, &mv643xx_eth_ethtool_ops);
+       if (mp->phy_addr != -1) {
+               err = phy_init(mp, pd);
+               if (err)
+                       goto out;
+
+               SET_ETHTOOL_OPS(dev, &mv643xx_eth_ethtool_ops);
+       } else {
+               SET_ETHTOOL_OPS(dev, &mv643xx_eth_ethtool_ops_phyless);
+       }
 
 
        res = platform_get_resource(pdev, IORESOURCE_IRQ, 0);
@@ -2373,8 +2570,8 @@ static void __exit mv643xx_eth_cleanup_module(void)
 }
 module_exit(mv643xx_eth_cleanup_module);
 
-MODULE_AUTHOR("Rabeeh Khoury, Assaf Hoffman, Matthew Dharm, Manish Lachwani "
-             "and Dale Farnsworth");
+MODULE_AUTHOR("Rabeeh Khoury, Assaf Hoffman, Matthew Dharm, "
+             "Manish Lachwani, Dale Farnsworth and Lennert Buytenhek");
 MODULE_DESCRIPTION("Ethernet driver for Marvell MV643XX");
 MODULE_LICENSE("GPL");
 MODULE_ALIAS("platform:" MV643XX_ETH_SHARED_NAME);