ArrayList

要点总结:

  1. ArrayList中维护了一个Object类型的数组elementData;
  2. 当创建对象时,如果使用的是无参构造器,则初始elementData容量为0(jdk7是10);
  3. 如果使用的是指定容量capacity的构造器,则初始elementData容量为capacity;
  4. 当添加元素时,先判断是否需要扩容,如果需要扩容,则调用grow方法,否则直接添加元素到合适位置;
  5. 如果使用的是无参构造器,如果第一次添加,需要扩容的话则扩容elementData为10,如果需要再次扩容的话elementData为1.5倍;
  6. 如果使用的是指定容量capacity的构造器,如果需要扩容,则直接扩容elementData为1.5倍。

属性

  1. public class ArrayList<E> extends AbstractList<E>
  2. implements List<E>, RandomAccess, Cloneable, java.io.Serializable
  3. {
  4. private static final long serialVersionUID = 8683452581122892189L;
  5. /**
  6. * 初始容量
  7. */
  8. private static final int DEFAULT_CAPACITY = 10;
  9. /**
  10. * 空对象
  11. */
  12. private static final Object[] EMPTY_ELEMENTDATA = {};
  13. /**
  14. * 一个空对象,如果使用默认构造函数创建,则默认对象内容默认是该值
  15. */
  16. private static final Object[] DEFAULTCAPACITY_EMPTY_ELEMENTDATA = {};
  17. /**
  18. * 当前数据对象存放地方,当前对象不参与序列化
  19. */
  20. transient Object[] elementData;
  21. /**
  22. * 当前数组长度
  23. */
  24. private int size;
  25. /**
  26. * 最大长度
  27. */
  28. private static final int MAX_ARRAY_SIZE = Integer.MAX_VALUE - 8;
  29. ...
  30. }

构造方法

  1. public ArrayList() {
  2. this.elementData = DEFAULTCAPACITY_EMPTY_ELEMENTDATA;
  3. }

无参构造方法创建时,会默认创建容量为空的Object数组,而不是10,只有当add()时,才分配大小。

add()

  1. public boolean add(E e) {
  2. ensureCapacityInternal(size + 1);
  3. elementData[size++] = e;
  4. return true;
  5. }

首先会先判断是否需要扩容,不需要就使用数组添加元素的方法。

grow()

  1. private void grow(int minCapacity) {
  2. // overflow-conscious code
  3. int oldCapacity = elementData.length;
  4. int newCapacity = oldCapacity + (oldCapacity >> 1);
  5. if (newCapacity - minCapacity < 0)
  6. newCapacity = minCapacity;
  7. if (newCapacity - MAX_ARRAY_SIZE > 0)
  8. newCapacity = hugeCapacity(minCapacity);
  9. // minCapacity is usually close to size, so this is a win:
  10. elementData = Arrays.copyOf(elementData, newCapacity);
  11. }

扩容时,会扩容1.5倍,同时进行最小最大容量判断,最后通过Arrays.copyOf()来复制新的数组。

LinkedList

LinkedList底层维护着一个Node组成的双向链表。

Node内部类

  1. private static class Node<E> {
  2. E item;
  3. Node<E> next;
  4. Node<E> prev;
  5. Node(Node<E> prev, E element, Node<E> next) {
  6. this.item = element;
  7. this.next = next;
  8. this.prev = prev;
  9. }
  10. }

它有着指向上一个结点的prev以及指向下一个结点的next。

属性

  1. transient int size = 0;
  2. // 指向第一个结点
  3. transient Node<E> first;
  4. // 指向最后一个结点
  5. transient Node<E> last;

add

  1. public boolean add(E e) {
  2. linkLast(e);
  3. return true;
  4. }
  5. /**
  6. * 添加为链尾元素
  7. */
  8. void linkLast(E e) {
  9. final Node<E> l = last;
  10. final Node<E> newNode = new Node<>(l, e, null);
  11. last = newNode;
  12. if (l == null)
  13. first = newNode;
  14. else
  15. l.next = newNode;
  16. size++;
  17. modCount++;
  18. }

从源码看出,add()方法是添加链尾元素。

get

  1. public E get(int index) {
  2. // 下标合法性检查
  3. checkElementIndex(index);
  4. // 进行遍历搜索
  5. return node(index).item;
  6. }
  7. Node<E> node(int index) {
  8. // assert isElementIndex(index);
  9. // 小于size/2,从左向右遍历
  10. if (index < (size >> 1)) {
  11. Node<E> x = first;
  12. for (int i = 0; i < index; i++)
  13. x = x.next;
  14. return x;
  15. } else {
  16. // 大于size/2,从右向左遍历
  17. Node<E> x = last;
  18. for (int i = size - 1; i > index; i--)
  19. x = x.prev;
  20. return x;
  21. }
  22. }

当进行get获取元素的时候,首先进行下标的合法性检查,检查完毕后,如果下标小于size/2,从左向右遍历搜索;否则从右向左遍历搜索。

remove

  1. public E remove(int index) {
  2. checkElementIndex(index);
  3. return unlink(node(index));
  4. }
  5. E unlink(Node<E> x) {
  6. // assert x != null;
  7. final E element = x.item;
  8. final Node<E> next = x.next;
  9. final Node<E> prev = x.prev;
  10. if (prev == null) {
  11. first = next;
  12. } else {
  13. prev.next = next;
  14. x.prev = null;
  15. }
  16. if (next == null) {
  17. last = prev;
  18. } else {
  19. next.prev = prev;
  20. x.next = null;
  21. }
  22. x.item = null;
  23. size--;
  24. modCount++;
  25. return element;
  26. }

同样的,删除元素时,先判断下标合法性,查找对应元素,然后执行链表的删除流程。

除了List接口的几个方法外,LinkedList还实现了Deque的几个方法,如addFirst(E e),addLast(E e),push(E e),peek()方法等。

CopyOnWriteArrayList

ArrayList的线程安全版本。

ArrayList线程不安全场景

由于添加元素为elementData[size++] = e,可能elementData[1]的值可能被赋值两次,而size++执行了两次,导致elementData[2]为空;
也有可能是elementData需要扩容了,但是多线程并发导致都判断为不需要扩容,刚好放下,所以会抛出越界异常。

属性

  1. public class CopyOnWriteArrayList<E>
  2. implements List<E>, RandomAccess, Cloneable, java.io.Serializable {
  3. private static final long serialVersionUID = 8673264195747942595L;
  4. /** The lock protecting all mutators */
  5. final transient ReentrantLock lock = new ReentrantLock();
  6. /** The array, accessed only via getArray/setArray. */
  7. private transient volatile Object[] array;
  8. }

主要有两个关键属性,一个是ReentrantLock,一个是Object数组。

add

  1. public boolean add(E e) {
  2. final ReentrantLock lock = this.lock;
  3. lock.lock();
  4. try {
  5. Object[] elements = getArray();
  6. int len = elements.length;
  7. Object[] newElements = Arrays.copyOf(elements, len + 1);
  8. newElements[len] = e;
  9. setArray(newElements);
  10. return true;
  11. } finally {
  12. lock.unlock();
  13. }
  14. }

首先会锁住,然后创建新的数组,然后添加元素到新数组中,这样可以保持读写分离。因为读的时候还是老的array。

HashMap

HashMap主要是采用数组加链表的形式存储k,v的一种Java集合类。通过计算key的hash值,将其散列到数组上。如果造成Hash冲突的话会在数组这个位置上加一个链表,当链表长度超过8的时候,会转成红黑树,目的是为了节省查询开销。

image-20200213155357496.png

属性

  1. public class HashMap<K,V> extends AbstractMap<K,V>
  2. implements Map<K,V>, Cloneable, Serializable {
  3. private static final long serialVersionUID = 362498820763181265L;
  4. // 初始容量为16
  5. static final int DEFAULT_INITIAL_CAPACITY = 1 << 4;
  6. // 最大容量
  7. static final int MAXIMUM_CAPACITY = 1 << 30;
  8. // 扩容因子
  9. static final float DEFAULT_LOAD_FACTOR = 0.75f;
  10. // 转红黑树的阈值
  11. static final int TREEIFY_THRESHOLD = 8;
  12. // 转链表的阈值
  13. static final int UNTREEIFY_THRESHOLD = 6;
  14. // 转红黑树的最小容量
  15. static final int MIN_TREEIFY_CAPACITY = 64;
  16. // 桶数组,使用transient表示不用进行序列化,原因是数据数量会小于数组容量,造成空数据的缓存, 同时序列化后的散列函数不一定一样,可能造成数据错位
  17. transient Node<K,V>[] table;
  18. // 映射的视图
  19. transient Set<Map.Entry<K,V>> entrySet;
  20. // 集合元素的数量
  21. transient int size;
  22. // 修改次数,用于快速失败
  23. transient int modCount;
  24. // 扩容后的容量阈值
  25. int threshold;
  26. // 加载因子
  27. final float loadFactor;
  28. static class Node<K,V> implements Map.Entry<K,V> {
  29. final int hash;
  30. final K key;
  31. V value;
  32. Node<K,V> next;
  33. ...
  34. }
  35. ...
  36. }

hash

  1. static final int hash(Object key) {
  2. int h;
  3. return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);
  4. }

可以发现,HashMap key可以为null,同时求hash是通过高低十六位异或得出的,目的是为了更好地散列。

get

  1. public V get(Object key) {
  2. Node<K,V> e;
  3. return (e = getNode(hash(key), key)) == null ? null : e.value;
  4. }
  5. final Node<K,V> getNode(int hash, Object key) {
  6. Node<K,V>[] tab; Node<K,V> first, e; int n; K k;
  7. // first=tab[(n-1)&hash]表示查找节点散列到桶上的值
  8. if ((tab = table) != null && (n = tab.length) > 0 &&
  9. (first = tab[(n - 1) & hash]) != null) {
  10. // 先检查这个链表上的第一个元素的hash值
  11. if (first.hash == hash &&
  12. ((k = first.key) == key || (key != null && key.equals(k))))
  13. return first;
  14. if ((e = first.next) != null) {
  15. if (first instanceof TreeNode)
  16. // 如果是树类型,进入树的get逻辑
  17. return ((TreeNode<K,V>)first).getTreeNode(hash, key);
  18. do {
  19. // 否则循环查找
  20. if (e.hash == hash &&
  21. ((k = e.key) == key || (key != null && key.equals(k))))
  22. return e;
  23. } while ((e = e.next) != null);
  24. }
  25. }
  26. return null;
  27. }

get()步骤如下:

  1. 先查找当前结点散列到桶上的位置,使用(n-1)&hash来计算;
  2. 判断第一个元素是否就是预期值;
  3. 如果不是判断是否是红黑树,如果是红黑树进入树的get逻辑;
  4. 循环链表查找元素。

put

  1. public V put(K key, V value) {
  2. return putVal(hash(key), key, value, false, true);
  3. }
  4. final V putVal(int hash, K key, V value, boolean onlyIfAbsent,
  5. boolean evict) {
  6. Node<K,V>[] tab; Node<K,V> p; int n, i;
  7. // 参数校验阶段
  8. if ((tab = table) == null || (n = tab.length) == 0)
  9. n = (tab = resize()).length;
  10. if ((p = tab[i = (n - 1) & hash]) == null)
  11. // 如果桶上此位置没有元素,就插入
  12. tab[i] = newNode(hash, key, value, null);
  13. else {
  14. Node<K,V> e; K k;
  15. if (p.hash == hash &&
  16. ((k = p.key) == key || (key != null && key.equals(k))))
  17. e = p;
  18. else if (p instanceof TreeNode)
  19. // 如果是红黑树,转树的逻辑
  20. e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value);
  21. else {
  22. // 链表
  23. for (int binCount = 0; ; ++binCount) {
  24. if ((e = p.next) == null) {
  25. p.next = newNode(hash, key, value, null);
  26. if (binCount >= TREEIFY_THRESHOLD - 1)
  27. // 如果元素超过8,就树化
  28. treeifyBin(tab, hash);
  29. break;
  30. }
  31. if (e.hash == hash &&
  32. ((k = e.key) == key || (key != null && key.equals(k))))
  33. break;
  34. p = e;
  35. }
  36. }
  37. if (e != null) { // existing mapping for key
  38. V oldValue = e.value;
  39. if (!onlyIfAbsent || oldValue == null)
  40. e.value = value;
  41. afterNodeAccess(e);
  42. return oldValue;
  43. }
  44. }
  45. ++modCount;
  46. if (++size > threshold)
  47. // 判断是否需要扩容
  48. resize();
  49. afterNodeInsertion(evict);
  50. return null;
  51. }

push()步骤如下:

  1. 参数校验,判断table是否需要初始化;
  2. 计算散列值,判断位置上的元素是否为空,如果为空就新建Node结点插入;
  3. 判断是否是红黑树,如果是红黑树就进入树的插入逻辑;
  4. 进入链表插入逻辑,如果插入后的元素值大于8就转红黑树;
  5. 插入完成后,判断容器是否需要扩容。

resize

  1. final Node<K,V>[] resize() {
  2. Node<K,V>[] oldTab = table;
  3. int oldCap = (oldTab == null) ? 0 : oldTab.length;
  4. int oldThr = threshold;
  5. int newCap, newThr = 0;
  6. // 旧桶不为空
  7. if (oldCap > 0) {
  8. if (oldCap >= MAXIMUM_CAPACITY) {
  9. threshold = Integer.MAX_VALUE;
  10. return oldTab;
  11. }
  12. else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
  13. oldCap >= DEFAULT_INITIAL_CAPACITY)
  14. // 新桶长度为旧桶的两倍
  15. newThr = oldThr << 1;
  16. }
  17. else if (oldThr > 0) // initial capacity was placed in threshold
  18. newCap = oldThr;
  19. else {
  20. // 初始化桶
  21. newCap = DEFAULT_INITIAL_CAPACITY;
  22. newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);
  23. }
  24. if (newThr == 0) {
  25. // 新桶的阈值为容量*0.75
  26. float ft = (float)newCap * loadFactor;
  27. newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
  28. (int)ft : Integer.MAX_VALUE);
  29. }
  30. threshold = newThr;
  31. @SuppressWarnings({"rawtypes","unchecked"})
  32. // 构造新桶
  33. Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap];
  34. table = newTab;
  35. if (oldTab != null) {
  36. // 迁移原桶中的数据
  37. for (int j = 0; j < oldCap; ++j) {
  38. Node<K,V> e;
  39. if ((e = oldTab[j]) != null) {
  40. oldTab[j] = null;
  41. if (e.next == null)
  42. // 只有一个元素
  43. newTab[e.hash & (newCap - 1)] = e;
  44. else if (e instanceof TreeNode)
  45. // 红黑树的逻辑
  46. ((TreeNode<K,V>)e).split(this, newTab, j, oldCap);
  47. else {
  48. // 迁移链表
  49. Node<K,V> loHead = null, loTail = null;
  50. Node<K,V> hiHead = null, hiTail = null;
  51. Node<K,V> next;
  52. do {
  53. next = e.next;
  54. // 拆分为两个链表
  55. // 最高位==0,说明索引不变
  56. if ((e.hash & oldCap) == 0) {
  57. if (loTail == null)
  58. loHead = e;
  59. else
  60. loTail.next = e;
  61. loTail = e;
  62. }
  63. // 最高位==1,说明索引发生了改变
  64. else {
  65. if (hiTail == null)
  66. hiHead = e;
  67. else
  68. hiTail.next = e;
  69. hiTail = e;
  70. }
  71. } while ((e = next) != null);
  72. if (loTail != null) {
  73. loTail.next = null;
  74. // 放在新桶的相同下标j处
  75. newTab[j] = loHead;
  76. }
  77. if (hiTail != null) {
  78. hiTail.next = null;
  79. // 放在新桶下标j+oldCap处
  80. newTab[j + oldCap] = hiHead;
  81. }
  82. }
  83. }
  84. }
  85. }
  86. return newTab;
  87. }

resize()步骤如下:

  1. 设置新桶的容量以及重新设置扩容阈值;
  2. 循环迁移,判断当前索引下元素数量是否为1,为1则直接迁移;
  3. 判断是否是红黑树,是的话进入树的迁移逻辑;
  4. 进入链表的迁移逻辑,创建两个链表,根据hash&oldCap==0来插入对应的数据,如果是等于0,就放入新表的原位置上,否则放在新表(原位置+oldCap)位置上。

treeifyBin

红黑树:

  • 一个节点标记为红色或者黑色
  • 根是黑色的
  • 如果一个节点是红色的,那么它的子节点必须是黑色的(这就是为什么叫红黑树)。
  • 一个节点到到一个null引用的每一条路径必须包含相同数目的黑色节点(所以红色节点不影响)。

红黑树的几个特色:

  • 新加入的节点必须是红色的,因为加入黑色节点会破坏该路径上黑色节点的数量。
  • 与AVL树相比,节点不用保存节点高度变量,节省内存,同时,不是以递归实现,而是以循环实现,最坏时间复杂度为O(logN)。
  • 有三种变换,分别是单旋转、双旋转(两次相反的旋转),上下颠倒(最后一个变换是指当两个子节点都是红色,为了防止冲突,则将两个叶子结点变为黑色,根结点先变红,再变黑)。
  1. final void treeifyBin(Node<K,V>[] tab, int hash) {
  2. int n, index; Node<K,V> e;
  3. if (tab == null || (n = tab.length) < MIN_TREEIFY_CAPACITY)
  4. // 扩容
  5. resize();
  6. else if ((e = tab[index = (n - 1) & hash]) != null) {
  7. TreeNode<K,V> hd = null, tl = null;
  8. do {
  9. // 将节点包装成TreeNode
  10. TreeNode<K,V> p = replacementTreeNode(e, null);
  11. if (tl == null)
  12. hd = p;
  13. else {
  14. // 将所有节点连接成链表结构
  15. p.prev = tl;
  16. tl.next = p;
  17. }
  18. tl = p;
  19. } while ((e = e.next) != null);
  20. if ((tab[index] = hd) != null)
  21. // 对链表进行树化
  22. hd.treeify(tab);
  23. }
  24. }
  25. final void treeify(Node<K,V>[] tab) {
  26. TreeNode<K,V> root = null;
  27. // for循环遍历链表
  28. for (TreeNode<K,V> x = this, next; x != null; x = next) {
  29. next = (TreeNode<K,V>)x.next;
  30. x.left = x.right = null;
  31. if (root == null) {
  32. x.parent = null;
  33. x.red = false;
  34. root = x;
  35. }
  36. else {
  37. K k = x.key;
  38. int h = x.hash;
  39. Class<?> kc = null;
  40. // 此时已经有了根节点,现在进行for循环自顶向下进行添加
  41. for (TreeNode<K,V> p = root;;) {
  42. int dir, ph;
  43. K pk = p.key;
  44. if ((ph = p.hash) > h)
  45. dir = -1;
  46. else if (ph < h)
  47. dir = 1;
  48. else if ((kc == null &&
  49. (kc = comparableClassFor(k)) == null) ||
  50. (dir = compareComparables(kc, k, pk)) == 0)
  51. dir = tieBreakOrder(k, pk);
  52. TreeNode<K,V> xp = p;
  53. // 找到适合添加的位置
  54. if ((p = (dir <= 0) ? p.left : p.right) == null) {
  55. x.parent = xp;
  56. if (dir <= 0)
  57. xp.left = x;
  58. else
  59. xp.right = x;
  60. // 维护添加后红黑树的红黑结构,具体有左旋转和右旋转等
  61. root = balanceInsertion(root, x);
  62. break;
  63. }
  64. }
  65. }
  66. }
  67. moveRootToFront(tab, root);
  68. }

treeifyBin()步骤如下:

  1. 首先判断是否需要扩容;
  2. 将节点包装成Node,构造成链表的结构;
  3. 将链表树化,自顶向下构造红黑树,每构造完一个节点,就通过balanceInsertion方法维护红黑树,具体有左旋转和右旋转。

    线程不安全场景

  4. 多线程插入会互相覆盖值的问题;

  5. 1.7版本扩容时使用头插法可能造成环形链表。

    null场景

    hashMap支持key和value为null,但是null作为key只能有一个,null作为value可以有多个。key为null hash值为0。

    为什么扩容因子选择0.75?

    加载因子 = 填入哈希表中的数据个数 / 哈希表的长度
    这就意味着:
  • 加载因子越小,填满的数据就越少,哈希冲突的几率就减少了,但浪费了空间,而且还会提高扩容的触发几率;
  • 加载因子越大,填满的数据就越多,空间利用率就高,但哈希冲突的几率就变大了。

而为什么是0.75是靠泊松分布来得到的。

为什么扩容乘以2?

一方面扩容乘以2可以保证空间永远是2的幂次,获取桶可以通过位运算,提高效率;还有另外一个原因,那就是在扩容迁移的时候不需要再重新通过哈希定位新的位置了。扩容后,元素新的位置,要么在原脚标位,要么在原脚标位+扩容长度这么一个位置是否移位,由扩容后表示的最高位是否1为所决定,由于移动的方向只有一个,即向高位移动。因此,可以根据对最高位进行检测的结果来决定是否移位,从而可以优化性能,不用每一个元素都进行移位,因为为0说明刚好在移位完之后的位置,为1说明需要移动oldCap。

ConcurrentHashMap

HashMap的线程安全版本,并且是fast-safe。在jdk1.8是使用CAS+Sychronized实现的,jdk1.7是使用分段锁实现的,为什么放弃分段锁官方的说法如下:

  • 加入多个分段锁浪费内存空间,毕竟只有链表的头结点与红黑树的根结点需要同步。
  • 生产环境中,map 在放入时竞争同一个锁的概率非常小,分段锁反而会造成更新等操作的长时间等待。
  • 为了提高 GC 的效率。

    1.7版本

    分段锁概念
    先分段再锁,将原本的一整个的Entry数组分成了若干段,分别将这若干段放在了不同的新的Segment数组中(分房间),每个Segment有各自的锁,以此提高效率。
    1.7版本ConcurrentHashMap 与HashMap和Hashtable 最大的不同在于:put和 get 两次Hash到达指定的HashEntry,第一次hash到达Segment,第二次到达Segment里面的Entry,然后在遍历entry链表.
    获取数目
    多线程下,size是不准确的,可能随时有删除,添加,所以这边需要特殊处理:
    使用不加锁的模式去尝试多次计算ConcurrentHashMap的size,最多三次,比较前后两次计算的结果,结果一致就认为当前没有元素加入,计算的结果是准确的;如果不一致,则会给每个Segment加上锁,然后计算ConcurrentHashMap的size返回。

    属性

  1. public class ConcurrentHashMap<K,V> extends AbstractMap<K,V>
  2. implements ConcurrentMap<K,V>, Serializable {
  3. private static final long serialVersionUID = 7249069246763182397L;
  4. private static final int MAXIMUM_CAPACITY = 1 << 30;
  5. private static final int DEFAULT_CAPACITY = 16;
  6. static final int MAX_ARRAY_SIZE = Integer.MAX_VALUE - 8;
  7. private static final int DEFAULT_CONCURRENCY_LEVEL = 16;
  8. private static final float LOAD_FACTOR = 0.75f;
  9. static final int TREEIFY_THRESHOLD = 8;
  10. static final int UNTREEIFY_THRESHOLD = 6;
  11. static final int MIN_TREEIFY_CAPACITY = 64;
  12. private static final int MIN_TRANSFER_STRIDE = 16;
  13. // sizeCtl用于生成stamp的位数
  14. private static int RESIZE_STAMP_BITS = 16;
  15. /* ---------------- Fields -------------- */
  16. transient volatile Node<K,V>[] table;
  17. // 只有扩容时才不为空
  18. private transient volatile Node<K,V>[] nextTable;
  19. // 计数器,通过CAS更新
  20. private transient volatile long baseCount;
  21. // 0默认值,-1表示正在哈希表初始化,大于0表示threshold,小于-1表示多个线程在扩容
  22. private transient volatile int sizeCtl;
  23. ...
  24. }

initTable

  1. private final Node<K,V>[] initTable() {
  2. Node<K,V>[] tab; int sc;
  3. // 参数校验
  4. while ((tab = table) == null || tab.length == 0) {
  5. // sizeCtl<0,说明正在初始化,直接放弃操作
  6. if ((sc = sizeCtl) < 0)
  7. Thread.yield(); // lost initialization race; just spin
  8. else if (U.compareAndSwapInt(this, SIZECTL, sc, -1)) {
  9. try {
  10. // 双重校验
  11. if ((tab = table) == null || tab.length == 0) {
  12. int n = (sc > 0) ? sc : DEFAULT_CAPACITY;
  13. @SuppressWarnings("unchecked")
  14. Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n];
  15. table = tab = nt;
  16. // 阈值=n*0.75
  17. sc = n - (n >>> 2);
  18. }
  19. } finally {
  20. // 设置阈值
  21. sizeCtl = sc;
  22. }
  23. break;
  24. }
  25. }
  26. return tab;
  27. }

初始化表时,只允许一个线程对表进行初始化,如果有其他线程进来了,就执行Thread.yield()。

helpTransfer

  1. final Node<K,V>[] helpTransfer(Node<K,V>[] tab, Node<K,V> f) {
  2. Node<K,V>[] nextTab; int sc;
  3. if (tab != null && (f instanceof ForwardingNode) &&
  4. (nextTab = ((ForwardingNode<K,V>)f).nextTable) != null) {
  5. // 返回16位的扩容校验标识
  6. int rs = resizeStamp(tab.length);
  7. while (nextTab == nextTable && table == tab &&
  8. (sc = sizeCtl) < 0) {
  9. // 判断校验标识是否相等,如果不相等或者扩容已经完成,直接退出循环
  10. if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
  11. sc == rs + MAX_RESIZERS || transferIndex <= 0)
  12. break;
  13. if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1)) {
  14. // sc+1表示新增了一个线程进行扩容,进入transfer
  15. transfer(tab, nextTab);
  16. break;
  17. }
  18. }
  19. return nextTab;
  20. }
  21. return table;
  22. }
  23. private final void transfer(Node<K,V>[] tab, Node<K,V>[] nextTab) {
  24. int n = tab.length, stride;
  25. // 参数校验
  26. if ((stride = (NCPU > 1) ? (n >>> 3) / NCPU : n) < MIN_TRANSFER_STRIDE)
  27. stride = MIN_TRANSFER_STRIDE; // subdivide range
  28. // 刚开始扩容,初始化nextTab
  29. if (nextTab == null) { // initiating
  30. try {
  31. @SuppressWarnings("unchecked")
  32. Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n << 1];
  33. nextTab = nt;
  34. } catch (Throwable ex) { // try to cope with OOME
  35. sizeCtl = Integer.MAX_VALUE;
  36. return;
  37. }
  38. nextTable = nextTab;
  39. // 指向最后一个桶,方便从后向前遍历
  40. transferIndex = n;
  41. }
  42. int nextn = nextTab.length;
  43. ForwardingNode<K,V> fwd = new ForwardingNode<K,V>(nextTab);
  44. boolean advance = true;
  45. boolean finishing = false; // to ensure sweep before committing nextTab
  46. // i指向当前桶,bound表示要处理的区间下限
  47. for (int i = 0, bound = 0;;) {
  48. Node<K,V> f; int fh;
  49. while (advance) {
  50. int nextIndex, nextBound;
  51. if (--i >= bound || finishing)
  52. advance = false;
  53. // 说明没有需要处理的桶了
  54. else if ((nextIndex = transferIndex) <= 0) {
  55. i = -1;
  56. advance = false;
  57. }
  58. // 更新transferIndex
  59. // 为当前线程分配任务,处理的区间为(nextBound,nextIndex)
  60. else if (U.compareAndSwapInt
  61. (this, TRANSFERINDEX, nextIndex,
  62. nextBound = (nextIndex > stride ?
  63. nextIndex - stride : 0))) {
  64. bound = nextBound;
  65. i = nextIndex - 1;
  66. advance = false;
  67. }
  68. }
  69. // 当前线程所有任务完成
  70. if (i < 0 || i >= n || i + n >= nextn) {
  71. int sc;
  72. if (finishing) {
  73. nextTable = null;
  74. table = nextTab;
  75. sizeCtl = (n << 1) - (n >>> 1);
  76. return;
  77. }
  78. if (U.compareAndSwapInt(this, SIZECTL, sc = sizeCtl, sc - 1)) {
  79. if ((sc - 2) != resizeStamp(n) << RESIZE_STAMP_SHIFT)
  80. return;
  81. finishing = advance = true;
  82. i = n; // recheck before commit
  83. }
  84. }
  85. // 待迁移桶为空,那么在此位置 CAS 添加 ForwardingNode 结点标识该桶已经被处理过了
  86. else if ((f = tabAt(tab, i)) == null)
  87. advance = casTabAt(tab, i, null, fwd);
  88. // 如果扫描到 ForwardingNode,说明此桶已经被处理过了,跳过即可
  89. else if ((fh = f.hash) == MOVED)
  90. advance = true; // already processed
  91. else {
  92. synchronized (f) {
  93. if (tabAt(tab, i) == f) {
  94. Node<K,V> ln, hn;
  95. // 链表迁移操作
  96. if (fh >= 0) {
  97. ...
  98. for (Node<K,V> p = f; p != lastRun; p = p.next) {
  99. int ph = p.hash; K pk = p.key; V pv = p.val;
  100. if ((ph & n) == 0)
  101. ln = new Node<K,V>(ph, pk, pv, ln);
  102. else
  103. hn = new Node<K,V>(ph, pk, pv, hn);
  104. }
  105. // 将两条链表迁移到nextTab中
  106. setTabAt(nextTab, i, ln);
  107. setTabAt(nextTab, i + n, hn);
  108. // 标识为已处理
  109. setTabAt(tab, i, fwd);
  110. advance = true;
  111. }
  112. // 红黑树
  113. else if (f instanceof TreeBin) {
  114. ...
  115. }
  116. }
  117. }
  118. }
  119. }
  120. }

helpTransfer()步骤如下:

  1. 前置参数校验,校验通过后进入扩容逻辑;
  2. 判断是否需要初始化nextTab,需要的话就初始化nextTab;
  3. 领取自己的任务区间,—i遍历自己的任务区间,对每个桶进行处理;
  4. 如果桶为空,标识为ForwardingNode 标识该桶已经被处理完成了;
  5. 如果已经处理了,就跳进下一个桶;
  6. 如果是正常的桶,锁住头结点,进行链表或者红黑树的迁移操作。

put

  1. final V putVal(K key, V value, boolean onlyIfAbsent) {
  2. if (key == null || value == null) throw new NullPointerException();
  3. // 计算哈希,高低十六位异或后,与运算一个0x7fffffff
  4. // (h ^ (h >>> 16)) & HASH_BITS
  5. int hash = spread(key.hashCode());
  6. int binCount = 0;
  7. for (Node<K,V>[] tab = table;;) {
  8. Node<K,V> f; int n, i, fh;
  9. // 初始化
  10. if (tab == null || (n = tab.length) == 0)
  11. tab = initTable();
  12. // 找到索引位置
  13. // 如果为空,CAS添加节点
  14. else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) {
  15. if (casTabAt(tab, i, null,
  16. new Node<K,V>(hash, key, value, null)))
  17. break; // no lock when adding to empty bin
  18. }
  19. // 如果检测到桶节点在扩容
  20. else if ((fh = f.hash) == MOVED)
  21. // 协助扩容
  22. tab = helpTransfer(tab, f);
  23. else {
  24. // 普通节点
  25. V oldVal = null;
  26. // 锁住头结点,尾插法
  27. synchronized (f) {
  28. if (tabAt(tab, i) == f) {
  29. // 普通链表
  30. if (fh >= 0) {
  31. binCount = 1;
  32. for (Node<K,V> e = f;; ++binCount) {
  33. K ek;
  34. if (e.hash == hash &&
  35. ((ek = e.key) == key ||
  36. (ek != null && key.equals(ek)))) {
  37. oldVal = e.val;
  38. if (!onlyIfAbsent)
  39. e.val = value;
  40. break;
  41. }
  42. Node<K,V> pred = e;
  43. if ((e = e.next) == null) {
  44. pred.next = new Node<K,V>(hash, key,
  45. value, null);
  46. break;
  47. }
  48. }
  49. }
  50. // 红黑树
  51. else if (f instanceof TreeBin) {
  52. Node<K,V> p;
  53. binCount = 2;
  54. if ((p = ((TreeBin<K,V>)f).putTreeVal(hash, key,
  55. value)) != null) {
  56. oldVal = p.val;
  57. if (!onlyIfAbsent)
  58. p.val = value;
  59. }
  60. }
  61. }
  62. }
  63. //binCount != 0 说明向链表或者红黑树中添加或修改一个节点成功
  64. //binCount == 0 说明 put 操作将一个新节点添加成为某个桶的首节点
  65. if (binCount != 0) {
  66. // 链表长度超过8,转红黑树
  67. if (binCount >= TREEIFY_THRESHOLD)
  68. treeifyBin(tab, i);
  69. // 说明是修改操作,无需检查是否要扩容,直接返回
  70. if (oldVal != null)
  71. return oldVal;
  72. break;
  73. }
  74. }
  75. }
  76. // CAS更新baseCount,并判断是否需要扩容
  77. addCount(1L, binCount);
  78. return null;
  79. }

put()步骤如下:

  1. 计算结点hash值:(h ^ (h >>> 16)) & HASH_BITS,找到桶位置;
  2. 如果是空节点,就CAS添加元素;
  3. 如果检测到桶节点在扩容,则协助扩容;
  4. 如果是普通结点,则锁住头结点,使用尾插法,进行链表或者红黑树的节点插入;
  5. 判断是否需要转红黑树,是否是修改操作,如果是修改操作,则直接返回;
  6. CAS更新baseCount,并判断是否需要扩容。

    size

    ```java public int size() { long n = sumCount(); return ((n < 0L) ? 0 :
    1. (n > (long)Integer.MAX_VALUE) ? Integer.MAX_VALUE :
    2. (int)n);
    }

final long sumCount() { CounterCell[] as = counterCells; CounterCell a; long sum = baseCount; if (as != null) { for (int i = 0; i < as.length; ++i) { if ((a = as[i]) != null) sum += a.value; } } return sum; }

@sun.misc.Contended static final class CounterCell { volatile long value; CounterCell(long x) { value = x; } }

  1. 可以发现,它是遍历CounterCell累加并加上baseCount得到最终大小。CounterCell中存放的是CAS更新失败的值。
  2. <a name="vhsQI"></a>
  3. ### HashSet
  4. 带着问题思考,HashSet怎么实现去重?
  5. ```java
  6. public class HashSet<E>
  7. extends AbstractSet<E>
  8. implements Set<E>, Cloneable, java.io.Serializable
  9. {
  10. static final long serialVersionUID = -5024744406713321676L;
  11. // 内部直接复用HashMap
  12. private transient HashMap<E,Object> map;
  13. // Dummy value to associate with an Object in the backing Map
  14. private static final Object PRESENT = new Object();
  15. /**
  16. * Constructs a new, empty set; the backing <tt>HashMap</tt> instance has
  17. * default initial capacity (16) and load factor (0.75).
  18. */
  19. public HashSet() {
  20. map = new HashMap<>();
  21. }
  22. public boolean add(E e) {
  23. // 待插入元素作为key值,而hashMap的key显然是不能重复的,所以hashSet成功实现了去重
  24. return map.put(e, PRESENT)==null;
  25. }
  26. }

ThreadLocal

线程本地变量,通过维护一个静态内部类ThreadLocalMap,通过k,v保存每个线程的副本,k是当前ThreadLocal实例对象,v是要保存的副本值。两个ThreadLocal可以用threadLocalHashCode标识。

使用场景

  • 每个线程需要有自己单独的实例。
  • 实例需要在多个方法中共享,但不希望被多线程共享。

具体举例:

  1. 登录时,存储用户信息:我们会选择在拦截器的业务中, 获取到保存的用户信息,然后存入ThreadLocal,那么当前线程在任何地方如果需要拿到用户信息都可以使用ThreadLocal的get()方法 (异步程序中ThreadLocal是不可靠的),这个场景使用的比较多,当用户登录后,会将用户信息存入Token中返回前端,当用户调用需要授权的接口时,需要在header中携带 Token,然后拦截器中解析Token,获取用户信息,调用自定义的类(AuthNHolder)存 ThreadLocal中,当请求结束的时候,将ThreadLocal存储数据清空, 中间的过程无需在关注如何获取用户信息,只需要使用工具类的get方法即可。
  2. 获取数据库连接时:每个请求线程使用Connection的时候,都会从ThreadLocal获取一次,如果为null,说明没有进行过数据库连接,连接后存入ThreadLocal中,如此一来,每一个请求线程都保存有一份 自己的Connection。于是便解决了线程安全问题,否则可能多个线程拿了同一个连接,彼此影响。

    ThreadLocalMap

    ThreadLocal的静态内部类,在Thread类中引用:
  1. static class ThreadLocalMap {
  2. static class Entry extends WeakReference<ThreadLocal<?>> {
  3. /** The value associated with this ThreadLocal. */
  4. Object value;
  5. Entry(ThreadLocal<?> k, Object v) {
  6. super(k);
  7. value = v;
  8. }
  9. }
  10. // 初始容量为16
  11. private static final int INITIAL_CAPACITY = 16;
  12. private Entry[] table;
  13. /**
  14. * 扩容时需要重新哈希
  15. */
  16. private void rehash() {
  17. expungeStaleEntries();
  18. // 当超过3/4容量时需要扩容
  19. if (size >= threshold - threshold / 4)
  20. resize();
  21. }
  22. /**
  23. * 扩容方法
  24. */
  25. private void resize() {
  26. Entry[] oldTab = table;
  27. int oldLen = oldTab.length;
  28. // 扩容为原来容量的2倍
  29. int newLen = oldLen * 2;
  30. Entry[] newTab = new Entry[newLen];
  31. int count = 0;
  32. ...
  33. }
  34. }

可以发现,跟HashMap是有异曲同工的,同样也是维护了一个Entry数组,并且初始容量为16,扩容阈值比为3/4,扩容因子为2,解决哈希冲突方法为开放寻址法。

Set()&&get()

  1. public void set(T value) {
  2. Thread t = Thread.currentThread();
  3. ThreadLocalMap map = getMap(t);
  4. if (map != null)
  5. // key是当前线程实例,value是用户上传的值
  6. map.set(this, value);
  7. else
  8. // 如果map还没创建就执行创建逻辑
  9. createMap(t, value);
  10. }
  11. private void set(ThreadLocal<?> key, Object value) {
  12. Entry[] tab = table;
  13. int len = tab.length;
  14. int i = key.threadLocalHashCode & (len-1);
  15. /**根据获取到的索引进行循环,如果当前索引上的table[i]不为空,在没有return的情况下,
  16. * 就使用nextIndex()获取下一个(线性探测法)。*/
  17. for (Entry e = tab[i];
  18. e != null;
  19. e = tab[i = nextIndex(i, len)]) {
  20. ThreadLocal<?> k = e.get();
  21. // table[i]上key不为空,并且和当前key相同,更新value
  22. if (k == key) {
  23. e.value = value;
  24. return;
  25. }
  26. /**table[i]上的key为空,说明被回收了
  27. * 说明改table[i]可以重新使用,用新的key-value将其替换,并删除其他无效的entry*/
  28. if (k == null) {
  29. replaceStaleEntry(key, value, i);
  30. return;
  31. }
  32. }
  33. // //不存在也没有旧元素就创建一个
  34. tab[i] = new Entry(key, value);
  35. int sz = ++size;
  36. if (!cleanSomeSlots(i, sz) && sz >= threshold)
  37. rehash();
  38. }
  39. public T get() {
  40. Thread t = Thread.currentThread();
  41. ThreadLocalMap map = getMap(t);
  42. if (map != null) {
  43. ThreadLocalMap.Entry e = map.getEntry(this);
  44. if (e != null) {
  45. @SuppressWarnings("unchecked")
  46. T result = (T)e.value;
  47. return result;
  48. }
  49. }
  50. return setInitialValue();
  51. }

注意点

  1. 线程池中线程调用使用ThreadLocal 由于线程池中对线程管理都是采用线程复用的方法。在线程池中线程非常难结束甚至于永远不会结束。这将意味着线程持续的时间将不可预測,甚至与JVM的生命周期一致
  2. 异步程序中,ThreadLocal的參数传递是不靠谱的, 由于线程将请求发送后。就不再等待远程返回结果继续向下运行了,真正的返回结果得到后,处理的线程可能是其他的线程。Java8中的并发流也要考虑这种情况
  3. 使用完ThreadLocal ,最好手动调用 remove() 方法,防止出现内存溢出,因为中使用的key为ThreadLocal的弱引用, 如果ThreadLocal没有被外部强引用的情况下,在垃圾回收的时候会被清理掉的,但是如果value是强引用,不会被清理, 这样一来就会出现 key 为 null 的 value。

    为什么ThreadLocal使用开放寻址法?

    ThreadLocal 往往存放的数据量不会特别大,使用开放寻址法更能节省空间,提高效率。

    ReentrantLock

    1.ReentrantLock可以根据构造方法实现公平和非公平锁。
    2.ReentrantLock是可重入的锁。
    3.ReentrantLock的核心就是AQS,内部类Sync继承AQS提供了非公平和公平锁的实现,AQS通过一个state成员变量和一个双向队列来实现的。state代表是否有线程访问当前的临界资源,通过CAS算法保证其原子性,state为0表示没有线程访问临界区资源。双端队列中存储了封装了当前线程的Node节点,共有五种状态表示当前节点的状态,默认为0。如果当前lock线程没有获取到锁,则会把当前线程封装成Node节点,扔到双端队列中,此时并不会挂起这个线程,而是通过tryAcquire尝试获取锁,如果获取锁还是不成功,就根据当前节点的前驱节点的状态waitStatus来判断是否需要挂起当前线程。当线程主动释放锁的时候,到队列中找到一个waitStatus不为CANCELED的节点,并唤醒这个节点的线程。

首先需要看下AQS的几个关键字段,重点关注state:

  1. static final class Node {
  2. /** 共享模式 */
  3. static final Node SHARED = new Node();
  4. /** 独占模式 */
  5. static final Node EXCLUSIVE = null;
  6. /** 当前线程因为超时或者中断被取消 */
  7. static final int CANCELLED = 1;
  8. /** 成功线程需要被唤醒 */
  9. static final int SIGNAL = -1;
  10. /** 在等待 */
  11. static final int CONDITION = -2;
  12. /**
  13. * 共享锁的唤醒
  14. */
  15. static final int PROPAGATE = -3;
  16. /**
  17. * Status field, taking on only the values:
  18. * SIGNAL: The successor of this node is (or will soon be)
  19. * blocked (via park), so the current node must
  20. * unpark its successor when it releases or
  21. * cancels. To avoid races, acquire methods must
  22. * first indicate they need a signal,
  23. * then retry the atomic acquire, and then,
  24. * on failure, block.
  25. * CANCELLED: This node is cancelled due to timeout or interrupt.
  26. * Nodes never leave this state. In particular,
  27. * a thread with cancelled node never again blocks.
  28. * CONDITION: This node is currently on a condition queue.
  29. * It will not be used as a sync queue node
  30. * until transferred, at which time the status
  31. * will be set to 0. (Use of this value here has
  32. * nothing to do with the other uses of the
  33. * field, but simplifies mechanics.)
  34. * PROPAGATE: A releaseShared should be propagated to other
  35. * nodes. This is set (for head node only) in
  36. * doReleaseShared to ensure propagation
  37. * continues, even if other operations have
  38. * since intervened.
  39. * 0: None of the above
  40. *
  41. * The values are arranged numerically to simplify use.
  42. * Non-negative values mean that a node doesn't need to
  43. * signal. So, most code doesn't need to check for particular
  44. * values, just for sign.
  45. *
  46. * The field is initialized to 0 for normal sync nodes, and
  47. * CONDITION for condition nodes. It is modified using CAS
  48. * (or when possible, unconditional volatile writes).
  49. */
  50. volatile int waitStatus;
  51. /**
  52. * 链表前节点
  53. */
  54. volatile Node prev;
  55. /**
  56. * 链表后节点
  57. */
  58. volatile Node next;
  59. /**
  60. * The thread that enqueued this node. Initialized on
  61. * construction and nulled out after use.
  62. */
  63. volatile Thread thread;
  64. /**
  65. * Link to next node waiting on condition, or the special
  66. * value SHARED. Because condition queues are accessed only
  67. * when holding in exclusive mode, we just need a simple
  68. * linked queue to hold nodes while they are waiting on
  69. * conditions. They are then transferred to the queue to
  70. * re-acquire. And because conditions can only be exclusive,
  71. * we save a field by using special value to indicate shared
  72. * mode.
  73. */
  74. Node nextWaiter;
  75. }

获取锁

以非公平锁为例

  1. // 1.ReentrantLock静态内部类
  2. static final class NonfairSync extends Sync {
  3. private static final long serialVersionUID = 7316153563782823691L;
  4. /**
  5. * Performs lock. Try immediate barge, backing up to normal
  6. * acquire on failure.
  7. */
  8. final void lock() {
  9. // 这里如果成功将AbstractQueuedSynchronizer的state值设置为1,代表没有出现多线程竞争的情况直接把当前线程设置为独占线程就好了,否则调用acquire方法。
  10. if (compareAndSetState(0, 1))
  11. setExclusiveOwnerThread(Thread.currentThread());
  12. else
  13. //
  14. acquire(1);
  15. }
  16. protected final boolean tryAcquire(int acquires) {
  17. // 3.调用sync的nonfairTryAcquire
  18. return nonfairTryAcquire(acquires);
  19. }
  20. }
  21. // 2.AQS的acquire
  22. public final void acquire(int arg) {
  23. if (!tryAcquire(arg) &&
  24. acquireQueued(addWaiter(Node.EXCLUSIVE), arg))
  25. selfInterrupt();
  26. }
  27. /**
  28. * 4.nonfairTryAcquire
  29. */
  30. abstract static class Sync extends AbstractQueuedSynchronizer {
  31. private static final long serialVersionUID = -5179523762034025860L;
  32. /**
  33. * Performs {@link Lock#lock}. The main reason for subclassing
  34. * is to allow fast path for nonfair version.
  35. */
  36. abstract void lock();
  37. /**
  38. * 非公平锁
  39. */
  40. final boolean nonfairTryAcquire(int acquires) {
  41. final Thread current = Thread.currentThread();
  42. int c = getState();
  43. // 为0代表当前没有线程占有临界资源
  44. if (c == 0) {
  45. // CAS更换状态
  46. if (compareAndSetState(0, acquires)) {
  47. // 如果CAS成功就把当前线程设置为独占线程
  48. setExclusiveOwnerThread(current);
  49. return true;
  50. }
  51. }
  52. // 如果state不为0,判断占有临界资源的线程是否和当前获取锁的线程是一个线程,如果是调用setState重置当前state的值,这里我们可以看出来,ReentrantLock它是可重入的锁和synchronized一样
  53. else if (current == getExclusiveOwnerThread()) {
  54. int nextc = c + acquires;
  55. if (nextc < 0) // overflow
  56. throw new Error("Maximum lock count exceeded");
  57. setState(nextc);
  58. return true;
  59. }
  60. // 尝试获取锁还是失败的话 回到AbstractQueuedSynchronizer的addWaiter方法
  61. return false;
  62. }
  63. }
  64. // 5.AQS的addWaiter
  65. private Node addWaiter(Node mode) {
  66. Node node = new Node(Thread.currentThread(), mode);
  67. // Try the fast path of enq; backup to full enq on failure
  68. Node pred = tail;
  69. if (pred != null) {
  70. node.prev = pred;
  71. // 自旋,将node放入队尾,这边就是双向链表实现的一个双端队列
  72. if (compareAndSetTail(pred, node)) {
  73. pred.next = node;
  74. return node;
  75. }
  76. }
  77. enq(node);
  78. return node;
  79. }
  80. // 6.获取锁
  81. final boolean acquireQueued(final Node node, int arg) {
  82. boolean failed = true;
  83. try {
  84. boolean interrupted = false;
  85. for (;;) {
  86. final Node p = node.predecessor();
  87. // 这里再次通过tryAcquire尝试去获取锁,如果获取锁成功 则不需要挂起当前线程
  88. if (p == head && tryAcquire(arg)) {
  89. setHead(node);
  90. p.next = null; // help GC
  91. failed = false;
  92. return interrupted;
  93. }
  94. // 如果上面尝试获取锁还是不成功,就根据前驱节点判断是否要阻塞 然后调用parkAndCheckInterrupt挂起当前线程。
  95. if (shouldParkAfterFailedAcquire(p, node) &&
  96. parkAndCheckInterrupt())
  97. interrupted = true;
  98. }
  99. } finally {
  100. if (failed)
  101. cancelAcquire(node);
  102. }
  103. }
  104. // 7.根据前驱结点状态判断是否需要挂起
  105. private static boolean shouldParkAfterFailedAcquire(Node pred, Node node) {
  106. // 获取前驱节点的状态
  107. int ws = pred.waitStatus;
  108. if (ws == Node.SIGNAL)
  109. /*
  110. * This node has already set status asking a release
  111. * to signal it, so it can safely park.
  112. */
  113. return true;
  114. if (ws > 0) {
  115. /*
  116. * 跳过CANCELLED状态
  117. */
  118. do {
  119. node.prev = pred = pred.prev;
  120. } while (pred.waitStatus > 0);
  121. pred.next = node;
  122. } else {
  123. /*
  124. * 当前驱节点状态为0或者PROAGATE(-3),设置前驱节点的等待状态为SINGAL,
  125. * 重新进入上面的死循环后 tryAcquire如果还是不成功 前驱节点的状态就是SIGNAL了 当前这个线程就会被挂起
  126. */
  127. compareAndSetWaitStatus(pred, ws, Node.SIGNAL);
  128. }
  129. return false;
  130. }

释放锁

  1. public void unlock() {
  2. sync.release(1);
  3. }
  4. public final boolean release(int arg) {
  5. // 1. 这里先调用tryRelease尝试释放锁
  6. if (tryRelease(arg)) {
  7. Node h = head;
  8. if (h != null && h.waitStatus != 0)
  9. unparkSuccessor(h);
  10. return true;
  11. }
  12. return false;
  13. }
  14. // 2.sync的释放锁
  15. protected final boolean tryRelease(int releases) {
  16. int c = getState() - releases;
  17. // 释放锁的线程不是当前独占线程则抛出异常
  18. if (Thread.currentThread() != getExclusiveOwnerThread())
  19. throw new IllegalMonitorStateException();
  20. boolean free = false;
  21. // 重新设置state值 如过state为0 当前独占线程设置为null
  22. if (c == 0) {
  23. free = true;
  24. setExclusiveOwnerThread(null);
  25. }
  26. setState(c);
  27. return free;
  28. }
  29. // 3.唤醒
  30. private void unparkSuccessor(Node node) {
  31. /*
  32. * 获取头节点的waitSatus
  33. */
  34. int ws = node.waitStatus;
  35. if (ws < 0)
  36. compareAndSetWaitStatus(node, ws, 0);
  37. // 找到头节点的下个节点
  38. Node s = node.next;
  39. // 如果这个节点是null或者waitStatus>0,就从队列尾部开始找找到一个waitStatus < 0的节点
  40. if (s == null || s.waitStatus > 0) {
  41. s = null;
  42. for (Node t = tail; t != null && t != node; t = t.prev)
  43. if (t.waitStatus <= 0)
  44. s = t;
  45. }
  46. if (s != null)
  47. // 通过LockSupport.unpark方法唤醒这个节点的线程
  48. LockSupport.unpark(s.thread);
  49. }

如果是公平锁,那么优先判断当前结点是否是队首元素,hasQueuedPredecessors为true说明存在前驱结点,会获取失败

  1. protected final boolean tryAcquire(int acquires) {
  2. final Thread current = Thread.currentThread();
  3. int c = getState();
  4. if (c == 0) {
  5. // 只有不存在前驱结点才可以获取成功
  6. if (!hasQueuedPredecessors() &&
  7. compareAndSetState(0, acquires)) {
  8. setExclusiveOwnerThread(current);
  9. return true;
  10. }
  11. }
  12. else if (current == getExclusiveOwnerThread()) {
  13. int nextc = c + acquires;
  14. if (nextc < 0)
  15. throw new Error("Maximum lock count exceeded");
  16. setState(nextc);
  17. return true;
  18. }
  19. return false;
  20. }
  21. public final boolean hasQueuedPredecessors() {
  22. // The correctness of this depends on head being initialized
  23. // before tail and on head.next being accurate if the current
  24. // thread is first in queue.
  25. Node t = tail; // Read fields in reverse initialization order
  26. Node h = head;
  27. Node s;
  28. return h != t &&
  29. ((s = h.next) == null || s.thread != Thread.currentThread());
  30. }

ThreadPool

线程池主要就是指定线程池核心线程数大小,最大线程数,存储的队列,拒绝策略,空闲线程存活时长。

当需要任务大于核心线程数时候,就开始把任务往存储任务的队列里,当存储队列满了的话,就开始增加线程池创建的线程数量,如果当线程数量也达到了最大,就开始执行拒绝策略,比如说记录日志,直接丢弃,或者丢弃最老的任务。

ThreadPoolExecutor

  1. public class ThreadPoolExecutor extends AbstractExecutorService {
  2. private final AtomicInteger ctl = new AtomicInteger(ctlOf(RUNNING, 0));
  3. // 32-3
  4. private static final int COUNT_BITS = Integer.SIZE - 3;
  5. private static final int CAPACITY = (1 << COUNT_BITS) - 1;
  6. // 线程池状态
  7. private static final int RUNNING = -1 << COUNT_BITS;
  8. private static final int SHUTDOWN = 0 << COUNT_BITS;
  9. private static final int STOP = 1 << COUNT_BITS;
  10. private static final int TIDYING = 2 << COUNT_BITS;
  11. private static final int TERMINATED = 3 << COUNT_BITS;
  12. // 线程工厂
  13. private volatile ThreadFactory threadFactory;
  14. // 存活时间
  15. private volatile long keepAliveTime;
  16. // 核心线程数
  17. private volatile int corePoolSize;
  18. // 最大线程数
  19. private volatile int maximumPoolSize;
  20. // 拒绝策略,默认为AbortPolicy()
  21. private static final RejectedExecutionHandler defaultHandler =
  22. new AbortPolicy();
  23. public ThreadPoolExecutor(int corePoolSize,
  24. int maximumPoolSize,
  25. long keepAliveTime,
  26. TimeUnit unit,
  27. BlockingQueue<Runnable> workQueue) {
  28. this(corePoolSize, maximumPoolSize, keepAliveTime, unit, workQueue,
  29. Executors.defaultThreadFactory(), defaultHandler);
  30. }
  31. ...
  32. }

状态改变:

image-20200213004709017.png

拒绝策略

  1. AbortPolicy——舍弃任务
    直接RejectedExecutionException抛出异常。
  2. CallerRunsPolicy——只用调用者所在线程来执行任务
    直接在 execute 方法的调用线程中运行被拒绝的任务;如果执行程序已关闭,则会丢弃该任务。
  3. DiscardOldestPolicy——丢弃最前任务
    丢弃队列最前面的任务,然后重新提交被拒绝的任务。
    DiscardPolicy——丢弃任务
    丢弃任务,但是不抛出异常。

四种经典线程池

  1. CachedThreadPool

    1. public static ExecutorService newCachedThreadPool() {
    2. return new ThreadPoolExecutor(0, Integer.MAX_VALUE,
    3. 60L, TimeUnit.SECONDS,
    4. new SynchronousQueue<Runnable>());
    5. }


    核心线程数为0,最大线程数为Integer.MAX_VALUE,适用于突然会有大量任务且可以短时间完成的场景,适用于处理I/O密集型,但是如果操作不当容易造成系统资源的耗尽,需要谨慎使用。

  2. FixedThreadPool

    1. public static ExecutorService newFixedThreadPool(int nThreads) {
    2. return new ThreadPoolExecutor(nThreads, nThreads,
    3. 0L, TimeUnit.MILLISECONDS,
    4. new LinkedBlockingQueue<Runnable>());
    5. }


    固定线程数,数目可以由用户提供,适用于处理cpu密集型的任务,确保cpu在长期被工作线程使用的情况下,尽可能少的分配线程,即适用长期的任务。

  3. SingleThreadExecutor

    1. public static ExecutorService newSingleThreadExecutor() {
    2. return new FinalizableDelegatedExecutorService
    3. (new ThreadPoolExecutor(1, 1,
    4. 0L, TimeUnit.MILLISECONDS,
    5. new LinkedBlockingQueue<Runnable>()));
    6. }


    只有一个线程数的线程池,适用于串行化任务,一个任务接着一个任务执行。

  4. ScheduledThreadPool ```java public static ScheduledExecutorService newScheduledThreadPool(int corePoolSize) { return new ScheduledThreadPoolExecutor(corePoolSize); }

public ScheduledThreadPoolExecutor(int corePoolSize) { super(corePoolSize, Integer.MAX_VALUE, 0, NANOSECONDS, new DelayedWorkQueue()); }

  1. <br />可以定时执行线程任务,创建实例完成后可以使用scheduleAtFixedRate()来设置执行时间间隔。
  2. <a name="kPzxB"></a>
  3. ### 阻塞队列ArrayBlockingQueue
  4. ```java
  5. public class ArrayBlockingQueue<E> extends AbstractQueue<E>
  6. implements BlockingQueue<E>, java.io.Serializable {
  7. /**
  8. * Serialization ID. This class relies on default serialization
  9. * even for the items array, which is default-serialized, even if
  10. * it is empty. Otherwise it could not be declared final, which is
  11. * necessary here.
  12. */
  13. private static final long serialVersionUID = -817911632652898426L;
  14. /** The queued items */
  15. final Object[] items;
  16. /** items index for next take, poll, peek or remove */
  17. int takeIndex;
  18. /** items index for next put, offer, or add */
  19. int putIndex;
  20. /** Number of elements in the queue */
  21. int count;
  22. /*
  23. * Concurrency control uses the classic two-condition algorithm
  24. * found in any textbook.
  25. */
  26. /** Main lock guarding all access */
  27. final ReentrantLock lock;
  28. /** Condition for waiting takes */
  29. private final Condition notEmpty;
  30. /** Condition for waiting puts */
  31. private final Condition notFull;
  32. /**
  33. * Shared state for currently active iterators, or null if there
  34. * are known not to be any. Allows queue operations to update
  35. * iterator state.
  36. */
  37. transient Itrs itrs = null;
  38. public void put(E e) throws InterruptedException {
  39. checkNotNull(e);
  40. final ReentrantLock lock = this.lock;
  41. lock.lockInterruptibly();
  42. try {
  43. // 队列满了,就阻塞
  44. while (count == items.length)
  45. notFull.await();
  46. enqueue(e);
  47. } finally {
  48. lock.unlock();
  49. }
  50. }
  51. // 插入
  52. private void enqueue(E x) {
  53. // assert lock.getHoldCount() == 1;
  54. // assert items[putIndex] == null;
  55. final Object[] items = this.items;
  56. items[putIndex] = x;
  57. if (++putIndex == items.length)
  58. putIndex = 0;
  59. count++;
  60. // 唤醒空锁,可以执行take了
  61. notEmpty.signal();
  62. }
  63. // 获取
  64. public E take() throws InterruptedException {
  65. final ReentrantLock lock = this.lock;
  66. lock.lockInterruptibly();
  67. try {
  68. // 如果空了,就阻塞
  69. while (count == 0)
  70. notEmpty.await();
  71. return dequeue();
  72. } finally {
  73. lock.unlock();
  74. }
  75. }
  76. private E dequeue() {
  77. // assert lock.getHoldCount() == 1;
  78. // assert items[takeIndex] != null;
  79. final Object[] items = this.items;
  80. @SuppressWarnings("unchecked")
  81. E x = (E) items[takeIndex];
  82. items[takeIndex] = null;
  83. if (++takeIndex == items.length)
  84. takeIndex = 0;
  85. count--;
  86. if (itrs != null)
  87. itrs.elementDequeued();
  88. // 唤醒插入锁
  89. notFull.signal();
  90. return x;
  91. }
  92. }

Object

  1. public class Object {
  2. private static native void registerNatives();
  3. static {
  4. registerNatives();
  5. }
  6. /**
  7. * 获取类
  8. */
  9. public final native Class<?> getClass();
  10. /**
  11. * 获取hashCode
  12. */
  13. public native int hashCode();
  14. /**
  15. * 判断两个对象地址是否相等
  16. */
  17. public boolean equals(Object obj) {
  18. return (this == obj);
  19. }
  20. /**
  21. * 克隆
  22. */
  23. protected native Object clone() throws CloneNotSupportedException;
  24. /**
  25. * toString 类名+@+该对象hashcode的16进制字符串
  26. */
  27. public String toString() {
  28. return getClass().getName() + "@" + Integer.toHexString(hashCode());
  29. }
  30. /**
  31. * 唤醒
  32. */
  33. public final native void notify();
  34. /**
  35. * 唤醒全部
  36. */
  37. public final native void notifyAll();
  38. /**
  39. * 超时自动释放
  40. */
  41. public final native void wait(long timeout) throws InterruptedException;
  42. /**
  43. * 超时自动释放
  44. */
  45. public final void wait(long timeout, int nanos) throws InterruptedException {
  46. if (timeout < 0) {
  47. throw new IllegalArgumentException("timeout value is negative");
  48. }
  49. if (nanos < 0 || nanos > 999999) {
  50. throw new IllegalArgumentException(
  51. "nanosecond timeout value out of range");
  52. }
  53. if (nanos > 0) {
  54. timeout++;
  55. }
  56. wait(timeout);
  57. }
  58. /**
  59. * 阻塞
  60. */
  61. public final void wait() throws InterruptedException {
  62. wait(0);
  63. }
  64. /**
  65. * 垃圾回收用
  66. */
  67. protected void finalize() throws Throwable { }
  68. }