You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-08-04 - 13:37

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rackeslot3s.osadl.org (updated Tue Aug 04, 2026 00:45:15)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
178466999999,4cyclictest131rcu_preempt20:40:023
178466099875,71cyclictest1872334-21rm00:00:031
178466099875,71cyclictest1872334-21rm00:00:031
1784655998529,22cyclictest1828684-21ssh22:29:150
1784655998034,23cyclictest1805830-21ssh21:41:070
1784669997821,18cyclictest1863027-21ssh23:40:303
1784669997818,25cyclictest1890359-21ssh00:38:023
1784655997834,24cyclictest1790881-21diskmemload22:50:030
1784669997622,21cyclictest1785899-21modprobe19:35:003
1784669997622,16cyclictest1834739-21ssh22:41:383
1784660997626,42cyclictest0-21swapper/123:35:021
178466099761,71cyclictest1784662-21latency_hist19:10:021
1784669997425,13cyclictest1849735-21ssh23:13:073
1784669997314,23cyclictest1840800-21ssh22:54:343
1784655997330,21cyclictest1826536-21ssh22:24:470
1784669997237,31cyclictest1884075-21cron00:25:003
1784669997221,16cyclictest1832461-21ssh22:36:563
1784669997219,16cyclictest1814636-21ssh21:59:573
1784669997114,18cyclictest1804493-21ssh21:38:333
1784655997131,32cyclictest12-21ksoftirqd/023:55:020
178466999693,4cyclictest131rcu_preempt23:40:013
1784669996919,17cyclictest1787188-21munin-run20:00:013
1784669996915,15cyclictest1858555-21ssh23:31:173
1784669996839,24cyclictest150-21pr/ttyS223:27:033
1784669996817,18cyclictest1877042-21cat00:10:023
1784669996617,18cyclictest1806750-21ssh21:43:153
1784669996615,15cyclictest1797153-21ssh21:23:063
1784660996627,4cyclictest1885121-21sh00:26:591
1784669996513,14cyclictest1866809-21ssh23:48:513
1784660996529,11cyclictest1-21systemd00:40:011
1784655996538,19cyclictest0-21swapper/022:41:500
1784669996417,14cyclictest1792248-21ssh21:12:503
1784660996422,8cyclictest1785960-21grep19:35:021
178465599641,3cyclictest131rcu_preempt21:10:020
1784669996316,16cyclictest1788952-21sed20:30:033
1784669996315,14cyclictest1844885-21ssh23:02:573
1784660996328,8cyclictest23-21ksoftirqd/121:35:011
1784660996325,9cyclictest23-21ksoftirqd/122:55:051
1784660996324,5cyclictest309-21in:imuxsock21:40:011
1784660996323,11cyclictest23-21ksoftirqd/122:50:001
1784669996222,15cyclictest1827003-21ssh22:25:163
1784669996215,15cyclictest1824931-21ssh22:20:573
1784669996211,14cyclictest1801052-21ssh21:31:083
178465599621,3cyclictest131rcu_preempt00:15:370
178465599614,4cyclictest131rcu_preempt21:17:240
1784669996020,16cyclictest1790881-21diskmemload00:33:473
1784669996014,15cyclictest1816860-21ssh22:04:313
178465599607,42cyclictest19350irq/34-mmc123:30:020
1784655996021,34cyclictest16850irq/134-800000023:20:010
1784669995946,10cyclictest1794962-21ssh21:18:353
1784669995943,13cyclictest1822681-21ssh22:16:213
1784655995929,14cyclictest1876482-21ssh00:09:100
1784655995910,44cyclictest16850irq/134-800000023:35:540
1784669995845,10cyclictest1808348-21ssh21:46:233
1784669995814,16cyclictest1846498-21ssh23:06:073
1784664995849,6cyclictest1790611-21kworker/2:121:25:002
178466499583,3cyclictest131rcu_preempt22:20:022
1784660995825,9cyclictest23-21ksoftirqd/123:20:321
1784660995823,12cyclictest23-21ksoftirqd/122:10:371
178465599581,3cyclictest131rcu_preempt00:28:060
178466499574,3cyclictest131rcu_preempt21:10:012
1784660995724,11cyclictest23-21ksoftirqd/122:15:091
1784655995729,17cyclictest0-21swapper/021:53:240
1784655995728,13cyclictest1889529-21ssh00:36:020
1784655995728,13cyclictest1842775-21ssh22:58:440
1784655995726,14cyclictest1887562-21ssh00:32:080
178465599572,39cyclictest1799003-21ssh21:26:520
1784655995723,30cyclictest12-21ksoftirqd/023:55:070
1784655995719,34cyclictest16850irq/134-800000023:14:040
1784655995718,34cyclictest16850irq/134-800000022:30:120
1784655995716,36cyclictest16850irq/134-800000021:49:490
178465599571,36cyclictest131rcu_preempt23:04:190
1784669995640,12cyclictest1842619-21ssh22:58:133
1784669995639,13cyclictest1873547-21ssh00:02:523
1784669995639,13cyclictest1873547-21ssh00:02:523
1784669995618,8cyclictest0-21swapper/323:54:503
1784655995618,33cyclictest16850irq/134-800000023:20:340
1784655995618,33cyclictest16850irq/134-800000021:20:450
1784655995617,34cyclictest16850irq/134-800000021:38:160
1784655995615,37cyclictest16850irq/134-800000021:14:000
1784669995543,10cyclictest1837454-21ssh22:47:163
1784669995539,13cyclictest1820199-21ssh22:11:113
1784669995539,12cyclictest1884597-21ssh00:25:463
1784660995538,12cyclictest3467602-21systemd-journal21:25:001
1784660995524,10cyclictest23-21ksoftirqd/123:44:271
1784655995518,34cyclictest16850irq/134-800000022:51:400
1784655995518,33cyclictest16850irq/134-800000023:43:170
1784655995518,33cyclictest16850irq/134-800000022:02:310
1784655995518,19cyclictest16850irq/134-800000022:10:370
1784655995517,34cyclictest16850irq/134-800000023:26:570
1784655995517,34cyclictest16850irq/134-800000022:35:470
1784655995517,33cyclictest16850irq/134-800000021:34:530
1784655995516,19cyclictest16850irq/134-800000000:04:470
1784655995516,19cyclictest16850irq/134-800000000:04:470
1784655995515,35cyclictest16850irq/134-800000000:25:030
1784669995439,12cyclictest1880294-21ssh00:16:543
1784669995439,12cyclictest1869983-21ssh23:55:103
1784669995439,12cyclictest1853472-21ssh23:20:413
1784669995439,12cyclictest1810933-21ssh21:51:543
1784660995435,15cyclictest1-21systemd23:20:021
1784655995417,33cyclictest16850irq/134-800000023:09:110
1784655995417,33cyclictest16850irq/134-800000000:10:510
1784655995415,34cyclictest16850irq/134-800000022:15:190
1784655995414,35cyclictest16850irq/134-800000022:05:240
1784669995338,12cyclictest1798322-21ssh21:25:173
1784669995337,12cyclictest1851487-21ssh23:16:393
1784669995337,12cyclictest1817632-21ssh22:05:513
1784669995336,13cyclictest1877164-21ssh00:10:173
1784669995314,13cyclictest1790881-21diskmemload22:30:123
1784664995345,5cyclictest1833864-21kworker/2:300:37:072
1784664995344,5cyclictest1833864-21kworker/2:323:10:032
1784664995313,21cyclictest0-21swapper/223:16:002
1784669995238,11cyclictest1786653-21sshd19:47:083
1784669995238,10cyclictest1790272-21sshd20:57:553
1784669995235,13cyclictest1788484-21sshd20:22:543
178466499527,5cyclictest131rcu_preempt23:37:242
178466499524,4cyclictest131rcu_preempt21:42:542
1784664995243,6cyclictest1814721-21kworker/2:322:11:272
1784664995243,5cyclictest1833864-21kworker/2:323:30:562
1784664995243,5cyclictest1809932-21kworker/2:221:55:012
1784660995234,13cyclictest23-21ksoftirqd/122:00:011
1784655995212,33cyclictest16850irq/134-800000021:59:360
1784669995137,11cyclictest1788985-21sshd20:32:543
1784669995137,10cyclictest1785409-21munin-run19:25:013
1784669995135,12cyclictest275-21dbus-daemon19:20:013
178466499515,4cyclictest131rcu_preempt22:42:222
1784664995143,5cyclictest1833864-21kworker/2:323:57:512
1784664995143,5cyclictest1833864-21kworker/2:323:40:182
1784664995143,5cyclictest1789023-21kworker/2:021:38:102
1784664995142,5cyclictest1833864-21kworker/2:323:49:552
1784664995141,6cyclictest1833864-21kworker/2:323:55:022
1784664995141,5cyclictest1833864-21kworker/2:300:15:012
178466499513,4cyclictest131rcu_preempt22:00:362
178466499513,3cyclictest131rcu_preempt00:00:272
178466499513,3cyclictest131rcu_preempt00:00:272
178466499511,5cyclictest131rcu_preempt00:05:322
1784669995030,16cyclictest364-21snmpd20:54:373
1784669995021,24cyclictest1787718-21cut20:10:003
1784664995042,5cyclictest1833864-21kworker/2:322:56:022
1784664995042,5cyclictest1833864-21kworker/2:322:46:532
1784664995042,5cyclictest1829075-21kworker/2:222:52:412
1784664995041,6cyclictest1833864-21kworker/2:323:01:232
1784664995040,6cyclictest1833864-21kworker/2:323:22:592
1784655995034,10cyclictest3467602-21systemd-journal19:30:010
1784655995010,31cyclictest16850irq/134-800000023:46:070
1784669994937,9cyclictest48-21kcompactd019:38:313
1784669994932,13cyclictest3467602-21systemd-journal20:47:543
1784669994919,25cyclictest1786945-21unin-run19:55:013
1784664994941,5cyclictest1819511-21kworker/2:022:39:302
1784664994941,5cyclictest1814721-21kworker/2:322:07:142
1784664994941,5cyclictest1789023-21kworker/2:021:15:352
1784664994940,6cyclictest1833864-21kworker/2:323:29:322
1784664994940,6cyclictest1819511-21kworker/2:022:26:462
1784664994940,5cyclictest1789023-21kworker/2:021:33:142
178466499493,4cyclictest131rcu_preempt23:10:312
178466499493,3cyclictest131rcu_preempt20:05:012
1784664994933,13cyclictest3467602-21systemd-journal19:40:012
1784660994932,14cyclictest23-21ksoftirqd/100:15:031
1784669994836,9cyclictest3467602-21systemd-journal19:12:483
1784669994835,10cyclictest364-21snmpd20:43:373
1784669994825,17cyclictest1-21systemd20:15:013
178466499485,3cyclictest131rcu_preempt19:30:012
178466499484,3cyclictest131rcu_preempt21:11:132
1784664994840,5cyclictest1833864-21kworker/2:300:31:082
1784664994840,5cyclictest1833864-21kworker/2:300:23:192
1784664994840,5cyclictest1819511-21kworker/2:022:20:482
1784664994840,5cyclictest1790611-21kworker/2:121:26:422
1784664994840,5cyclictest1789023-21kworker/2:021:49:472
178466499483,4cyclictest131rcu_preempt21:55:192
178465599484,3cyclictest131rcu_preempt19:20:000
1784655994814,30cyclictest0-21swapper/020:27:430
1784669994738,4cyclictest1788204-21sshd20:17:543
1784669994735,9cyclictest1790553-21sshd21:02:543
1784669994734,9cyclictest364-21snmpd20:00:353
1784669994723,19cyclictest364-21snmpd19:30:003
178466499476,3cyclictest131rcu_preempt19:50:012
1784664994739,5cyclictest1777316-21kworker/2:120:33:282
1784664994739,5cyclictest1777316-21kworker/2:120:06:552
1784664994738,6cyclictest1819511-21kworker/2:022:30:562
178466499471,7cyclictest0-21swapper/200:19:552
1784664994712,6cyclictest131rcu_preempt20:16:542
1784664994711,6cyclictest131rcu_preempt19:35:002
1784660994728,14cyclictest275-21dbus-daemon00:00:001
178465599475,37cyclictest12-21ksoftirqd/019:40:000
178465599471,42cyclictest1787180-21cron20:00:000
178466499464,3cyclictest131rcu_preempt20:30:022
1784664994638,5cyclictest1833864-21kworker/2:300:26:082
1784664994638,5cyclictest1787238-21kworker/2:320:37:542
1784664994638,5cyclictest1777316-21kworker/2:119:45:012
178466499462,3cyclictest131rcu_preempt19:20:012
178466099463,4cyclictest131rcu_preempt22:28:551
1784660994634,9cyclictest1-21systemd19:50:021
1784660994631,12cyclictest275-21dbus-daemon21:15:011
1784655994629,12cyclictest1-21systemd20:10:020
178466499454,4cyclictest131rcu_preempt19:57:092
1784664994537,5cyclictest1777316-21kworker/2:119:25:012
178466499452,4cyclictest131rcu_preempt21:00:002
178465599454,4cyclictest131rcu_preempt20:20:020
178465599454,3cyclictest131rcu_preempt19:55:000
1784655994537,5cyclictest16850irq/134-800000019:35:010
178465599452,3cyclictest131rcu_preempt19:50:020
178465599451,3cyclictest131rcu_preempt21:05:000
178466499446,4cyclictest131rcu_preempt20:10:292
1784664994436,5cyclictest1789023-21kworker/2:020:51:132
178466499442,3cyclictest131rcu_preempt21:05:022
1784655994437,4cyclictest16950irq/224-800000019:15:010
1784655994430,10cyclictest1-21systemd20:35:010
178465599442,4cyclictest3467602-21systemd-journal20:45:590
178465599441,3cyclictest131rcu_preempt20:55:020
1784669994333,7cyclictest3467602-21systemd-journal21:09:413
1784660994332,9cyclictest23-21ksoftirqd/120:40:001
1784660994315,6cyclictest131rcu_preempt22:09:211
178465599435,3cyclictest131rcu_preempt19:45:010
178465599435,34cyclictest12-21ksoftirqd/020:40:020
1784655994328,11cyclictest1-21systemd21:00:010
178466499424,3cyclictest131rcu_preempt19:52:092
1784660994227,9cyclictest1795573-21cat21:20:001
1784660994227,11cyclictest3467602-21systemd-journal21:30:021
1784660994225,13cyclictest23-21ksoftirqd/123:12:421
178465599423,4cyclictest131rcu_preempt20:00:270
1784669994129,9cyclictest364-21snmpd19:40:163
1784664994131,5cyclictest0-21swapper/219:10:012
1784660994129,10cyclictest23-21ksoftirqd/122:50:491
1784660994128,10cyclictest275-21dbus-daemon00:20:001
1784660994126,11cyclictest23-21ksoftirqd/100:09:211
1784660994125,11cyclictest3467602-21systemd-journal20:24:591
1784660994124,12cyclictest275-21dbus-daemon23:40:001
178465599411,3cyclictest131rcu_preempt20:45:010
1784664994030,7cyclictest1788513-21systemd-run20:25:012
1784660994028,10cyclictest23-21ksoftirqd/122:36:401
1784655994027,7cyclictest309-21in:imuxsock19:20:020
178466499395,26cyclictest1789546-21grep20:45:002
1784660993927,9cyclictest23-21ksoftirqd/122:32:091
1784660993926,9cyclictest1865948-21sshd23:46:541
1784660993926,10cyclictest23-21ksoftirqd/121:54:371
1784660993924,11cyclictest23-21ksoftirqd/122:21:071
1784660993914,7cyclictest23-21ksoftirqd/123:25:131
178466099391,34cyclictest23-21ksoftirqd/120:20:011
1784660993829,7cyclictest23-21ksoftirqd/120:15:021
1784660993826,9cyclictest1786155-21cat19:40:001
1784660993824,11cyclictest23-21ksoftirqd/122:04:591
1784660993824,11cyclictest23-21ksoftirqd/100:30:201
178465599382,4cyclictest131rcu_preempt20:15:000
1784669993727,7cyclictest37-21ksoftirqd/319:10:023
1784664993721,11cyclictest0-21swapper/220:50:012
1784660993726,9cyclictest23-21ksoftirqd/121:46:381
1784660993725,9cyclictest23-21ksoftirqd/123:01:001
1784660993725,9cyclictest1884021-21sshd00:24:551
178465599371,31cyclictest1788654-21sed20:25:020
1784660993623,10cyclictest23-21ksoftirqd/121:41:401
1784660993623,10cyclictest23-21ksoftirqd/120:05:031
1784660993622,11cyclictest23-21ksoftirqd/120:35:021
1784660993621,12cyclictest23-21ksoftirqd/123:06:091
1784660993620,11cyclictest275-21dbus-daemon19:30:001
178466099361,13cyclictest1868298-21ssh23:51:481
178466099355,7cyclictest23-21ksoftirqd/120:54:541
178466099354,3cyclictest131rcu_preempt19:55:011
1784660993523,9cyclictest23-21ksoftirqd/120:45:011
178466099351,5cyclictest275-21dbus-daemon20:30:011
1784655993524,8cyclictest1784661-21latency_hist19:10:010
178466499342,4cyclictest131rcu_preempt19:15:032
1784660993427,4cyclictest1785391-21sh19:25:001
1784660993426,5cyclictest1784981-21latency_hist19:15:021
1784660993424,8cyclictest23-21ksoftirqd/122:42:241
1784660993423,8cyclictest23-21ksoftirqd/120:55:041
1784660993321,9cyclictest23-21ksoftirqd/120:50:011
1784660993318,11cyclictest3467602-21systemd-journal20:10:011
178466099331,30cyclictest48-21kcompactd019:17:271
178466099331,28cyclictest48-21kcompactd019:40:111
178466099322,8cyclictest0-21swapper/121:05:021
1784660993225,4cyclictest1790894-21sh21:10:001
1784660993019,8cyclictest23-21ksoftirqd/119:55:391
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional