You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-04-21 - 22:36

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rackeslot3s.osadl.org (updated Tue Apr 21, 2026 12:45:27)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1609351998527,54cyclictest1692036-21ssh12:06:530
1609351998219,58cyclictest16850irq/134-800000010:14:590
1609351998130,47cyclictest1637464-21ssh10:00:210
1609351997937,38cyclictest16950irq/224-800000011:11:150
160935199792,35cyclictest1682466-21latency_hist11:45:020
1609351997814,59cyclictest1670643-21ssh11:17:240
1609351997626,46cyclictest1675836-21ssh11:29:490
1609351997619,52cyclictest16850irq/134-800000010:20:440
160935199752,4cyclictest0-21swapper/009:40:010
160935199752,4cyclictest0-21swapper/009:40:000
1609351997523,35cyclictest1649151-21ssh10:27:510
160935199746,53cyclictest1639510-21ssh10:05:030
1609351997422,34cyclictest1702201-21ssh12:30:200
1609351997414,54cyclictest16850irq/134-800000011:06:390
1609351997329,25cyclictest1663454-21ssh11:00:290
1609351997227,41cyclictest1694579-21ssh12:13:020
1609351997224,28cyclictest16850irq/134-800000010:40:130
1609351997222,46cyclictest1621887-21ssh09:24:450
160935199722,10cyclictest1637002-21sshd09:59:520
1609351997216,38cyclictest16850irq/134-800000010:54:260
1609351997216,38cyclictest16850irq/134-800000010:54:260
1609351997124,42cyclictest16850irq/134-800000012:35:420
1609351997124,42cyclictest16850irq/134-800000012:35:420
160935199711,6cyclictest1697541-21munin-run12:20:010
1609351997026,26cyclictest1656813-21ssh10:45:130
1609351997022,43cyclictest16850irq/134-800000010:17:040
1609351997015,39cyclictest16850irq/134-800000012:20:120
1609361996914,15cyclictest1612018-21sed08:00:022
1609351996913,51cyclictest16850irq/134-800000009:26:550
1609351996913,51cyclictest16850irq/134-800000009:26:540
1609351996814,51cyclictest1672348-21ssh11:21:110
1609351996814,51cyclictest1672348-21ssh11:21:100
1609351996811,51cyclictest3467602-21systemd-journal11:48:150
160935199672,15cyclictest1651628-21ssh10:33:400
160935199662,58cyclictest1628756-21rm09:40:080
1609351996625,24cyclictest1678682-21ssh11:35:560
1609351996623,27cyclictest1619716-21ssh09:19:420
1609351996623,25cyclictest1685280-21ssh11:51:170
160935199661,8cyclictest1612205-21latency_hist08:05:020
1609365996526,5cyclictest1702564-21sh12:31:133
1609365996525,11cyclictest309-21in:imuxsock08:45:013
1609365996524,10cyclictest37-21ksoftirqd/308:15:033
1609357996542,17cyclictest1-21systemd12:05:011
1609365996428,5cyclictest1627009-21sh09:36:153
1609365996428,5cyclictest1627009-21sh09:36:153
1609365996422,10cyclictest1611258-21wc07:45:023
1609365996420,7cyclictest1619874-21grep09:20:003
1609361996446,15cyclictest30-21ksoftirqd/210:56:162
160935199646,41cyclictest16850irq/134-800000010:56:270
1609351996431,29cyclictest1616640-21ssh09:12:210
160935199641,10cyclictest48-21kcompactd012:29:560
1609365996329,7cyclictest1615524-21diskmemload10:35:023
1609361996313,16cyclictest1617465-21ssh09:14:282
160935199631,4cyclictest1688894-21systemd-run12:00:010
160935199631,4cyclictest1614501-21munin-run08:50:020
160935199631,4cyclictest1611248-21cat07:45:030
1609351996314,45cyclictest1633976-21ssh09:52:320
1609365996225,9cyclictest37-21ksoftirqd/307:50:023
1609365996220,11cyclictest37-21ksoftirqd/308:46:383
160936199629,19cyclictest1620875-21ssh09:22:002
160935199621,9cyclictest1632493-21sshd09:49:150
160935199621,14cyclictest1613454-21munin-run08:29:590
1609365996121,12cyclictest37-21ksoftirqd/311:44:473
160935199611,55cyclictest1-21systemd08:45:010
160935199611,17cyclictest1677519-21ssh11:33:340
160936599603,22cyclictest1-21systemd07:30:003
1609365996028,4cyclictest1657179-21sh10:46:153
1609365996026,4cyclictest1675890-21sh11:29:573
1609361996023,12cyclictest1671109-21ssh11:18:412
1609361996011,17cyclictest1614343-21cut08:45:022
1609351996028,27cyclictest1609570-21wc07:15:000
160935199602,5cyclictest1614752-21munin-run08:55:010
160935199602,5cyclictest1610605-21munin-run07:35:020
160935199601,13cyclictest1615236-21sshd09:00:150
160935199601,13cyclictest1615236-21sshd09:00:150
1609365995927,6cyclictest1705407-21sh12:38:033
1609365995927,6cyclictest1705407-21sh12:38:033
1609365995922,11cyclictest37-21ksoftirqd/309:40:243
160935199593,18cyclictest1624778-21ssh09:31:020
1609351995927,28cyclictest1-21systemd08:39:590
160935199591,5cyclictest1689999-21sshd12:02:150
160935199591,4cyclictest1652784-21ssh10:36:020
1609365995824,10cyclictest37-21ksoftirqd/311:14:173
1609365995823,10cyclictest1692895-21sshd12:09:153
1609365995819,11cyclictest1639382-21cat10:05:023
160935199581,11cyclictest364-21snmpd08:10:240
1609365995738,15cyclictest1614977-21cron09:00:003
1609365995728,4cyclictest1671365-21sh11:19:173
160935199573,19cyclictest1-21systemd08:25:010
160935199573,19cyclictest1-21systemd08:25:010
160935199572,7cyclictest1615535-21munin-run09:10:000
160935199572,7cyclictest1615535-21munin-run09:09:590
160935199571,9cyclictest1614974-21sshd08:59:410
160935199571,13cyclictest1611609-21sshd07:54:150
160936599563,22cyclictest3467602-21systemd-journal09:10:003
160936599563,22cyclictest3467602-21systemd-journal09:09:593
1609365995626,6cyclictest37-21ksoftirqd/312:01:043
1609365995624,5cyclictest1685035-21sh11:50:423
1609365995622,9cyclictest37-21ksoftirqd/312:13:433
1609361995610,17cyclictest1666380-21rm11:07:392
160935799566,28cyclictest1612901-21kworker/u8:008:20:021
160935199563,5cyclictest1611356-21modprobe07:49:150
1609365995524,6cyclictest1647869-21sh10:25:003
1609365995523,7cyclictest37-21ksoftirqd/307:15:013
160936199551,35cyclictest0-21swapper/209:05:022
160936199551,35cyclictest0-21swapper/209:05:022
160935199553,47cyclictest1612954-21modprobe08:19:590
160935199552,4cyclictest1609763-21sshd07:15:150
160935199551,8cyclictest1610807-21sshd07:35:140
1609365995426,9cyclictest37-21ksoftirqd/312:15:573
1609365995424,8cyclictest37-21ksoftirqd/312:27:523
1609365995424,8cyclictest37-21ksoftirqd/309:32:553
1609365995420,9cyclictest37-21ksoftirqd/310:50:583
1609365995420,9cyclictest37-21ksoftirqd/310:50:583
1609357995435,15cyclictest0-21swapper/109:20:021
1609365995323,9cyclictest37-21ksoftirqd/309:46:133
160936199539,33cyclictest275-21dbus-daemon11:05:012
160936199534,31cyclictest0-21swapper/208:40:022
1609357995330,17cyclictest275-21dbus-daemon10:56:161
160935199533,46cyclictest1609345-21cyclictest07:10:010
160935199532,15cyclictest1610088-21modprobe07:25:000
160935199531,4cyclictest0-21swapper/008:33:500
160935199531,4cyclictest0-21swapper/008:33:500
1609365995223,9cyclictest37-21ksoftirqd/311:57:383
1609361995218,6cyclictest30-21ksoftirqd/209:15:162
160935199522,5cyclictest1610315-21sshd07:28:140
160935199522,4cyclictest1611864-21sshd07:59:320
1609361995147,2cyclictest0-21swapper/211:25:032
1609361995116,11cyclictest1702080-21ssh12:30:032
1609357995137,11cyclictest1683900-21sshd11:48:151
160935799511,36cyclictest1671830-21rm11:20:021
160935199511,4cyclictest1612381-21sshd08:07:160
1609361995042,5cyclictest1641387-21kworker/2:110:35:022
1609361995041,6cyclictest1678133-21kworker/2:111:48:002
1609365994930,14cyclictest3467602-21systemd-journal09:55:013
1609361994941,5cyclictest1614499-21kworker/2:209:53:372
1609361994939,6cyclictest1641387-21kworker/2:110:21:562
1609361994931,13cyclictest364-21snmpd12:11:562
1609361994922,21cyclictest1668560-21ssh11:12:432
1609357994932,12cyclictest309-21in:imuxsock08:55:001
1609361994840,5cyclictest1599342-21kworker/2:009:36:072
1609361994840,5cyclictest1599342-21kworker/2:009:36:072
1609361994834,11cyclictest1653609-21ssh10:38:172
1609361994832,11cyclictest0-21swapper/210:05:022
1609361994820,21cyclictest1659258-21ssh10:50:572
1609361994820,21cyclictest1659258-21ssh10:50:562
1609361994730,14cyclictest1-21systemd07:55:012
1609361994713,6cyclictest30-21ksoftirqd/210:16:302
1609357994732,11cyclictest275-21dbus-daemon10:00:001
1609357994713,6cyclictest131rcu_preempt07:50:011
160936199469,8cyclictest1615524-21diskmemload11:38:122
1609361994631,12cyclictest1686962-21ssh11:55:042
1609361994630,12cyclictest275-21dbus-daemon08:30:002
1609361994626,17cyclictest1629225-21ssh09:41:232
1609361994622,21cyclictest1626047-21sh09:34:192
1609361994621,21cyclictest1648191-21sshd10:25:162
1609361994621,19cyclictest1642078-21ssh10:11:202
1609361994620,21cyclictest1614904-21latency_hist08:55:022
1609361994616,25cyclictest1686906-21cut11:55:022
1609357994632,11cyclictest23-21ksoftirqd/110:37:201
1609357994621,20cyclictest23-21ksoftirqd/109:10:231
1609365994531,11cyclictest3467602-21systemd-journal07:35:033
1609365994524,16cyclictest275-21dbus-daemon08:00:013
1609361994531,11cyclictest1636528-21ssh09:58:372
1609361994528,14cyclictest1698249-21sshd12:21:152
1609361994528,13cyclictest1657106-21ssh10:46:042
1609361994516,25cyclictest1612256-21latency_hist08:05:012
1609357994532,10cyclictest275-21dbus-daemon11:40:001
1609357994528,12cyclictest275-21dbus-daemon10:25:011
1609365994430,11cyclictest1-21systemd09:25:003
1609365994429,11cyclictest275-21dbus-daemon08:54:593
160936199447,28cyclictest1615524-21diskmemload12:01:142
1609361994434,6cyclictest1611402-21kworker/2:108:10:022
1609361994432,10cyclictest1640857-21ssh10:08:482
1609361994427,13cyclictest3467602-21systemd-journal08:20:022
1609361994427,13cyclictest3467602-21systemd-journal08:20:022
1609361994420,20cyclictest3467602-21systemd-journal07:15:012
1609361994419,20cyclictest1695620-21ssh12:15:062
160936199441,39cyclictest30-21ksoftirqd/209:45:042
160935799449,6cyclictest131rcu_preempt09:05:011
160935799449,6cyclictest131rcu_preempt09:05:001
1609357994430,10cyclictest23-21ksoftirqd/108:40:001
1609357994430,10cyclictest1-21systemd07:25:001
1609357994427,12cyclictest309-21in:imuxsock08:10:011
1609357994415,9cyclictest23-21ksoftirqd/107:55:011
160936599438,31cyclictest1637104-21sendmail-msp10:00:003
1609365994332,8cyclictest1641036-21sshd10:09:143
1609365994329,11cyclictest1679903-21sshd11:39:153
1609365994329,10cyclictest1-21systemd11:50:013
1609365994327,12cyclictest3467602-21systemd-journal11:00:003
1609365994325,14cyclictest1-21systemd11:10:013
1609361994325,15cyclictest1622328-21sshd09:25:152
1609361994325,15cyclictest1622328-21sshd09:25:142
1609361994317,20cyclictest1672134-21sh11:20:402
1609361994317,20cyclictest1672134-21sh11:20:402
1609361994315,23cyclictest1614582-21latency_hist08:50:012
1609357994325,12cyclictest3467602-21systemd-journal12:24:591
1609357994323,14cyclictest275-21dbus-daemon11:30:001
160935799431,3cyclictest131rcu_preempt09:20:441
1609365994227,12cyclictest37-21ksoftirqd/309:05:013
1609365994227,12cyclictest37-21ksoftirqd/309:05:013
1609365994227,12cyclictest37-21ksoftirqd/308:25:023
1609365994227,12cyclictest37-21ksoftirqd/308:25:013
1609365994227,12cyclictest3467602-21systemd-journal07:51:323
1609365994227,11cyclictest3467602-21systemd-journal10:17:003
1609365994226,12cyclictest37-21ksoftirqd/311:31:483
1609361994230,9cyclictest1-21systemd12:10:012
1609361994227,11cyclictest1705200-21ssh12:37:332
1609361994227,11cyclictest1705200-21ssh12:37:322
1609361994221,17cyclictest1655723-21ssh10:43:032
1609361994219,20cyclictest1615524-21diskmemload12:26:132
1609357994229,10cyclictest0-21swapper/111:10:021
1609357994221,16cyclictest1-21systemd09:10:001
1609357994221,16cyclictest1-21systemd09:10:001
1609357994210,6cyclictest131rcu_preempt10:50:001
1609365994129,9cyclictest37-21ksoftirqd/308:15:013
1609361994126,12cyclictest1677439-21ssh11:33:222
1609357994128,11cyclictest23-21ksoftirqd/112:18:391
1609357994127,9cyclictest1686754-21ssh11:55:011
1609357994125,11cyclictest23-21ksoftirqd/109:30:011
1609357994125,11cyclictest23-21ksoftirqd/109:30:011
1609357994122,15cyclictest23-21ksoftirqd/108:00:011
1609357994117,19cyclictest23-21ksoftirqd/110:50:121
1609357994117,19cyclictest23-21ksoftirqd/110:50:111
160935799411,6cyclictest131rcu_preempt07:13:151
1609357994110,6cyclictest131rcu_preempt12:32:151
1609365994023,13cyclictest275-21dbus-daemon12:25:013
1609365994023,13cyclictest1-21systemd09:15:013
1609361994020,17cyclictest1680621-21ssh11:40:212
1609357994029,7cyclictest1615524-21diskmemload11:20:141
1609357994029,7cyclictest1615524-21diskmemload11:20:141
1609357994026,10cyclictest23-21ksoftirqd/111:01:311
1609357994025,12cyclictest275-21dbus-daemon12:10:011
1609357994024,13cyclictest23-21ksoftirqd/110:34:591
1609357994018,18cyclictest23-21ksoftirqd/109:36:011
1609357994018,18cyclictest23-21ksoftirqd/109:36:011
1609357994013,12cyclictest131rcu_preempt11:12:321
1609365993929,7cyclictest37-21ksoftirqd/311:05:023
1609365993927,8cyclictest37-21ksoftirqd/310:30:003
1609365993926,9cyclictest37-21ksoftirqd/309:28:403
1609365993926,9cyclictest37-21ksoftirqd/309:28:403
1609365993926,10cyclictest1614075-21sed08:40:023
1609365993922,12cyclictest37-21ksoftirqd/308:35:003
1609365993922,12cyclictest37-21ksoftirqd/308:34:593
1609365993912,6cyclictest131rcu_preempt10:44:563
1609361993929,6cyclictest1615592-21ssh09:10:022
1609361993929,6cyclictest1615592-21ssh09:10:012
1609361993927,9cyclictest30-21ksoftirqd/207:30:022
1609361993924,12cyclictest1610573-21modprobe07:34:152
1609361993924,11cyclictest1610101-21munin-run07:25:002
1609361993924,11cyclictest1609882-21sed07:20:022
1609361993911,23cyclictest1615171-21date09:00:022
1609357993927,9cyclictest1688988-21sed12:00:011
1609357993927,10cyclictest23-21ksoftirqd/109:34:221
160935799392,4cyclictest131rcu_preempt12:15:011
1609357993924,11cyclictest23-21ksoftirqd/110:01:051
1609357993910,5cyclictest131rcu_preempt11:34:241
160936599389,6cyclictest131rcu_preempt10:36:433
160936599389,6cyclictest131rcu_preempt08:05:003
1609365993825,9cyclictest1-21systemd11:25:023
1609365993825,9cyclictest1-21systemd11:25:023
1609361993822,12cyclictest30-21ksoftirqd/207:45:012
1609357993830,6cyclictest23-21ksoftirqd/110:06:381
1609357993829,7cyclictest23-21ksoftirqd/110:12:121
1609357993827,8cyclictest23-21ksoftirqd/111:43:401
1609357993826,9cyclictest3467602-21systemd-journal07:40:021
1609357993825,9cyclictest23-21ksoftirqd/112:26:511
1609357993824,11cyclictest3467602-21systemd-journal07:38:151
1609357993820,14cyclictest23-21ksoftirqd/107:33:311
1609361993729,5cyclictest1610854-21/usr/sbin/munin07:40:002
1609361993729,5cyclictest1597706-21kworker/2:307:10:002
1609361993728,6cyclictest1599342-21kworker/2:008:35:022
1609361993728,6cyclictest1599342-21kworker/2:008:35:012
1609361993718,17cyclictest1612628-21sshd08:11:152
1609361993711,22cyclictest1612963-21systemctl08:20:002
1609357993727,7cyclictest23-21ksoftirqd/109:53:061
1609357993727,7cyclictest23-21ksoftirqd/108:50:011
1609357993725,9cyclictest0-21swapper/110:30:031
1609357993725,10cyclictest23-21ksoftirqd/110:19:441
1609365993625,8cyclictest37-21ksoftirqd/310:14:073
1609365993622,10cyclictest37-21ksoftirqd/308:30:003
1609361993629,5cyclictest1599342-21kworker/2:007:50:012
160935799363,5cyclictest131rcu_preempt09:40:591
1609357993627,5cyclictest1704914-21sh12:36:501
1609357993627,5cyclictest1704914-21sh12:36:501
1609357993620,11cyclictest23-21ksoftirqd/109:49:221
1609365993524,6cyclictest1609816-21latency_hist07:20:013
1609357993525,8cyclictest23-21ksoftirqd/107:20:011
1609357993523,8cyclictest3467602-21systemd-journal08:44:141
1609357993521,10cyclictest309-21in:imuxsock08:59:591
160936599342,5cyclictest131rcu_preempt07:25:013
160935799346,6cyclictest131rcu_preempt10:41:151
160935799343,5cyclictest131rcu_preempt08:15:011
1609357993423,8cyclictest1612287-21sed08:05:021
1609357993421,9cyclictest23-21ksoftirqd/108:30:001
1609365993319,11cyclictest37-21ksoftirqd/308:10:013
1609357993319,10cyclictest1610515-21wc07:30:021
160936599329,5cyclictest131rcu_preempt07:30:163
1609357993223,6cyclictest23-21ksoftirqd/108:25:011
1609357993223,6cyclictest23-21ksoftirqd/108:25:001
1609357993221,9cyclictest23-21ksoftirqd/108:35:021
1609357993221,9cyclictest23-21ksoftirqd/108:35:011
160935799311,5cyclictest131rcu_preempt07:10:021
1609365992411,9cyclictest1609435-21grep07:10:023
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional