You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-09-18 - 01:05

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackeslot3s.osadl.org (updated Thu Sep 17, 2026 12:45:29)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
14485989912128,88cyclictest131rcu_preempt09:20:013
1448583991211,97cyclictest0-21swapper/007:15:020
1448583991211,97cyclictest0-21swapper/007:15:010
1448583999083,3cyclictest12-21ksoftirqd/010:55:030
1448583998629,11cyclictest1538081-21ssh12:05:350
1448583998529,11cyclictest1469122-21ssh09:40:530
144858399842,5cyclictest1477807-21munin-run10:00:010
144858399842,5cyclictest1477807-21munin-run10:00:000
1448598998230,47cyclictest3467602-21systemd-journal11:35:013
1448598998230,47cyclictest3467602-21systemd-journal11:35:003
1448583998227,11cyclictest1495857-21ssh10:35:500
144858399813,12cyclictest1466246-21modprobe09:35:010
1448583998128,10cyclictest1474550-21ssh09:52:380
1448583998028,12cyclictest1520377-21ssh11:28:190
144858399801,75cyclictest0-21swapper/009:23:540
1448583997828,13cyclictest1533454-21ssh11:55:530
1448583997828,12cyclictest1513442-21ssh11:13:250
1448583997825,10cyclictest1546804-21ssh12:24:590
144858399781,36cyclictest1457854-21ssh09:16:270
1448583997727,15cyclictest1482248-21ssh10:09:230
1448583997725,12cyclictest1529757-21ssh11:48:040
1448583997628,7cyclictest1499150-21ssh10:43:050
1448583997628,7cyclictest1499150-21ssh10:43:050
1448583997628,14cyclictest1526411-21ssh11:40:450
1448583997627,12cyclictest1462788-21ssh09:27:170
1448583997627,11cyclictest1514886-21ssh11:16:270
1448583997525,12cyclictest1552221-21ssh12:36:170
1448583997518,6cyclictest16850irq/134-800000011:07:360
1448583997518,6cyclictest16850irq/134-800000010:01:550
1448583997430,4cyclictest16950irq/224-800000011:23:570
1448583997427,9cyclictest1507748-21ssh11:01:040
1448583997427,9cyclictest1507748-21ssh11:01:040
1448583997418,6cyclictest16850irq/134-800000012:11:500
1448583997418,6cyclictest16850irq/134-800000010:24:400
1448583997224,13cyclictest1486161-21ssh10:17:390
1448583997218,49cyclictest16850irq/134-800000011:30:590
1448583997218,49cyclictest16850irq/134-800000011:30:580
1448583997217,50cyclictest16850irq/134-800000010:27:490
1448583997217,50cyclictest16850irq/134-800000010:27:490
144858399721,36cyclictest1544634-21latency_hist12:20:020
1448583997124,12cyclictest1493267-21ssh10:30:130
1448583997121,12cyclictest1537145-21ssh12:03:540
1448598997026,40cyclictest37-21ksoftirqd/311:58:293
144858399702,28cyclictest1532924-21munin-run11:55:020
1448583997020,15cyclictest1503326-21ssh10:51:510
1448583997020,15cyclictest1503326-21ssh10:51:510
1448583997014,50cyclictest16850irq/134-800000011:38:040
1448598996928,35cyclictest1465972-21sh09:34:263
1448591996937,27cyclictest284-21systemd-logind10:19:512
1448591996924,5cyclictest1460399-21sh09:22:032
1448583996932,4cyclictest0-21swapper/009:05:000
1448583996918,46cyclictest16850irq/134-800000012:27:520
1448598996824,40cyclictest37-21ksoftirqd/311:03:143
1448598996824,40cyclictest37-21ksoftirqd/311:03:133
1448583996820,13cyclictest1484174-21ssh10:13:340
144859899662,17cyclictest1453983-21munin-run08:55:013
1448591996623,10cyclictest1551679-21cat12:35:032
1448591996618,11cyclictest30-21ksoftirqd/210:55:012
1448591996618,11cyclictest30-21ksoftirqd/210:55:012
1448583996637,26cyclictest16950irq/224-800000009:12:280
1448583996637,26cyclictest16950irq/224-800000009:12:270
144858399662,5cyclictest1454797-21systemd-run09:10:010
1448583996623,11cyclictest1468538-21rm09:40:010
1448598996524,36cyclictest1545435-21sh12:21:433
144859899652,14cyclictest1449000-21sshd07:15:173
1448598996515,9cyclictest275-21dbus-daemon10:20:043
1448598996426,34cyclictest1482472-21sh10:09:523
1448598996424,35cyclictest275-21dbus-daemon10:20:143
1448598996415,37cyclictest1452201-21kworker/3:208:30:013
144859199642,19cyclictest1453207-21munin-run08:40:002
1448583996429,12cyclictest1500896-21ssh10:46:450
144859899632,14cyclictest1475474-21munin-run09:54:593
1448598996321,38cyclictest1469259-21sh09:41:093
1448591996328,31cyclictest3467602-21systemd-journal11:00:422
1448591996328,31cyclictest3467602-21systemd-journal11:00:412
1448591996325,34cyclictest1516693-21sh11:20:052
1448591996320,5cyclictest1454771-21diskmemload11:08:032
1448591996316,9cyclictest1463764-21sh09:29:432
144859899622,14cyclictest1449330-21systemd-run07:25:013
1448598996220,38cyclictest37-21ksoftirqd/311:42:363
144859899612,15cyclictest364-21snmpd08:39:493
144858399614,6cyclictest16850irq/134-800000012:34:560
144859899602,16cyclictest1538621-21ssh12:06:563
144859899601,18cyclictest1495068-21ssh10:34:253
1448591996027,29cyclictest1480222-21sh10:05:012
1448591996019,8cyclictest1534728-21sh11:58:452
144859899593,12cyclictest1453659-21wc08:45:023
144859899592,15cyclictest3467602-21systemd-journal10:11:563
144859899592,13cyclictest1521168-21munin-run11:30:013
1448598995911,4cyclictest0-21swapper/309:46:163
1448583995928,11cyclictest1471832-21ssh09:46:510
144859899582,17cyclictest1510468-21ssh11:06:443
1448598995820,34cyclictest1460935-21sh09:23:233
1448598995818,34cyclictest309-21in:imuxsock09:15:013
1448598995818,34cyclictest309-21in:imuxsock09:15:003
1448598995817,37cyclictest1504507-21sshd10:54:433
1448598995817,37cyclictest1504507-21sshd10:54:423
144859899581,14cyclictest1492211-21ssh10:28:193
144859899581,14cyclictest1492211-21ssh10:28:183
144859899581,13cyclictest1532451-21ssh11:54:053
1448591995838,15cyclictest1-21systemd10:10:002
1448591995822,10cyclictest1-21systemd10:59:042
1448591995820,5cyclictest1454671-21cat09:05:022
1448591995748,6cyclictest1473592-21kworker/2:009:55:002
1448591995727,25cyclictest30-21ksoftirqd/210:24:002
1448591995725,7cyclictest30-21ksoftirqd/211:47:362
1448591995719,13cyclictest30-21ksoftirqd/208:00:002
1448591995718,8cyclictest1538757-1kworker/u9:012:22:522
144858699576,40cyclictest1487882-21cron10:20:001
1448583995727,9cyclictest1-21systemd07:45:000
1448598995624,28cyclictest1480033-21sh10:04:413
144859899562,15cyclictest1524852-21ssh11:37:413
144859899562,14cyclictest1547950-21ssh12:27:163
144859899562,13cyclictest1516313-21sh11:19:473
1448598995620,32cyclictest1454771-21diskmemload09:29:523
1448598995619,32cyclictest1454688-21latency_hist09:05:033
1448598995619,31cyclictest1-21systemd09:10:003
144859899561,14cyclictest1506002-21ssh10:57:343
1448591995622,8cyclictest30-21ksoftirqd/210:49:312
1448591995622,4cyclictest1496159-21sh10:36:272
1448591995620,7cyclictest30-21ksoftirqd/212:37:152
1448591995615,10cyclictest1532597-1kworker/u9:112:06:242
1448598995525,27cyclictest1451119-21latency_hist08:00:023
144859899552,16cyclictest1513038-21ssh11:12:203
144859899552,14cyclictest1466702-21sshd09:35:433
144859899552,13cyclictest1529355-21ssh11:47:023
144859899552,13cyclictest1450848-21sshd07:54:433
144859899552,13cyclictest1450848-21sshd07:54:423
1448598995519,32cyclictest37-21ksoftirqd/308:13:473
144859899551,15cyclictest1553278-21sshd12:38:423
144859899551,14cyclictest1500301-21ssh10:45:173
144859899551,13cyclictest1536571-21ssh12:02:413
1448591995524,10cyclictest1450657-21sed07:50:012
1448591995521,7cyclictest30-21ksoftirqd/211:15:152
1448591995520,7cyclictest30-21ksoftirqd/211:25:422
1448591995520,6cyclictest30-21ksoftirqd/209:11:082
1448591995520,6cyclictest30-21ksoftirqd/209:11:082
1448591995517,6cyclictest1477856-21sh10:00:012
1448591995517,6cyclictest1477856-21sh10:00:012
1448598995422,29cyclictest1544596-21wc12:20:013
144859899542,12cyclictest1540215-21ssh12:10:153
144859899541,17cyclictest1551286-21ssh12:34:393
1448591995420,7cyclictest30-21ksoftirqd/209:39:082
1448591995418,8cyclictest1542032-21sh12:14:412
144859899532,14cyclictest1499517-21sh10:44:073
144859899532,14cyclictest1499517-21sh10:44:063
1448591995316,9cyclictest30-21ksoftirqd/208:35:012
1448586995335,14cyclictest3467602-21systemd-journal09:00:001
1448586995318,23cyclictest275-21dbus-daemon07:45:001
144859899522,16cyclictest1452444-21munin-run08:25:013
144859899522,14cyclictest1452911-21sshd08:30:433
1448598995216,11cyclictest1518861-21sed11:25:013
144859899521,14cyclictest1495978-21ssh10:36:043
144859899521,13cyclictest1-21systemd08:20:003
1448591995243,6cyclictest1509517-21kworker/2:111:42:242
1448591995221,7cyclictest30-21ksoftirqd/207:10:022
144858699529,31cyclictest1535224-21modprobe12:00:001
1448586995233,15cyclictest275-21dbus-daemon09:50:011
1448586995233,11cyclictest1507099-21cat11:00:011
1448586995231,15cyclictest310-21in:imklog12:15:391
1448586995230,17cyclictest275-21dbus-daemon09:05:011
1448598995113,4cyclictest0-21swapper/309:57:033
1448598995113,4cyclictest0-21swapper/309:57:023
1448598995112,5cyclictest1450071-21modprobe07:40:013
1448591995144,4cyclictest1509517-21kworker/2:111:12:002
1448591995143,5cyclictest1457053-21kworker/2:209:19:312
1448591995127,9cyclictest30-21ksoftirqd/209:41:332
1448591995120,9cyclictest1-21systemd09:50:002
1448591995118,9cyclictest30-21ksoftirqd/210:40:182
1448591995118,9cyclictest30-21ksoftirqd/210:40:182
1448591995115,11cyclictest30-21ksoftirqd/212:26:182
1448586995133,14cyclictest23-21ksoftirqd/110:00:011
1448586995133,14cyclictest23-21ksoftirqd/110:00:011
1448586995132,15cyclictest275-21dbus-daemon11:55:011
1448598995018,27cyclictest1449960-21latency_hist07:35:023
1448586995040,7cyclictest23-21ksoftirqd/110:50:011
144859899492,16cyclictest1454210-21sshd08:57:433
144859899492,16cyclictest1450614-21munin-run07:50:003
1448598994915,5cyclictest1451362-21modprobe08:00:423
144859899491,15cyclictest1448750-21sshd07:10:173
144859899491,15cyclictest1448750-21sshd07:10:163
1448591994941,5cyclictest1473592-21kworker/2:010:12:462
1448591994922,5cyclictest1453656-21latency_hist08:45:032
1448591994914,11cyclictest30-21ksoftirqd/211:30:562
1448591994914,11cyclictest30-21ksoftirqd/211:30:552
144858699496,34cyclictest1490588-21ssh10:25:011
1448586994931,14cyclictest1482537-21cron10:10:011
1448586994930,12cyclictest275-21dbus-daemon11:06:181
1448583994936,10cyclictest1451130-21systemctl08:00:000
144859899482,11cyclictest1-21systemd08:50:013
1448586994834,9cyclictest274-21cron12:40:001
1448586994821,17cyclictest275-21dbus-daemon10:15:011
1448586994816,7cyclictest23-21ksoftirqd/111:17:561
144859899479,16cyclictest1447741-21kworker/u8:307:10:023
144859899472,19cyclictest1450375-21systemd-run07:45:003
1448591994738,6cyclictest1450047-21kworker/2:108:03:212
1448591994730,13cyclictest1-21systemd10:35:002
144859199471,4cyclictest131rcu_preempt12:00:482
144858699474,3cyclictest131rcu_preempt09:39:311
1448586994731,11cyclictest23-21ksoftirqd/111:21:371
144858399474,8cyclictest1450070-21cron07:40:000
1448583994730,13cyclictest1449589-21unin-run07:30:000
1448591994638,5cyclictest1451660-21kworker/2:308:47:282
144859199462,4cyclictest131rcu_preempt08:25:022
144858699466,7cyclictest131rcu_preempt11:45:011
144858699466,31cyclictest1459240-21cron09:19:591
144858699463,3cyclictest131rcu_preempt10:34:431
1448583994631,11cyclictest3467602-21systemd-journal08:56:430
144859199454,4cyclictest131rcu_preempt07:26:412
1448591994537,5cyclictest1453254-21kworker/2:109:35:012
144858699455,28cyclictest1539891-21munin-run12:09:591
1448586994528,8cyclictest309-21in:imuxsock08:15:011
1448586994528,13cyclictest1530598-21cron11:49:591
1448586994528,13cyclictest1461710-21wc09:25:031
1448586994522,16cyclictest23-21ksoftirqd/109:15:011
1448586994522,16cyclictest23-21ksoftirqd/109:15:001
1448586994521,16cyclictest275-21dbus-daemon08:05:011
144859199445,5cyclictest131rcu_preempt11:53:392
1448591994436,5cyclictest1448191-21kworker/2:208:15:002
1448591994410,5cyclictest131rcu_preempt11:36:292
144858699445,4cyclictest131rcu_preempt11:12:501
1448586994431,7cyclictest1454753-21cron09:09:591
1448586994428,8cyclictest1454771-21diskmemload12:35:021
1448586994426,13cyclictest3467602-21systemd-journal08:45:001
1448586994417,19cyclictest0-21swapper/107:40:011
1448583994427,13cyclictest1452926-21sshd08:33:430
144859199433,3cyclictest131rcu_preempt12:15:112
144859199431,6cyclictest0-21swapper/207:20:012
1448586994332,9cyclictest23-21ksoftirqd/111:37:411
1448586994329,11cyclictest23-21ksoftirqd/110:50:421
1448586994329,11cyclictest23-21ksoftirqd/110:50:421
1448586994329,10cyclictest3466785-21systemd-udevd11:04:001
1448586994329,10cyclictest3466785-21systemd-udevd11:04:001
1448586994328,12cyclictest23-21ksoftirqd/110:30:001
1448586994328,12cyclictest23-21ksoftirqd/110:30:001
1448586994326,9cyclictest309-21in:imuxsock08:10:001
1448586994326,9cyclictest309-21in:imuxsock08:10:001
1448586994326,13cyclictest23-21ksoftirqd/112:15:011
1448586994324,13cyclictest309-21in:imuxsock08:15:471
1448583994333,6cyclictest1449058-21modprobe07:19:590
1448583994328,11cyclictest3467602-21systemd-journal07:23:420
144858399432,34cyclictest1-21systemd07:35:010
144859199423,3cyclictest131rcu_preempt07:40:002
1448591994230,8cyclictest1-21systemd08:55:022
144858699425,26cyclictest1497646-21modprobe10:40:001
1448586994229,6cyclictest23-21ksoftirqd/109:29:591
1448586994229,10cyclictest1452539-21wc08:25:031
1448586994227,11cyclictest3467602-21systemd-journal09:54:421
1448586994225,12cyclictest1452958-21systemd-run08:35:001
1448586994224,13cyclictest1-21systemd12:25:021
1448586994222,14cyclictest275-21dbus-daemon08:00:001
1448586994219,17cyclictest275-21dbus-daemon10:45:011
1448586994219,17cyclictest275-21dbus-daemon10:45:011
1448586994216,18cyclictest275-21dbus-daemon11:35:011
1448586994216,18cyclictest275-21dbus-daemon11:35:001
144858699421,4cyclictest131rcu_preempt12:02:421
1448583994233,6cyclictest19350irq/34-mmc108:00:440
144858399422,3cyclictest131rcu_preempt07:50:030
144859899411,13cyclictest1449558-21sshd07:28:413
1448591994128,9cyclictest3467602-21systemd-journal08:05:032
1448591994128,9cyclictest3467602-21systemd-journal08:05:022
144859199412,3cyclictest131rcu_preempt09:00:012
1448586994133,6cyclictest23-21ksoftirqd/107:50:021
1448586994130,8cyclictest1449805-21sshd07:32:421
1448586994129,9cyclictest23-21ksoftirqd/110:02:171
1448586994125,11cyclictest23-21ksoftirqd/109:44:181
144859899403,9cyclictest0-21swapper/308:10:013
144859899403,9cyclictest0-21swapper/308:10:003
1448591994032,5cyclictest1468516-21kworker/2:310:25:292
1448591994032,5cyclictest1468516-21kworker/2:310:25:282
144859199402,5cyclictest131rcu_preempt09:10:012
144858699405,25cyclictest1549286-21grep12:30:021
1448583994032,5cyclictest19350irq/34-mmc108:26:440
1448583994028,9cyclictest1452119-21sshd08:15:480
1448591993926,9cyclictest3467602-21systemd-journal07:54:432
1448591993926,9cyclictest3467602-21systemd-journal07:54:422
144858399397,5cyclictest131rcu_preempt07:55:010
144858399397,5cyclictest131rcu_preempt07:55:010
1448583993920,14cyclictest1453705-21sshd08:47:420
144858699386,21cyclictest1449054-21munin-run07:19:591
1448586993825,10cyclictest23-21ksoftirqd/108:55:021
1448586993823,8cyclictest309-21in:imuxsock07:10:171
1448586993823,8cyclictest309-21in:imuxsock07:10:161
1448586993823,12cyclictest23-21ksoftirqd/109:33:351
1448586993822,11cyclictest23-21ksoftirqd/111:25:341
1448583993823,10cyclictest275-21dbus-daemon08:25:010
1448583993818,18cyclictest151rcuc/008:45:020
144859199374,5cyclictest131rcu_preempt07:15:012
144859199374,5cyclictest131rcu_preempt07:15:002
1448591993729,5cyclictest1451660-21kworker/2:308:30:022
1448591993726,8cyclictest1449793-21sshd07:30:192
144859199371,4cyclictest0-21swapper/207:45:002
144858699374,24cyclictest1450926-21latency_hist07:55:021
144858699374,24cyclictest1450926-21latency_hist07:55:011
1448586993712,21cyclictest1-21systemd07:30:001
144858399373,12cyclictest3467602-21systemd-journal08:51:420
1448591993624,9cyclictest30-21ksoftirqd/208:20:012
144858699365,23cyclictest1453210-21sendmail08:40:011
144858699363,22cyclictest3467602-21systemd-journal08:30:001
1448586993621,9cyclictest23-21ksoftirqd/108:50:011
1448583993628,5cyclictest19350irq/34-mmc108:12:250
144858399361,32cyclictest0-21swapper/008:08:550
144858399361,32cyclictest0-21swapper/008:08:550
144858399341,30cyclictest0-21swapper/008:40:000
1448591993321,8cyclictest3467602-21systemd-journal07:25:002
144858699321,3cyclictest131rcu_preempt07:25:001
1448583993219,10cyclictest1448606-21cat07:10:010
144858699304,19cyclictest1448711-21grep07:10:021
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional