You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-04-21 - 06:22

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rackeslot3s.osadl.org (updated Tue Apr 21, 2026 00:45:21)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1456519997156,9cyclictest1456521-21ls19:10:010
1456519996947,12cyclictest1456965-21modprobe19:20:000
145652999681,2cyclictest0-21swapper/300:25:033
1456519996744,18cyclictest12-21ksoftirqd/023:00:030
1456519996724,38cyclictest1467075-21cron21:20:000
145652999661,61cyclictest1495675-21ssh22:25:523
1456523996628,34cyclictest1539319-21sh00:07:291
1456529996528,33cyclictest1488199-21sh22:08:473
1456529996523,38cyclictest37-21ksoftirqd/322:51:553
145652999651,60cyclictest1523911-21ssh23:31:383
145652999651,60cyclictest1483863-21ssh21:58:463
1456519996512,40cyclictest12-21ksoftirqd/019:51:290
145652999642,58cyclictest1536982-21ssh00:02:003
1456529996417,43cyclictest37-21ksoftirqd/323:17:223
1456523996419,41cyclictest1456943-21sshd19:17:121
1456523996418,42cyclictest1-21systemd22:30:011
145652999632,57cyclictest1485576-21ssh22:02:353
145652999632,57cyclictest1481519-21sshd21:53:163
145652999632,57cyclictest1468393-21ssh21:22:443
145652999631,5cyclictest1470189-21ssh21:26:453
145652999631,58cyclictest1541847-21ssh00:13:263
145652999631,58cyclictest1526614-21ssh23:38:023
145652999631,58cyclictest1522810-21ssh23:29:263
145652999631,58cyclictest1520164-21ssh23:22:573
1456523996335,24cyclictest1469184-21sh21:24:441
1456523996313,43cyclictest275-21dbus-daemon20:55:011
145652999622,56cyclictest1549582-21ssh00:30:553
145652999622,56cyclictest1548041-21ssh00:27:423
145652999621,58cyclictest1533040-21ssh23:52:573
145652999621,57cyclictest1539412-21ssh00:07:423
145652999621,57cyclictest1504824-21ssh22:47:203
145652999621,57cyclictest1502082-21ssh22:40:403
145652999621,57cyclictest1501508-21ssh22:39:463
145652999621,57cyclictest1491486-21sshd22:16:153
145652999621,57cyclictest1465341-21ssh21:15:263
145652999621,57cyclictest1464705-21ssh21:14:293
1456523996224,33cyclictest1504311-21sh22:45:571
1456523996216,40cyclictest275-21dbus-daemon19:40:011
1456523996216,40cyclictest275-21dbus-daemon19:40:011
145651999623,11cyclictest1514619-21ssh23:10:020
1456529996138,18cyclictest3467602-21systemd-journal22:25:003
145652999612,55cyclictest1542770-21ssh00:15:153
145652999612,55cyclictest1516386-21ssh23:14:243
145652999612,54cyclictest1512351-21munin-run23:05:003
145652999611,6cyclictest1528989-21ssh23:43:343
145652999611,56cyclictest1551442-21ssh00:35:183
145652999611,56cyclictest1531443-21ssh23:49:203
145652999611,56cyclictest1531443-21ssh23:49:203
145652999611,56cyclictest1509141-21ssh22:57:223
145652999611,55cyclictest1457769-21munin-run19:35:013
1456523996120,36cyclictest275-21dbus-daemon23:50:011
1456523996120,36cyclictest275-21dbus-daemon23:50:001
1456523996120,35cyclictest1476388-21sh21:41:091
1456523996120,35cyclictest1476388-21sh21:41:091
145652399611,55cyclictest48-21kcompactd021:12:091
1456519996115,12cyclictest1478335-21ssh21:45:370
145652999603,52cyclictest1460116-21sshd20:18:153
145652999601,7cyclictest1490219-21ssh22:13:273
1456529996017,39cyclictest1462759-21systemd-run21:10:023
145652999601,55cyclictest1534263-21ssh23:55:373
1456519996023,8cyclictest12-21ksoftirqd/021:10:270
145652999592,53cyclictest1459625-21munin-run20:10:003
145652999592,53cyclictest1-21systemd20:45:023
145652999592,52cyclictest1462252-21munin-run21:00:013
145652999591,54cyclictest1514204-21ssh23:09:123
145652999591,54cyclictest1498271-21ssh22:31:553
145652399592,8cyclictest1460656-21cron20:29:591
1456523995923,32cyclictest1485682-21rm22:02:501
145652399592,18cyclictest1517382-21ssh23:16:251
145652399592,18cyclictest1488658-21ssh22:10:021
145652399592,15cyclictest1536013-21tr00:00:001
1456523995916,37cyclictest1510268-21latency_hist23:00:011
145652999582,51cyclictest1476844-21sshd21:42:153
145652999582,51cyclictest1476844-21sshd21:42:153
145652999582,51cyclictest1462462-21sshd21:02:153
145652999581,5cyclictest1479891-21ssh21:49:343
145652999581,52cyclictest1461954-21latency_hist20:55:003
145652999581,51cyclictest1472492-21sshd21:32:153
145652999581,51cyclictest1472492-21sshd21:32:143
1456523995826,28cyclictest1526764-21sh23:38:231
145652999572,51cyclictest1456710-21munin-run19:15:013
145652999572,50cyclictest1459014-21sshd19:57:153
145652999571,51cyclictest1459336-21munin-run20:05:013
145652999571,4cyclictest1457467-21sshd19:25:153
1456525995744,8cyclictest1443831-21kworker/2:221:00:002
1456523995736,17cyclictest3467602-21systemd-journal22:15:151
145652399573,13cyclictest1495205-21latency_hist22:25:021
145652399572,8cyclictest0-21swapper/119:45:001
145652399572,15cyclictest1528328-21ssh23:41:491
1456523995720,32cyclictest1462743-21diskmemload21:57:371
145652399571,16cyclictest1481173-21ssh21:52:261
145652399571,15cyclictest1513937-21ssh23:08:341
1456519995738,16cyclictest12-21ksoftirqd/021:37:400
1456519995727,14cyclictest1471123-21ssh21:29:160
1456519995727,13cyclictest1528894-21ssh23:43:190
145652999562,50cyclictest1458540-21munin-run19:50:003
145652999562,49cyclictest1461182-21munin-run20:40:013
145652999562,49cyclictest1461182-21munin-run20:40:013
145652999561,50cyclictest1458300-21munin-run19:45:003
1456525995638,14cyclictest3467602-21systemd-journal19:25:002
145652399562,19cyclictest1538330-21latency_hist00:05:021
1456523995620,30cyclictest1500254-21rm22:36:361
1456523995616,36cyclictest1462744-21latency_hist21:10:021
1456523995616,35cyclictest1542386-21sh00:14:541
1456523995613,38cyclictest275-21dbus-daemon20:35:001
145652399561,16cyclictest1549711-21sh00:31:231
145652399561,16cyclictest1499290-21ssh22:34:431
145652399561,12cyclictest1471786-21ssh21:30:221
145652399561,12cyclictest1471786-21ssh21:30:221
1456519995647,5cyclictest16950irq/224-800000019:40:000
1456519995647,5cyclictest16950irq/224-800000019:40:000
1456519995635,17cyclictest16950irq/224-800000000:00:020
1456519995628,12cyclictest1536444-21ssh00:00:300
1456519995614,8cyclictest151rcuc/021:00:000
1456519995611,8cyclictest12-21ksoftirqd/000:11:220
145652999552,49cyclictest1461707-21munin-run20:50:003
145652999551,50cyclictest1474504-21ssh21:36:593
145652999551,50cyclictest1458760-21sshd19:51:163
145652999551,49cyclictest364-21snmpd19:35:173
145652999551,49cyclictest364-21snmpd19:35:173
145652999551,47cyclictest1457272-21cat19:25:013
1456525995538,14cyclictest275-21dbus-daemon19:15:022
145652399553,13cyclictest1459099-21latency_hist20:00:021
145652399552,8cyclictest1-21systemd21:50:001
1456523995524,27cyclictest3467562-21sshd23:32:161
1456523995524,26cyclictest1546625-21sh00:24:351
145652399552,14cyclictest1547698-21ssh00:26:431
1456523995516,35cyclictest23-21ksoftirqd/100:17:111
1456523995516,34cyclictest3467602-21systemd-journal20:45:001
145652399551,18cyclictest1522450-21ssh23:28:221
145652399551,12cyclictest1520090-21ssh23:22:461
145652399551,11cyclictest1457727-21sshd19:32:151
1456519995527,13cyclictest1526166-21ssh23:36:480
1456519995527,13cyclictest1522566-21ssh23:28:390
1456519995521,16cyclictest1548998-21ssh00:30:000
145651999551,38cyclictest1495868-21ssh22:26:200
145652999542,47cyclictest364-21snmpd20:24:213
145652999542,47cyclictest1459888-21munin-run20:15:013
145652599545,12cyclictest1459031-21cron20:00:002
1456525995444,5cyclictest1455907-21kworker/2:319:55:022
145652399542,8cyclictest1460420-21munin-plugin-st20:25:011
145652399542,15cyclictest1466281-21ssh21:18:001
145652399542,13cyclictest1533796-21ssh23:54:511
145652399542,11cyclictest1462377-21cat21:00:031
1456523995414,7cyclictest23-21ksoftirqd/123:11:511
1456523995412,8cyclictest1548169-1kworker/u9:000:39:041
145652399541,13cyclictest1475579-21ssh21:39:411
145651999548,6cyclictest131rcu_preempt00:05:200
145651999547,8cyclictest12-21ksoftirqd/022:04:040
1456519995426,12cyclictest1499674-21ssh22:35:050
1456519995425,14cyclictest1506622-21ssh22:51:240
1456519995419,32cyclictest151rcuc/021:53:350
1456525995344,6cyclictest1473597-21kworker/2:322:04:592
1456525995344,6cyclictest1455907-21kworker/2:320:05:012
1456525995336,12cyclictest3467602-21systemd-journal21:48:162
145652399533,14cyclictest1511572-21sh23:03:041
145652399533,14cyclictest1503803-21latency_hist22:45:011
145652399532,12cyclictest1506226-21ssh22:50:181
145652399532,12cyclictest1490174-21ssh22:13:151
145652399532,12cyclictest1470019-21ssh21:26:211
145651999534,7cyclictest12-21ksoftirqd/020:10:010
1456519995335,15cyclictest16850irq/134-800000000:38:100
1456519995327,11cyclictest1511498-21ssh23:02:520
145652999521,5cyclictest1460893-21sshd20:32:153
145652999521,46cyclictest364-21snmpd20:25:213
1456525995243,5cyclictest1473597-21kworker/2:323:41:482
1456525995242,7cyclictest1486538-21kworker/2:222:28:252
145652399522,8cyclictest1461768-21latency_hist20:50:011
145652399522,14cyclictest1462492-21munin-plugin-st21:05:001
1456519995231,16cyclictest275-21dbus-daemon19:25:010
1456519995227,9cyclictest1468000-21ssh21:21:470
1456519995226,18cyclictest3467602-21systemd-journal22:10:000
1456519995223,14cyclictest1483723-21ssh21:58:250
1456519995219,28cyclictest16850irq/134-800000022:16:290
145651999521,14cyclictest12-21ksoftirqd/020:30:000
145652999512,45cyclictest364-21snmpd19:16:133
1456525995142,6cyclictest1486538-21kworker/2:222:23:312
145651999515,6cyclictest121ksoftirqd/000:33:050
1456519995123,12cyclictest1533832-21ssh23:54:570
1456519995121,15cyclictest1476608-21ssh21:41:410
1456519995121,15cyclictest1476608-21ssh21:41:410
1456519995121,14cyclictest1519847-21ssh23:22:120
1456525995042,5cyclictest1473597-21kworker/2:323:14:042
1456525995042,5cyclictest1473597-21kworker/2:321:52:322
1456525995042,5cyclictest1460175-21kworker/2:021:29:392
1456525995041,5cyclictest1473597-21kworker/2:323:57:352
1456525995038,9cyclictest30-21ksoftirqd/221:32:262
1456525995038,9cyclictest30-21ksoftirqd/221:32:262
1456525995038,7cyclictest1473597-21kworker/2:323:26:502
145652399501,9cyclictest1456626-21latency_hist19:10:031
1456523995012,16cyclictest275-21dbus-daemon20:05:001
145652399501,11cyclictest1-21systemd19:50:001
145651999503,6cyclictest131rcu_preempt22:33:150
1456519995033,12cyclictest1-21systemd20:05:010
145651999502,10cyclictest12-21ksoftirqd/023:11:590
1456519995019,29cyclictest12-21ksoftirqd/022:44:260
145652999492,43cyclictest1456571-21date19:10:023
1456525994941,5cyclictest1473597-21kworker/2:323:55:002
1456525994941,5cyclictest1473597-21kworker/2:323:15:522
1456525994940,6cyclictest1486538-21kworker/2:222:40:412
1456525994940,6cyclictest1473597-21kworker/2:300:31:112
1456525994940,5cyclictest1460175-21kworker/2:021:08:432
1456525994935,11cyclictest30-21ksoftirqd/219:20:002
1456525994933,12cyclictest3467602-21systemd-journal22:20:012
1456525994933,12cyclictest1-21systemd23:40:012
1456525994931,13cyclictest3467602-21systemd-journal00:30:002
1456525994928,15cyclictest1-21systemd00:15:012
145652399491,12cyclictest1459855-21sshd20:13:151
145651999494,5cyclictest131rcu_preempt00:20:320
1456519994940,5cyclictest16850irq/134-800000023:20:000
1456519994913,6cyclictest131rcu_preempt19:50:000
1456519994912,33cyclictest12-21ksoftirqd/021:31:010
1456519994912,33cyclictest12-21ksoftirqd/021:31:000
1456525994840,5cyclictest1473597-21kworker/2:300:01:262
1456525994840,4cyclictest1473597-21kworker/2:300:39:362
1456525994839,6cyclictest1486538-21kworker/2:222:31:502
1456525994839,6cyclictest1473597-21kworker/2:323:23:432
1456525994839,5cyclictest1473597-21kworker/2:300:17:302
145652399482,12cyclictest1457239-21cron19:25:001
145652399481,10cyclictest1459615-21modprobe20:10:001
1456519994841,5cyclictest0-21swapper/021:10:000
1456519994838,7cyclictest151rcuc/023:31:110
1456519994836,9cyclictest12-21ksoftirqd/019:35:000
145651999481,32cyclictest1493580-21ssh22:21:050
1456525994739,5cyclictest1486538-21kworker/2:222:50:022
1456525994739,5cyclictest1460175-21kworker/2:021:40:002
1456525994738,6cyclictest1473597-21kworker/2:323:07:592
1456525994738,5cyclictest1486538-21kworker/2:222:14:412
1456525994731,12cyclictest3467602-21systemd-journal20:43:152
145652399471,14cyclictest1461263-21grep20:40:031
145652399471,14cyclictest1461263-21grep20:40:021
145652399471,11cyclictest1460126-21cron20:20:001
1456519994731,12cyclictest12-21ksoftirqd/023:48:500
1456519994731,12cyclictest12-21ksoftirqd/023:48:500
1456525994640,3cyclictest1473597-21kworker/2:300:08:562
1456525994638,5cyclictest1460175-21kworker/2:021:22:512
1456525994637,5cyclictest1486538-21kworker/2:222:37:572
1456525994630,9cyclictest309-21in:imuxsock22:00:012
145652399462,9cyclictest1456889-21latency_hist19:15:021
145652399462,8cyclictest1-21systemd19:55:011
145651999465,10cyclictest12-21ksoftirqd/020:20:010
1456519994635,8cyclictest12-21ksoftirqd/000:19:470
1456519994628,14cyclictest3467602-21systemd-journal20:00:000
1456519994620,11cyclictest1489197-21ssh22:10:480
1456519994612,30cyclictest12-21ksoftirqd/022:45:560
1456525994537,5cyclictest1486538-21kworker/2:222:51:212
1456525994537,5cyclictest1473597-21kworker/2:323:46:252
1456525994537,5cyclictest1473597-21kworker/2:323:46:252
1456525994537,5cyclictest1473597-21kworker/2:322:06:252
1456525994537,5cyclictest1460175-21kworker/2:021:15:562
1456525994535,8cyclictest30-21ksoftirqd/220:10:012
1456525994525,15cyclictest275-21dbus-daemon20:40:012
1456525994525,15cyclictest275-21dbus-daemon20:40:002
145651999457,11cyclictest12-21ksoftirqd/020:55:020
145651999456,9cyclictest12-21ksoftirqd/020:25:000
145651999452,7cyclictest1456723-21unin-run19:15:010
1456525994437,5cyclictest1473597-21kworker/2:322:56:152
1456525994437,4cyclictest1460175-21kworker/2:021:10:132
1456525994431,9cyclictest30-21ksoftirqd/221:05:012
1456525994431,9cyclictest30-21ksoftirqd/200:22:242
1456525994429,11cyclictest30-21ksoftirqd/223:35:002
1456525994423,15cyclictest275-21dbus-daemon19:40:012
1456525994423,15cyclictest275-21dbus-daemon19:40:012
1456519994432,8cyclictest12-21ksoftirqd/019:30:020
1456525994326,13cyclictest275-21dbus-daemon20:25:012
145652399431,13cyclictest48-21kcompactd019:30:021
145651999432,7cyclictest1462483-21modprobe21:05:000
1456519994315,5cyclictest131rcu_preempt20:35:010
1456525994234,5cyclictest1455907-21kworker/2:319:27:462
1456525994228,10cyclictest30-21ksoftirqd/223:04:312
1456525994227,11cyclictest3467602-21systemd-journal19:30:032
1456525994223,13cyclictest275-21dbus-daemon19:50:012
1456519994219,20cyclictest12-21ksoftirqd/020:41:040
1456519994123,11cyclictest1461165-21modprobe20:40:000
1456519994123,11cyclictest1461165-21modprobe20:40:000
1456525994023,12cyclictest3467718-21lldpd20:55:012
1456519994025,11cyclictest12-21ksoftirqd/019:40:200
1456519993928,8cyclictest12-21ksoftirqd/020:15:010
1456525993829,5cyclictest1443831-21kworker/2:220:50:012
1456525993827,8cyclictest30-21ksoftirqd/221:40:102
1456525993827,8cyclictest30-21ksoftirqd/221:40:102
1456525993826,6cyclictest309-21in:imuxsock20:30:012
1456525993822,11cyclictest3467602-21systemd-journal19:45:002
1456525993623,9cyclictest3467602-21systemd-journal20:17:212
1456519993625,7cyclictest12-21ksoftirqd/020:47:260
1456525993523,9cyclictest30-21ksoftirqd/220:15:022
1456525993322,8cyclictest30-21ksoftirqd/219:10:022
1456525993224,5cyclictest1461062-21latency_hist20:35:022
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional