You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-05-05 - 04:35

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rackeslot3s.osadl.org (updated Tue May 05, 2026 00:45:21)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1604800998819,35cyclictest1607640-21latency_hist20:05:022
1604787998520,55cyclictest16850irq/134-800000021:28:180
1604787997619,52cyclictest1655380-21ssh22:42:070
160478799751,68cyclictest1688152-21latency_hist23:50:030
1604787997332,24cyclictest1648022-21ssh22:26:470
1604787997320,44cyclictest16850irq/134-800000022:14:520
160478799731,37cyclictest1639766-21modprobe22:09:590
1604787997226,29cyclictest1645046-21ssh22:20:200
1604787997221,17cyclictest16850irq/134-800000023:40:390
1604787997218,44cyclictest16850irq/134-800000021:38:400
160480399713,15cyclictest1693210-21ssh00:00:233
1604787997134,33cyclictest1675768-21ssh23:24:430
1604787997121,15cyclictest16850irq/134-800000023:32:430
1604787997117,40cyclictest16850irq/134-800000023:02:450
1604787997116,46cyclictest16850irq/134-800000023:13:090
1604787997031,35cyclictest1700715-21ssh00:16:040
1604787997020,41cyclictest16850irq/134-800000021:23:190
1604787997017,44cyclictest16850irq/134-800000021:52:400
160480099692,60cyclictest275-21dbus-daemon20:45:012
1604787996934,30cyclictest1612900-21sh21:13:530
1604787996928,25cyclictest1695004-21ssh00:04:370
1604787996915,45cyclictest16850irq/134-800000021:49:110
1604787996915,45cyclictest16850irq/134-800000021:49:110
1604803996827,35cyclictest1-21systemd23:25:003
1604800996829,35cyclictest1697270-21sh00:09:122
160478799683,32cyclictest1696615-21ssh00:07:440
160478799682,58cyclictest1610217-21modprobe20:55:010
1604787996819,37cyclictest16850irq/134-800000000:26:530
160478799681,35cyclictest1678305-21systemd-run23:30:000
160478799672,29cyclictest1653027-21ssh22:37:140
1604787996717,44cyclictest16850irq/134-800000021:19:180
1604787996717,44cyclictest16850irq/134-800000021:19:180
160480099662,47cyclictest1611016-21diskmemload23:11:282
1604787996628,34cyclictest1635494-21ssh22:00:380
1604787996628,34cyclictest1635494-21ssh22:00:370
160478799661,61cyclictest0-21swapper/022:51:400
1604803996518,42cyclictest1671047-1kworker/u9:200:10:453
160480099652,58cyclictest1632106-21ssh21:53:522
160480099652,4cyclictest131rcu_preempt21:35:012
1604793996518,9cyclictest23-21ksoftirqd/121:55:011
160478799651,60cyclictest0-21swapper/022:00:020
1604803996424,36cyclictest1638083-21sh22:06:023
160480399642,18cyclictest1677559-21ssh23:28:233
1604800996425,34cyclictest1692933-21sh00:00:022
160480099641,20cyclictest1650317-21ssh22:31:322
1604787996421,26cyclictest1621386-21ssh21:31:180
160480399632,17cyclictest1627451-21ssh21:44:103
160480399631,20cyclictest1640337-21ssh22:10:433
1604800996324,36cyclictest1628101-21sh21:45:062
1604800996324,36cyclictest1628101-21sh21:45:052
160480099632,19cyclictest1708659-21ssh00:32:472
160480399623,52cyclictest3467602-21systemd-journal23:55:023
160480399623,48cyclictest1712151-21grep00:40:023
1604803996223,36cyclictest37-21ksoftirqd/320:05:013
1604800996230,28cyclictest3467602-21systemd-journal21:30:012
1604800996223,35cyclictest1706673-21sh00:28:382
160480099622,17cyclictest1644399-21ssh22:19:322
160480099621,15cyclictest1610834-21sed21:05:012
160479399623,8cyclictest23-21ksoftirqd/122:20:011
160478799621,57cyclictest0-21swapper/022:50:000
1604787996215,42cyclictest275-21dbus-daemon20:05:010
160478799621,29cyclictest1711152-21ssh00:37:520
160480399616,44cyclictest1685578-21ssh23:44:593
160480399612,19cyclictest1654227-21modprobe22:40:003
160480399612,17cyclictest1650624-21ssh22:32:123
160480099612,54cyclictest1685747-21grep23:45:022
160480099612,54cyclictest1608342-21sed20:15:022
160480099611,52cyclictest1712150-21cat00:40:012
160479399614,10cyclictest23-21ksoftirqd/123:30:081
160478799616,50cyclictest16850irq/134-800000022:57:160
160478799616,50cyclictest16850irq/134-800000022:33:150
160478799613,52cyclictest1605236-21cron19:20:000
1604787996128,16cyclictest1627873-21ssh21:45:000
1604787996123,21cyclictest1698691-21ssh00:12:020
160478799611,56cyclictest0-21swapper/000:00:030
160480399605,46cyclictest1702576-21ssh00:20:013
1604803996024,32cyclictest37-21ksoftirqd/300:08:303
160480399602,18cyclictest1683218-21systemctl23:40:013
160480399602,18cyclictest1683218-21systemctl23:40:003
1604803996020,35cyclictest275-21dbus-daemon21:05:003
1604803996014,40cyclictest1630211-21modprobe21:50:003
1604803996014,40cyclictest1630211-21modprobe21:50:003
1604800996023,33cyclictest30-21ksoftirqd/222:29:202
1604800996023,33cyclictest30-21ksoftirqd/221:41:562
160480099602,20cyclictest1606358-21sendmail-msp19:40:012
160480099602,17cyclictest1686449-21ssh23:46:312
160480099602,15cyclictest1676676-21sshd23:26:202
160480099602,15cyclictest1613670-21sh21:15:152
160480099602,15cyclictest1613670-21sh21:15:142
1604800996018,38cyclictest1704650-1kworker/u9:100:24:492
160480099601,54cyclictest1701734-21ssh00:18:312
160480099601,20cyclictest1611770-21ssh21:11:212
1604787996019,24cyclictest1673388-21ssh23:19:480
160478799601,55cyclictest0-21swapper/020:40:000
160478799601,55cyclictest0-21swapper/020:20:020
160480399594,47cyclictest3467602-21systemd-journal00:30:003
160480399594,10cyclictest1609214-21wc20:35:023
160480399593,50cyclictest1692968-21latency_hist00:00:033
160480399593,23cyclictest1611047-21ssh21:10:023
1604803995932,24cyclictest1612285-21sshd21:12:353
1604803995927,29cyclictest1680769-21latency_hist23:35:023
1604803995925,29cyclictest1634166-21sh21:58:143
160480399592,18cyclictest1605994-21sshd19:30:213
160480399592,17cyclictest1621464-21ssh21:31:283
1604800995928,27cyclictest1693719-21sh00:01:382
1604800995925,29cyclictest30-21ksoftirqd/222:01:582
1604800995925,29cyclictest30-21ksoftirqd/222:01:572
160480099592,47cyclictest1-21systemd23:55:012
160480099591,53cyclictest1640148-21ssh22:10:212
160480099591,15cyclictest1675822-21sh23:24:512
160479399597,7cyclictest23-21ksoftirqd/123:15:001
160478799594,49cyclictest16850irq/134-800000000:21:150
160478799592,26cyclictest1690121-21ssh23:54:300
160478799592,26cyclictest1668736-21latency_hist23:10:020
1604787995920,34cyclictest275-21dbus-daemon19:50:010
1604787995917,25cyclictest1681613-21ssh23:36:270
1604787995917,25cyclictest1681613-21ssh23:36:260
160478799591,54cyclictest1-21systemd20:48:200
1604787995915,40cyclictest16850irq/134-800000022:15:090
160478799591,24cyclictest1605539-21systemd-run19:25:010
160480399584,46cyclictest275-21dbus-daemon19:55:003
160480399584,41cyclictest1605235-21cron19:20:003
160480399583,49cyclictest1606749-21latency_hist19:45:023
1604803995827,27cyclictest1662487-21sh22:56:513
160480399582,18cyclictest1609571-21cat20:40:013
160480399582,15cyclictest1607897-21munin-run20:10:003
160480399581,13cyclictest3467602-21systemd-journal22:02:293
160480399581,13cyclictest3467602-21systemd-journal22:02:283
160480099582,50cyclictest1673723-21cat23:20:032
1604800995822,32cyclictest1611016-21diskmemload21:56:122
1604800995819,35cyclictest1645984-21sh22:22:372
1604800995817,37cyclictest1605629-21latency_hist19:25:022
160480099581,14cyclictest1625560-21date21:40:022
160478799583,48cyclictest1611027-21modprobe21:10:010
1604787995829,25cyclictest1-21systemd20:10:000
160478799582,51cyclictest3467602-21systemd-journal21:00:000
160480399573,47cyclictest3467602-21systemd-journal21:20:013
160480399573,47cyclictest3467602-21systemd-journal21:20:003
160480399573,13cyclictest1649439-21ssh22:30:003
160480399572,14cyclictest1688137-21latency_hist23:50:023
160480399572,14cyclictest1618217-21latency_hist21:25:013
1604803995717,35cyclictest1664675-21rm23:01:213
1604800995723,30cyclictest1659390-21sh22:50:122
160480099572,15cyclictest1652425-21ssh22:35:472
160480099571,51cyclictest1-21systemd23:05:002
160480099571,17cyclictest1608713-21sort20:25:012
1604793995711,6cyclictest131rcu_preempt00:31:211
160480399564,47cyclictest1620570-21systemd-run21:30:013
160480399563,46cyclictest1673495-21modprobe23:20:003
160480399562,16cyclictest1660737-21ssh22:53:213
160480399561,8cyclictest1605002-21munin-run19:15:013
160480099563,44cyclictest1606747-21cat19:45:022
160480099562,50cyclictest1667900-21ssh23:08:102
160480099562,49cyclictest1681318-21ssh23:35:512
160480099562,49cyclictest1681318-21ssh23:35:502
160480099562,49cyclictest1639650-21ssh22:09:382
160480099562,49cyclictest1-21systemd21:10:012
160480099562,48cyclictest1608550-21latency_hist20:20:022
160480099562,47cyclictest311-21rs:main2
160480099561,47cyclictest1605234-21cron19:20:002
1604793995612,6cyclictest131rcu_preempt22:40:181
160480399555,44cyclictest1668741-21grep23:10:003
160480399554,45cyclictest1610248-21latency_hist20:55:013
160480399553,46cyclictest284-21systemd-logind20:45:023
160480399552,44cyclictest1705022-21wc00:25:033
1604803995522,29cyclictest37-21ksoftirqd/300:31:023
160480099552,49cyclictest1618186-21grep21:25:002
160480099552,48cyclictest309-21in:imuxsock21:00:002
160480099552,48cyclictest1655390-21ssh22:42:082
160480099552,47cyclictest1609624-21latency_hist20:40:022
160480099551,17cyclictest1610184-21sed20:50:022
160480099551,16cyclictest1662110-21sh22:56:052
160480099551,15cyclictest1609197-21systemd-run20:35:012
160480099551,13cyclictest1604957-21sshd19:11:212
160479399555,11cyclictest23-21ksoftirqd/122:10:031
1604787995525,27cyclictest1606564-21latency_hist19:40:030
1604787995521,30cyclictest1707748-21sh00:30:420
160480399542,6cyclictest1624404-21ssh21:37:443
160480399541,19cyclictest1630782-21ssh21:50:543
160480099543,45cyclictest1697940-21sh00:10:162
160480099542,48cyclictest1657791-21ssh22:47:082
160480099542,46cyclictest1679155-21ssh23:31:312
160480099541,49cyclictest1605767-21cron19:30:012
1604793995445,7cyclictest23-21ksoftirqd/121:12:361
160479399543,10cyclictest23-21ksoftirqd/120:55:011
1604793995411,5cyclictest131rcu_preempt22:33:151
1604787995431,19cyclictest16950irq/224-800000020:35:010
160480399534,40cyclictest1610514-21true21:00:003
160480399533,5cyclictest0-21swapper/322:45:023
160480399533,43cyclictest284-21systemd-logind19:50:013
160480399533,21cyclictest1605540-21unin-run19:25:013
160480399532,7cyclictest1608947-21true20:30:013
160480399531,13cyclictest1669017-21sshd23:10:203
160480099534,43cyclictest1607351-21cron20:00:002
160480099533,45cyclictest1606168-21latency_hist19:35:022
160480099532,9cyclictest1-21systemd20:55:002
160479399534,34cyclictest1661701-21ssh22:55:021
160479399531,15cyclictest1-21systemd00:40:001
160478799532,46cyclictest1607117-21true19:55:000
160478799531,30cyclictest1608344-21latency_hist20:15:020
160480399525,42cyclictest275-21dbus-daemon20:20:003
160480399524,42cyclictest1608163-21unin-run20:15:013
160480399523,43cyclictest1604914-21grep19:10:013
160480399523,43cyclictest1604914-21grep19:10:013
160480399522,5cyclictest3467602-21systemd-journal22:17:593
160480399522,22cyclictest1659160-21latency_hist22:50:033
160480399522,11cyclictest120-21kswapd022:25:013
160480099522,45cyclictest1608056-21latency_hist20:10:032
1604787995225,23cyclictest1-21systemd19:35:010
160478799522,45cyclictest1609729-21true20:45:010
160480399515,40cyclictest0-21swapper/320:25:003
160480399514,7cyclictest284-21systemd-logind19:36:203
160480399512,13cyclictest311-21rs:main3
160480099512,5cyclictest1608941-21munin-run20:30:002
160479399517,7cyclictest23-21ksoftirqd/100:00:021
1604793995136,11cyclictest23-21ksoftirqd/100:16:081
160479399512,15cyclictest23-21ksoftirqd/123:25:011
1604793995111,5cyclictest131rcu_preempt00:09:151
160478799512,44cyclictest1604916-21latency_hist19:10:010
160478799512,44cyclictest1604916-21latency_hist19:10:010
160480399504,40cyclictest1610116-21latency_hist20:50:023
160480399503,22cyclictest1607361-21latency_hist20:00:003
160480099503,41cyclictest1604917-21latency_hist19:10:012
160480099503,41cyclictest1604917-21latency_hist19:10:012
160479399506,11cyclictest23-21ksoftirqd/122:29:231
160479399502,11cyclictest23-21ksoftirqd/100:21:441
160479399501,8cyclictest1654201-21munin-run22:40:001
1604793995015,5cyclictest131rcu_preempt23:03:151
160478799502,43cyclictest275-21dbus-daemon20:00:020
160478799501,44cyclictest0-21swapper/019:15:020
160479399496,12cyclictest23-21ksoftirqd/121:36:581
160479399494,4cyclictest131rcu_preempt23:45:101
1604793994942,5cyclictest23-21ksoftirqd/122:02:531
1604793994942,5cyclictest23-21ksoftirqd/122:02:531
1604793994940,7cyclictest221rcuc/122:21:201
160479399493,8cyclictest23-21ksoftirqd/121:56:271
1604793994932,13cyclictest3467602-21systemd-journal23:50:201
160479399492,10cyclictest23-21ksoftirqd/123:30:011
160478799492,43cyclictest1606582-21sshd19:42:210
1604787994917,28cyclictest1605951-21latency_hist19:30:020
160480099482,38cyclictest1607116-21systemd-run19:55:002
160479399488,7cyclictest23-21ksoftirqd/121:25:011
1604793994840,6cyclictest221rcuc/100:01:141
1604793994839,7cyclictest221rcuc/122:51:451
1604793994816,11cyclictest23-21ksoftirqd/121:00:021
160479399476,10cyclictest23-21ksoftirqd/121:31:221
1604793994740,5cyclictest23-21ksoftirqd/121:29:221
160479399472,8cyclictest23-21ksoftirqd/123:16:021
160479399472,10cyclictest23-21ksoftirqd/122:13:131
1604793994711,5cyclictest131rcu_preempt22:47:551
160478799472,40cyclictest3467602-21systemd-journal21:05:000
160478799471,41cyclictest0-21swapper/020:25:200
160479399466,10cyclictest23-21ksoftirqd/100:25:381
160479399465,7cyclictest23-21ksoftirqd/121:05:011
160479399464,12cyclictest23-21ksoftirqd/121:48:301
160479399464,12cyclictest23-21ksoftirqd/121:48:291
1604793994634,9cyclictest1606011-21sshd19:33:201
160479399462,9cyclictest23-21ksoftirqd/123:37:241
160479399462,9cyclictest23-21ksoftirqd/123:37:231
160479399462,11cyclictest23-21ksoftirqd/120:00:011
160479399461,10cyclictest23-21ksoftirqd/121:15:051
160479399461,10cyclictest23-21ksoftirqd/121:15:051
1604793994610,6cyclictest131rcu_preempt21:43:291
160478799464,36cyclictest1608679-21modprobe20:25:000
160479399457,9cyclictest23-21ksoftirqd/123:45:011
160479399454,7cyclictest23-21ksoftirqd/123:05:201
1604793994530,11cyclictest3467602-21systemd-journal20:45:311
1604793994511,5cyclictest131rcu_preempt00:13:171
160479399436,9cyclictest23-21ksoftirqd/120:30:001
160479399433,9cyclictest23-21ksoftirqd/119:15:021
1604793994325,11cyclictest275-21dbus-daemon20:45:011
1604793994128,10cyclictest1609513-21cat20:40:011
1604793994126,12cyclictest1606545-21sed19:40:021
160479399405,10cyclictest23-21ksoftirqd/121:10:021
1604793994029,8cyclictest23-21ksoftirqd/119:45:001
1604793994025,11cyclictest3467602-21systemd-journal20:15:011
1604793993927,9cyclictest23-21ksoftirqd/119:15:021
1604793993924,11cyclictest23-21ksoftirqd/120:30:201
160479399387,10cyclictest23-21ksoftirqd/119:22:261
1604793993822,11cyclictest23-21ksoftirqd/120:20:001
160479399381,6cyclictest0-21swapper/119:50:221
1604793993727,7cyclictest23-21ksoftirqd/119:28:201
160479399371,6cyclictest1608701-21unin-run20:25:001
160479399363,8cyclictest23-21ksoftirqd/119:50:031
160479399361,5cyclictest0-21swapper/120:00:091
1604793993528,4cyclictest1608069-21latency_hist20:10:021
1604793992412,7cyclictest0-21swapper/119:10:021
1604793992412,7cyclictest0-21swapper/119:10:011
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional